Hadoop发展历史

这篇具有很好参考价值的文章主要介绍了Hadoop发展历史。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1 Hadoop是什么

1)Hadoop是一个由Apache基金会所开发的分布式系统基础架构

2)主要解决,海量数据的存储和海量数据的分析计算问题。

3)广义上来说,Hadoop通常是指一个更广泛的概念——Hadoop生态圈

2 Hadoop 发展历史(了解)

1)Hadoop创始人Doug Cutting,为 了实 现与Google类似的全文搜索功能,他在Lucene框架基础上进行优
化升级,查询引擎和索引引擎。

2)2001年年底Lucene成为Apache基金会的一个子项目。

3)对于海量数据的场景,Lucene框 架面 对与Google同样的困难,存 储海量数据困难,检 索海 量速度慢。

4)学习和模仿Google解决这些问题的办法 :微型版Nutch。

5)可以说Google是Hadoop的思想之源(Google在大数据方面的三篇论文)

  • GFS —>HDFS
  • Map-Reduce —>MR
  • BigTable —>HBas

6)2003-2004年,Google公开了部分GFS和MapReduce思想的细节,以此为基础Doug Cutting等人用
了2年业余时间实现了DFS和MapReduce机制,使Nutch性能飙升。

7)2005 年Hadoop 作为 Lucene的子项目 N文章来源地址https://www.toymoban.com/news/detail-514689.html

到了这里,关于Hadoop发展历史的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 数据仓库发展历史

    数据仓库是企业中用于存储、整合和分析数据的关键组件。随着时间的推移,数据仓库经历了三代演化: 从需求驱动到平台化、从平台化到智能(AI)化 第一代数据仓库演化:需求驱动的分层架构 第一代数据仓库的核心思想是根据需求分析和业务模型构建分层架构,使用工

    2024年02月15日
    浏览(47)
  • docker发展历史

    2008年,Solomon Hykes 和他的朋友 Kamel Founadi、Sebastien Pahl 共同创立了一家名为 DotCloud 的公司,目标是利用一种叫做容器的技术来创建他们称作是“大规模的创新工具”:任何人都可以使用的编程工具。 2010年,dotCloud获得了创业孵化器Y Combinator的支持,并开始吸引到一些真正的投

    2024年02月13日
    浏览(30)
  • Excel的发展历史

           1982年,Microsoft推出了它的第一款电子制表软件──Multiplan,并在CP/M系统上大获成功,但在MS-DOS系统上,Multiplan败给了Lotus 1-2-3。这个事件促使了Excel的诞生,正如Excel研发代号Doug Klunder:做Lotus 1-2-3能做的,并且做的更好。1985年,第一款Excel诞生,它只用于Mac系统;

    2024年02月13日
    浏览(29)
  • 神经网络的发展历史

    神经网络的发展历史可以追溯到上世纪的数学理论和生物学研究。以下是神经网络发展史的详细概述: 1943年,Warren McCulloch和Walter Pitts提出了一种神经元模型,被称为MCP神经元模型,它模拟了生物神经元的基本功能。 这一模型使用二进制逻辑来描述神经元的激活和抑制过程,

    2024年02月07日
    浏览(31)
  • 密码学发展历史介绍

      稍微介绍一下密码学,密码学是研究编制密码和破译密码的学科,就是研究防与攻。密码学的发展历程可分三个阶段:古典密码、近代密码、现代密码。   古典密码阶段:从密码的产生到发展成为近代密码之间的这段时期密码的发展历史。主要特点是手工加解密,叫手

    2023年04月17日
    浏览(37)
  • ARM简介及其发展历史

    ARM名声很大,最近在学习STM32,也借机梳理一下关于ARM的各种概念和信息。 本文主要内容:ARM一词的含义,ARM的发展历史,ARM cortex系列处理器简介与ARM在不同市场的应用情况。 1.1 ARM公司 ARM第一种意思是指ARM公司。 ARM公司成立于1990年,是一家英国半导体设计公司,总部位于

    2023年04月10日
    浏览(32)
  • 计算机视觉发展历史

    目录 1.视觉对于生物界的重要作用 2.人类对于计算机视觉的探索 2.1 20世纪50年代——研究生物视觉的工作原理 2.2 20世纪60年代——计算机视觉萌芽 2.3 20世纪70年代——开创性提出识别流程 2.4 20世纪80年代——着眼于提取特征 2.5  20世纪90年代——图像分割 2.6  21世纪初——各

    2024年02月07日
    浏览(38)
  • 第一章 PCIE的发展历史

    目录 第1节 PCIE概述 第2节 PCIE速率及计算 第1节 PCIE概述      PCI Express(PCIE)是用来互联诸如计算和通信平台应用中外围设备的第三代高性能I/O总线。第一代总线包括ISA、EISA、VESA和微通道(Macro Channel )总线,而第二代总线则包括了PCI、AGP 和PCI-X。PCIE是一种可以适用于移动

    2024年02月14日
    浏览(24)
  • AI 芯片的简要发展历史

    随着人工智能领域不断取得突破性进展。作为实现人工智能技术的重要基石,AI芯片拥有巨大的产业价值和战略地位。作为人工智能产业链的关键环节和硬件基础,AI芯片有着极高的技术研发和创新的壁垒。从芯片发展的趋势来看,现在仍处于AI芯片发展的初级阶段。未来将是

    2023年04月19日
    浏览(24)
  • Spring框架的版本、发展历史

    Spring 1.x时期(2002年-2006年):最初版本的Spring框架发布于2002年,它提供了IoC容器和AOP框架两个核心功能。在接下来的几年中,Spring框架不断发展,陆续发布了多个版本,逐渐形成了一套完整的框架体系。 Spring 2.x时期(2006年-2009年):2006年发布的Spring 2.0版本是一个里程碑式

    2024年02月11日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包