脚本宝典收集整理的这篇文章主要介绍了第四次作业Hadoop思想与原理，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

1.用图与自己的话，简要描述Hadoop起源与发展阶段。

从与谷歌系统的关系，关键时间节点，1.x,2.x与3.x的区别，不同公司发行版本等方面来讲。

（1）Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。（2）2003年、2004年谷歌发表的三篇论文为该问题提供了可行的解决方案。——分布式文件系统（GFS），可用于处理海量网页的存储——分布式计算框架MAPredUCE，可用于处理海量网页的索引计算问题。——分布式的结构化数据存储系统Bigtable，用来处理海量结构化数据。（3） Doug Cutting基于这三篇论文完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。

 

从狭义上来说，Hadoop就是单独指代Hadoop这个软件（HDFS+MAPREDUCE）从广义上来说，Hadoop指代大数据的一个生态圈（Hadoop生态圈），包括很多其他的软件。

Hadoop的历史版本0.x系列版本：Hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本1.x版本系列：HadooP版本当中的第二代开源版本，主要修复0.x版本的一些bug等2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性

脚本宝典总结

以上是脚本宝典为你收集整理的第四次作业Hadoop思想与原理全部内容，希望文章能够帮你解决第四次作业Hadoop思想与原理所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。