脚本宝典收集整理的这篇文章主要介绍了hadoop思想与原理，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

1.用图与自己的话，简要描述Hadoop起源与发展阶段。Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。

问题的可解决提供方案：分布式文件系统（GFS），可用于处理海量网页的存储，分布式计算框架（MAPredUCE），可用于处理海量网页的索引计算问题。Nutch的开发人员完成了相应的开源实现HDFS和MAPREDUCE，并从Nutch中剥离成为独立项目HADOOP，到2008年1月，HADOOP成为apache顶级项目(同年，cloudera公司成立)，迎来了它的快速发展期。

Hadoop发展：Nutch项目面世后，面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷歌分布式文件系统，做出了自己的开源系统NDFS分布式文件系统。第二年谷歌又发表了论文介绍了MapReduce系统，Nutch开发人员也开发出了MapReduce系统。随后NDFS和MapReduce命名为Hadoop，成为了Apache顶级项目。

 

2.用图与自己的话，简要描述名称节点、第二名称节点、数据节点的主要功能及相互关系。

HDFS因为文件的频繁更新会使得EdITLOG的体积不断增大，进而使NameNode在重启过程中逐条执行EditLog来更新FsImage的过程变得缓慢，使得NameNode长期处于只读状态，影响用户使用。HDFS提供了第二名称节点(SecondaryNameNode，SNN)来解决这个问题：

脚本宝典总结

以上是脚本宝典为你收集整理的hadoop思想与原理全部内容，希望文章能够帮你解决hadoop思想与原理所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。