脚本宝典收集整理的这篇文章主要介绍了04 Hadoop思想与原理，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

1.用图文与自己的话，简要描述Hadoop起源与发展阶段

为什么叫Hadoop? LOGo为什么是黄色的大象？

狭义上来说，Hadoop就是单独指代Hadoop这个软件（HDFS+MAPredUCE）广义上来说，Hadoop指代大数据的一个生态圈（Hadoop生态圈），包括很多其他的软件。

Hadoop的历史版本介绍

0.x系列版本：Hadoop当中最早的一个开源版本，在此基础上演变而来的1.x以及2.x的版本1.x版本系列：HadooP版本当中的第二代开源版本，主要修复0.x版本的一些bug等2.x版本系列：架构产生重大变化，引入了yarn平台等许多新特性

 

Hadoop的起源

2003-2004年，GOOGLE公布了部分GFS和MaPReduce思想的细节，受此启发的Doug Cutting等人用2年的业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。然后Yahoo招安Doug Gutting及其项目。2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入apache基金会。2006年2月被分离出来，成为一套完整独立的软件，起名为HadoopHadoop名字不是一个缩写，而是一个生造出来的词。是Hadoop之父Doug Cutting儿子毛绒玩具象命名的。Hadoop的成长过程Lucene–>Nutch—>Hadoop

总结起来，Hadoop起源于Google的三大论文GFS：Google的分布式文件系统Google File SystemMapReduce：Google的MapReduce开源分布式并行计算框架BigTable：一个大型的分布式数据库

演变关系GFS—->HDFSGoogle MapReduce—->Hadoop MapReduceBigTable—->HBase

2.用图与自己的话，简要描述名称节点、第二名称节点、数据节点的主要功能及相互关系。

这里的第一名称节点类似于数据目录。其主要有两大构件构成，FsImage和EdITlog，FsImage用于存储元数据(长时间不更新、Editlog用于更新数据，但是随着时间推移，Editlog内存储的数据越来越多，导致运行速度越来越慢。

所以引入第二名称节点，当第一节点中Editlog到一个临界值时，HDFS会暂停服务，由第二节点将拷贝出Editlog，复制、添加到Fslmage后方并清空原Editlog的内容。这里有一点要注意这种备份是冷备份的形式，即没有实时性，需要停止服务，等数据恢复正常后继续使用。

3.分别从以下这些方面，梳理清楚HDFS的 结构与运行流程，以图的形式描述。

• 客户端与HDFS

• 客户端读

• 客户端写

• 数据结点与集群

• 数据结点与名称结点

• 名称结点与第二名称结点

• 数据结点与数据结点

• 数据冗余

• 数据存取策略

• 数据错误与恢复

• 

   

   

脚本宝典总结

以上是脚本宝典为你收集整理的04 Hadoop思想与原理全部内容，希望文章能够帮你解决04 Hadoop思想与原理所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。