脚本宝典收集整理的这篇文章主要介绍了03Linux与Hadoop操作实验，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

33.Hadoop是道格·卡丁（Doug Cutting）创建的，Hadoop起源于开源网络搜索引擎apache Nutch，后者本身也是Lucene项目的一部分。Nutch项目面世后，面对数据量巨大的网页显示出了架构的灵活性不够。当时正好借鉴了谷歌分布式文件系统，做出了自己的开源系统NDFS分布式文件系统。第二年谷歌又发表了论文介绍了Mapreduce系统，Nutch开发人员也开发出了MaPReduce系统。随后NDFS和MapReduce命名为Hadoop，成为了Apache顶级项目。

34.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 36.

启动dfs

 

 

 

查看与创建hadoop用户目录。

 

 

 在用户目录下创建与查看input目录

 

 

 将hadoop的配置文件上传到hdfs上的input目录下

 

 

 

运行MapReduce示例作业，输出结果放在output目录下。

 

 

 

 

 

 查看output目录下的文件

 

 

 

 

 

 

 

查看输出结果

 

 

将输出结果文件下载到本地

 

 

查看下载的本地文件

 

 

停止hdfs

 

 

 

 

 37.

 

脚本宝典总结

以上是脚本宝典为你收集整理的03Linux与Hadoop操作实验全部内容，希望文章能够帮你解决03Linux与Hadoop操作实验所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。