脚本宝典收集整理的这篇文章主要介绍了

初识hadoop

脚本宝典小编觉得挺不错的,现在分享给大家,也给大家做个参考,希望能帮助你少写一行代码,多一份安全和惬意。

google大数据技术:

MapReduce
BigTable
GFS

HDFS是Google File System(GFS)的开源实现。
MapReduce是Google MapReduce的开源实现。
HBase是Google BigTable的开源实现。

一、大数据相关技术

Hive 降低了使用hadoop的门槛

Hbase相比于传统的关系型数据库 放弃了事务特性,追求更高的扩展和HDFS 提供数据的随机读写和实时访问,实现对表数据的读写功能

zookeeper 监控hadoop集群的节点状态等

二、环境配置

hadoop使用java写的 需要jdk环境
输入:javac 查看java版本

安装jdk apt-get install jdk*

添加环境变量
修改/etc/profile

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64 export JRE_HOME=/$JAVA_HOME/jre export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH  source /etc/profile 

wget命令用来获取hadoop的安装包

wget http://apache.stu.edu.tw/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz 

修改配置文件
1、hadoop-env.sh 修改$JAVA_HOME
2、core.site,xml 修改配置

  <property>      <name>hadoop.tmp.dir</name>      <value>/hadoop</value>    </property>    <property>      <name>dfs.name.dir</name>      <value>/hadoop/name</value>    </property>    <property>      <name>fs.default.name</name>      <value>hdfs://localhost:9000</value>    </property> 

3、hdfs-site.xml 修改配置

<property>  <name>dfs.data.dir</name>  <value>/hadoop/data</value>  </property> 

4、mapred-site.xml修改配置

<property>  <name>mapred.job.tracker</name>  <value>localhost:9001</value>  </property> 

再次编辑/etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_60 export JRE_HOME=$JAVA_HOME/jre export HADOOP_HOME=/home/server/hadoop/hadoop-1.2.1 export CLASSPATH=$JRE_HOME/lib:$JAVA_HOME/lib:$CLASSPATH export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$PATH

source一下
输入hadoop生效如下
图片描述

发现有一个问题

    Warning: $HADOOP_HOME is deprecated.

解决办法:
/etc/profile 文件最后加上 export HADOOP_HOME_WARN_SUPPRESS=1 ,然后输入命令

    source /etc/profile

使其生效即可。

三、简单操作

格式化文件系统

hadoop namenode -format

格式化之后,输入启动命令:

/hadoop/bin$ sh start-all.sh 

启动后使用命令

jps

查看是否有以下的在运行程序
图片描述

忽略bootstrap这个进程

总结

以上是脚本宝典为你收集整理的

初识hadoop

全部内容,希望文章能够帮你解决

初识hadoop

所遇到的程序开发问题,欢迎加入QQ群277859234一起讨论学习。如果觉得脚本宝典网站内容还不错,欢迎将脚本宝典网站推荐给程序员好友。 本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。

80%的人都看过