如何安装Hadoop

主要介绍在CentOS 7单机环境下的Hadoop搭建过程。

1.准备Hadoop需要的软件

(1)安装Java软件包。

CentOS 7发行版本默认会安装Java运行环境，可以使用which命令来确认Java是否安装，命令如下：

也可以自行下载和安装自己需要的Java版本，建议Java版本高于7.0。

这里使用从官方网站下载的最新版本的Java开发包，下载地址：http://www.oracle.com/technetwork/cn/java/javase/downloads/index.html。

将下载好的安装包安装到指定位置，这里以保存到/opt目录下为例，操作命令如下：

设置环境变量“JAVA_HOME”，这个变量用来指定Java程序的工作目录。在/etc/bashrc目录下添加Java安装目录，命令如下：

(2)设置SSH通过秘钥方式访问。Hadoop多个节点之间通信会采用SSH秘钥认证方式，为避免每次通信都需要用户输入密码，这里需要生成一对SSH秘钥，生成秘钥使用如下命令：

(3)下载Hadoop软件包。访问http://hadoop.apache.org/releases.html#Download，这里提供了多个版本的Hadoop软件包下载，建议读者测试和开发时使用最新的稳定版本(Stable)，这里以2.6.4版本为例，下载位置如图1所示。

图1 下载位置

下载完成后将Hadoop解压缩到/opt目录，并设置环境变量指向Hadoop的安装目录。命令如下：

2.修改配置文件并启动服务

(1)修改Hadoop HDFS配置文件。接下来需要设置Hadoop的配置文件，这种单机运行的模式也称作伪分布模式，和集群模式略有区别。这里使用伪分布模式进行部署。修改如下配置文件。

①$HADOOP_HOME/etc/hadoop/core-site.xml。

②$HADOOP_HOME/etc/hadoop/hdfs-site.xml。

(2)启动Hadoop HDFS服务。

①首次启动格式化存储空间。

②启动NameNode和DataNode进程。

③验证端口是否启动。

(3)修改Hadoop YARN配置文件。

①$HADOOP_HOME/etc/hadoop/mapred-site.xml。

②$HADOOP_HOME/etc/hadoop/yarn-site.xml。

(4)启动Hadoop YARN服务。

①启动命令如下：

②验证端口是否启动。

伪分布方式配置起来非常简单，多用于开发环境部署，接下来就对伪分布环境进行测试。