大数据培训_cloudera CHD5安装教程

发布时间： 2019-05-15 13:26:26

　　大数据培训_cloudera CHD5安装教程

　　1.Cloudera安装前准备

　　1.安装linux系统3台

　　2.修改用户名,master,slave01,slave02
　　3.修改hosts IP与主机名的对应关系
　　三台都配置/etc/hosts
　　加入:
　　192.168.245.71 master
　　192.168.245.72 slave01
　　192.168.245.73 slave02
　　所有机器统一时间
　　date -s "2018-12-01 16:07:00"
　　4.安装java 环境
　　[root@master local]# tar -zxvf jdk-8u121-linux-x64.tar.gz
　　[root@master local]# scp -r /usr/local/java/ root@slave01:/usr/local/
　　[root@master local]# scp -r /etc/profile root@slave01:/etc/
　　三台机器加入环境变量，针对后面安装时的报错
　　echo "export JAVA_HOME=/usr/local/java/" > /etc/environment
　　重启三台机器生效
　　5.三台机器做免密登录
　　三台机器互相做免密
　　master-->master,master-->slave01,master-->slave02
　　slave01-->master,slave01-->slave01,slave01-->slave02
　　slave02-->master,slave02-->slave01,slave02-->slave02
　　6.选择其中一台机器安装mysql
　　创建数据库
　　create database hive DEFAULT CHARSET utf8 ;
　　create?database?oozie DEFAULT?CHARSET?utf8?;
　　create database hue?DEFAULT CHARSET utf8 ;
　　7.关闭3台的防火墙
　　service iptables stop
　　chkconfig iptables off 重启后也生效
　　增加补丁
　　[root@master opt]# yum install mod_ssl （避免后面启动时出错）
　　8.下载CDH安装包
　　选择下载的与你安装对应的系统版本
　　Cloudera Manager下载地址：
　　http://archive.cloudera.com/cm5/cm/5/
　　cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
　　CDH安装包
　　http://archive.cloudera.com/cdh5/parcels/latest/
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha1
　　manifest.json
　　下载成功后，上传到/opt/
　　9.安装Cloudera Manager Server 和Agent
　　cloudera manager的目录默认位置在/opt下，解压：tar xzvf cloudera-manager*.tar.gz将解压后的cm-5.15.1和cloudera目录放到/opt目录下
　　[root@master opt]# tar -zxvf cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
　　[root@master opt]# pwd
　　/opt
　　[root@master opt]# ll
　　total 2631988
　　-rw-r--r--. 1 root root 1856909423 Dec 1 21:05 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel
　　-rw-r--r--. 1 root root 41 Dec 1 20:32 CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1
　　drwxr-xr-x. 4 1106 4001 4096 Jul 31 06:30 cloudera
　　-rw-r--r--. 1 root root 838149664 Dec 1 21:07 cloudera-manager-el6-cm5.15.1_x86_64.tar.gz
　　drwxr-xr-x. 9 1106 4001 4096 Jul 31 06:30 cm-5.15.1
　　-rw-r--r--. 1 root root 63988 Nov 29 01:08 manifest.json
　　drwxr-xr-x. 2 root root 4096 Mar 26 2015 rh
　　[root@master opt]#
　　10.上传mysql驱动包
　　复制mysql-connector-java-5.1.44-bin.jar到目录/usr/share/java和/opt/cm-5.15.1/share/cmf/lib/
　　并改名成mysql-connector-java.jar
　　[root@master ~]# mv /opt/mysql-connector-java-5.1.27.jar /opt/mysql-connector-java.jar
　　[root@master opt]# cp /root/mysql-connector-java.jar /opt/cm-5.15.1/share/cmf/lib/
　　[root@master opt]# cp /opt/mysql-connector-java.jar /usr/share/java
　　11.创建用户cloudera-scm
　　在所有节点上执行
　　useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
　　12.agent配置
　　主节点，修改/opt/cm-5.15.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。
　　# Hostname of the CM server.
　　server_host=master
　　同步Agent到其他所有节点：
　　scp -r /opt/cm-5.15.1 root@slave01:/opt/
　　scp -r /opt/cm-5.15.1 root@slave02:/opt/
　　13.在主节点初始化CM5数据库
　　/opt/cm-5.15.1/share/cmf/schema/scm_prepare_database.sh mysql cm -h master -uroot -p123456 --scm-host master scm scm scm
　　-h后是mysql的主机名
　　--scm-host 后是SCM server的主机名（主节点）
　　14.准备Parcels，用以安装CDH5
　　将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中
　　相关的文件如下：
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha1
　　manifest.json
　　最后将CDH-5.1.3-1.cdh5.1.3.p0.12-el6.parcel.sha1，重命名为
　　CDH-5.15.1-1.cdh5.15.1.p0.34-el6.parcel.sha
　　[root@master opt]# cp CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel* /opt/cloudera/parcel-repo/
　　[root@master opt]# cp manifest.json /opt/cloudera/parcel-repo/
　　[root@master opt]# mv /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.1-1.cdh5.15.1.p0.4-el6.parcel.sha
　　15.启动脚本
　　主节点：通过/opt/cm-5.15.1/etc/init.d/cloudera-scm-server start启动服务端。
　　所有节点（包括主节点）：通过/opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start启动Agent服务
　　停止可以用/init.d/cloudera-scm-server stop
　　启动成功后，可以用ps –ef|grep cloudera看到这2个进程
　　[root@master opt]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-server start
　　Starting cloudera-scm-server: [ OK ]
　　[root@master opt]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
　　Starting cloudera-scm-agent: [ OK ]
　　[root@slave01 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
　　Starting cloudera-scm-agent: [ OK ]
　　[root@slave02 ~]# /opt/cm-5.15.1/etc/init.d/cloudera-scm-agent start
　　Starting cloudera-scm-agent: [ OK ]
　　16.CDH5的安装配置
　　http://192.168.0.81:7180/cmf/login

　　默认的用户名和密码均为admin

　　2.Cloudera集群安装

　　1.登录