离线安装CDH5

本文主要记录在测试环境中安装CDH的步骤。本文中的hadoop集群有1个namenode，3个datanode。

CDH本地源准备

国内从cloudera官方源上安装实在太慢了，因此我们做了个本地源，部署源的注意事项主要有3点：

• 在另外一台机器上拉取 http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/ 上面的包放保持目录结构在一个固定的目录，比如/data/web/cloudera/cm5/redhat/6/x86_64/cm/
• 配置nginx，设置该目录当做源，如：

server  
{
    listen       80;
    server_name  archive.cloudera.com;
    index index.html index.htm index.php;
    root  /data/web/cloudera;
    autoindex on;
}

• hadoop集群机器的/etc/hosts添加hosts设置如下：

192.168.15.208 archive.cloudera.com  

测试环境

4台CentOS6.5机器

192.168.15.88  hd1.mc.com #namenode  
192.168.15.224 hd2.mc.com #datanode1  
192.168.15.123 hd3.mc.com #datanode2  
192.168.15.30  hd4.mc.com #datanode3  

• 设置好hostname(修改/etc/sysconfig/network)
• 设置好/etc/hosts
• namenode生成ssh-key并同步到其他机器，并拷贝出来备用(安装CDH时用到)

[root@hd1 ~]# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
[root@hd1 ~]# for sid in `seq 2 4`; do scp /root/.ssh/authorized_keys hd${sid}.mc.com:/root/.ssh/authorized_keys; done
[root@hd1 ~]# sz /root/.ssh/id_rsa

安装CDH

• 下载安装介质并执行

[root@hd1 ~]# wget -c http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin
[root@hd1 ~]# chmod +x cloudera-manager-installer.bin
[root@hd1 ~]# ./cloudera-manager-installer.bin

• dashboard

浏览器访问：http://192.168.15.88:7180

默认登录用户名及密码：admin/admin

选择免费的Cloudera Express版本：

填写主机名(最好是FQDN主机名)：

点击搜索：

选择存储库，这里直接使用数据包：

这里默认直接下一步：

SSH设置(私钥文件是之前在namenode生成的id_rsa)：

开始安装了：

安装完成：

下一步是主机检查：

根据检查的结果，4台机器都需要设置下swappiness为0：

# echo 0 > /proc/sys/vm/swappiness
# echo "vm.swappiness = 0" >> /etc/sysctl.conf

重新运行主机检查，没问题了：

选择需要安装的组件，选择所有服务：

默认没有HBase REST Server，HBase Thrift Server和HttpFS角色，这里都加到hd1：

设置好后是这样的：

数据库设置，选择使用嵌入式数据库，记得点击测试连接：

默认即可：

首次运行：

完成了：

转回到主页，发现有问题：

点击下所有运行状况问题：

4台机器启动ntpd服务，解决时钟偏差的问题：

# service ntpd start
# chkconfig ntpd on

终于OK了：