docker安裝CDH6.3.1集群版(內含安裝包)

一、前言

本次采用的在線安裝方式,cdh為6.3.2版本,系統為centos7.4, docker節點可以為任意多個,下文將以3個docker容器為示例進行展示。此方法也可用在docker swarm上,docker容器能夠互連,網絡互通即可。安裝前請確保內存夠用,我的32g內存3個節點啟動后內存使用率75%。

二、宿主機初始化

以下在docker的宿主機上進行操作。
?

2.1配置yum源

yum install -y wget \
&& mkdir -p /etc/yum.repos.d/repo_bak \
&& mv /etc/yum.repos.d/*.repo /etc/yum.repos.d/repo_bak/ \
&& wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo \
&& wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo \
&& yum clean all \
&& yum makecache \
&& yum update –y

?

2.2安裝docker-ce

yum install -y yum-utils device-mapper-persistent-data lvm2 \
&& yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo\
&& yum makecache fast \
&& yum -y install docker-ce \
&& yum clean all \
&& docker version

?

2.3配置docker

data-root:docker根目錄路徑
insecure-registries:docker私有倉庫地址
registry-mirrors:公共鏡像倉庫加速地址

mkdir -p /etc/docker/ && \
(
cat <<EOF
{
  "data-root":"/home/docker",
  "registry-mirrors": ["https://1e7waog4.mirror.aliyuncs.com"]
}
EOF
) >>/etc/docker/daemon.json \
&& systemctl start docker \
&& systemctl enable docker \
&& cat /etc/docker/daemon.json \
&& docker version

安裝docker命令補全工具

yum install -y bash-completion \
&& source /usr/share/bash-completion/completions/docker \
&& source /usr/share/bash-completion/bash_completion \
&& yum clean all

?

2.4安裝基本工具

yum install -y vim wget ntp net-tools \
&& yum clean all

?

2.5關閉防火墻

systemctl stop firewalld \
&& systemctl disable firewalld \
&& systemctl status firewalld

?

2.6設置SELinux模式

setenforce 0 \
|| sed -i 's/enforcing/disabled/g' /etc/selinux/config \
&& sed -i 's/permissive/disabled/g' /etc/selinux/config \
&& getenforce

?

2.7配置時間同步

vim /etc/ntp.conf

將時鐘服務器更改為如下4個

server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org   
server 3.cn.pool.ntp.org

注意:若為離線安裝,則要將服務器地址改為內網時間服務器地址。

啟動設置ntp服務

systemctl start ntpd \
&& systemctl enable ntpd \
&& ntpdate -u 0.cn.pool.ntp.org \
&& hwclock --systohc \
&& date

?

2.8創建自定義網絡

docker network create --subnet=172.10.0.0/16 hadoop_net \
&& docker network ls

?

2.9下載CDH相關資源

由于CDH已經從2021年2月以后已經不提供免費下載了,所以我這里收集了一份已經下載好的安裝必須的軟件包集合(包括CDH,MYSQL,Dockerfile)。請大家自行下載
CDH資源下載 提取碼: u07l

?

2.10創建基礎系統鏡像

在下載后CDH文件夾中,Dockerfile同級目錄執行:

docker build -t centos7-cdh .

?

2.11啟動容器

如果想要開機自啟動容器。可以在命令中加上--restart always

docker run -d \
--add-host cm.hadoop:172.10.0.2 \
--net hadoop_net \
--ip 172.10.0.2 \
-h cm.hadoop \
-p 10022:22 \
-p 7180:7180 \
--name cm.hadoop \
--privileged \
centos7-cdh \
/usr/sbin/init \
&& docker ps

?

2.12拷貝安裝CDH需要的文件到容器

在下載后CDH文件夾中,hadoop_CDH文件夾同級目錄執行:
{dockerId} 為2.11中創建的容器id

docker cp hadoop_CDH {dockerId}:/root/hadoop_CDH

?

三、容器安裝ClouderaManager

?

3.1初始化環境

進入第二步創建的容器中,并將root的登錄密碼改為root

docker exec –it {dockerId} /bin/bash
su root
passwd
root
root

安裝基礎環境

yum install -y kde-l10n-Chinese telnet reinstall glibc-common vim wget ntp net-tools \
&& yum clean all

?

3.2配置中文環境變量

(
cat <<EOF
export LC_ALL=zh_CN.utf8
export LANG=zh_CN.utf8
export LANGUAGE=zh_CN.utf8
EOF
) >> ~/.bashrc \
&& localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 \
&& source ~/.bashrc \
&& echo $LANG

?

3.3設置NTP時間同步服務

vim /etc/ntp.conf

更改為以下四個時鐘服務器

server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org

調整時區

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

啟動ntp服務

systemctl start ntpd && \
systemctl enable ntpd && \
ntpdate -u 0.cn.pool.ntp.org && \
hwclock --systohc && \
date

?

3.4搭建本地yum源

yum -y install httpd createrepo \
&& systemctl start httpd \
&& systemctl enable httpd \
&& cd /root/hadoop_CDH/cloudera-repos/ && createrepo . \
&& mv /root/hadoop_CDH/cloudera-repos /var/www/html/ \
&& yum clean all \
&& ll /var/www/html/cloudera-repos

?

3.5安裝jdk

cd /var/www/html/cloudera-repos/;rpm -ivh oracle-j2sdk1.8-1.8.0update181-1.x86_64.rpm

?

3.6安裝配置MySQL數據庫

cd /root/hadoop_CDH/mysql/;tar -xvf mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar \
&& yum install -y libaio numactl \
&& rpm -ivh mysql-community-common-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-libs-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-client-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-server-5.7.27-1.el7.x86_64.rpm \
&& rpm -ivh mysql-community-libs-compat-5.7.27-1.el7.x86_64.rpm \
&& echo character-set-server=utf8 >> /etc/my.cnf \
&& rm -rf /root/hadoop_CDH/mysql/ \
&& yum clean all \
&& rpm -qa |grep mysql

?

3.7數據庫授權

(
cat <<EOF
set password for root@localhost = password('123456Aa.');
grant all privileges on *.* to 'root'@'%' identified by '123456Aa.';
flush privileges;
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON scm.* TO 'scm'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY '123456Aa.';
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY '123456Aa.';
SHOW DATABASES;
EOF
) >> /root/c.sql

獲取MySQL初始密碼

systemctl start mysqld && grep password /var/log/mysqld.log | sed 's/.*\(............\)$/\1/'

執行SQL腳本 {password}為剛剛查詢的初始密碼

mysql -uroot –p‘{password}’

登陸后執行

source /root/c.sql

?

3.8配置mysql jdbc驅動

mkdir -p /usr/share/java/ \
&& cd /root/hadoop_CDH/mysql-jdbc/;tar -zxvf mysql-connector-java-5.1.48.tar.gz \
&& cp  /root/hadoop_CDH/mysql-jdbc/mysql-connector-java-5.1.48/mysql-connector-java-5.1.48-bin.jar /usr/share/java/mysql-connector-java.jar \
&& rm -rf /root/hadoop_CDH/mysql-jdbc/ \
&& ls /usr/share/java/

?

3.9安裝Cloudera Manager

(
cat <<EOF
[cloudera-manager]
name=Cloudera Manager 6.3.0
baseurl=http://172.10.0.2/cloudera-repos/
gpgcheck=0
enabled=1
EOF
) >> /etc/yum.repos.d/cloudera-manager.repo \
&& yum clean all \
&& yum makecache \
&& yum install -y cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server \
&& yum clean all \
&& rpm -qa | grep cloudera-manager

?

3.10配置parcel庫

cd /opt/cloudera/parcel-repo/;mv /root/hadoop_CDH/parcel/* ./ \
&& sha1sum CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel | awk '{ print $1 }' > CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha \
&& rm -rf /root/hadoop_CDH/parcel/ \
&& chown -R cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo/* \
&& ll /opt/cloudera/parcel-repo/

?

3.11初始化scm庫

/opt/cloudera/cm/schema/scm_prepare_database.sh mysql scm scm 123456Aa.

?

3.12啟動cloudera-server服務

systemctl start cloudera-scm-server \
&& sleep 2 \
&& tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log | grep "INFO WebServerImpl:com.cloudera.server.cmf.WebServerImpl: Started Jetty server"

?

四、配置CDH的worker節點

以下為worker容器的準備方式,若為多個時,重復執行以下步驟,創建多個worker節點。
?

4.1創建多個worker容器

創建2個work容器
Worker-1:

docker run -d \
--add-host cm.hadoop:172.10.0.2 \
--add-host cdh01.hadoop:172.10.0.3\
--net hadoop_net \
--ip 172.10.0.3 \
-h cdh01.hadoop \
-p 20022:22 \
--name cdh01.hadoop \
--privileged \
centos7-cdh \
/usr/sbin/init \
&& docker ps

Worker-2:

docker run -d \
--add-host cm.hadoop:172.10.0.2 \
--add-host cdh02.hadoop:172.10.0.4 \
--net hadoop_net \
--ip 172.10.0.4 \
-h cdh02.hadoop \
-p 30022:22 \
--name cdh02.hadoop \
--privileged \
centos7-cdh \
/usr/sbin/init \
&& docker ps

說明:
如果需要開機重啟可以添加--restart always開啟
?

4.2裝基本工具

上一步創建的所有容器均執行,修改root的登錄密碼改為root

docker exec –it {dockerId} /bin/bash
su root
passwd
root
root

然后執行:

yum install -y kde-l10n-Chinese telnet reinstall glibc-common vim wget ntp net-tools \
&& yum clean all

?

4.3配置中文環境變量

(
cat <<EOF
export LC_ALL=zh_CN.utf8
export LANG=zh_CN.utf8
export LANGUAGE=zh_CN.utf8
EOF
) >> ~/.bashrc \
&& localedef -c -f UTF-8 -i zh_CN zh_CN.utf8 \
&& source ~/.bashrc \
&& echo $LANG

?

4.4配置NTP時間同步服務

vim /etc/ntp.conf

更改為以下四個時鐘服務器

server 0.cn.pool.ntp.org
server 1.cn.pool.ntp.org
server 2.cn.pool.ntp.org
server 3.cn.pool.ntp.org

調整時區

cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

啟動ntp服務

systemctl start ntpd && \
systemctl enable ntpd && \
ntpdate -u 0.cn.pool.ntp.org && \
hwclock --systohc && \
date

?

4.5配置MySQL JDBC

mkdir -p /usr/share/java/ \
&& wget -O /usr/share/java/mysql-connector-java-5.1.48.tar.gz \
https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.48.tar.gz \
&& cd /usr/share/java/;tar -zxvf mysql-connector-java-5.1.48.tar.gz \
&& cp /usr/share/java/mysql-connector-java-5.1.48/mysql-connector-java-5.1.48-bin.jar /usr/share/java/mysql-connector-java.jar \
&& rm -rf mysql-connector-java-5.1.48 mysql-connector-java-5.1.48.tar.gz \
&& ls /usr/share/java/

?

4.6修改CM主機的host文件

echo "172.10.0.3      cdh01.hadoop cdh01" >> /etc/hosts
echo "172.10.0.4      cdh02.hadoop cdh02" >> /etc/hosts

注意:不是在worker節點上操作,而是在2.11創建的cloud-manager節點上操作,有多少個work容器,執行多少次,內容按真實情況填寫即可。

五、CM管理平臺創建CDH集群

?

5.1登陸CM管理平臺

http://IP:7180/cmf/login 賬號密碼:admin/admin
?

5.2歡迎頁

1.png

此面一直點擊“繼續”。


2.png

3.png

?

5.3集群安裝

歡迎頁

4.png

創建集群
5.png

添加節點
6.png

紅色部分為: 172.10.0.[2-4]
選擇存儲
7.png

自定義存儲庫:http://172.10.0.2/cloudera-repos
Jdk安裝
8.png

9.png

SSH憑據,密碼為容器root用戶的登錄密碼,此處為root。
安裝代理
10.png

?
卡在這一步的情況比較多,我來說說我遇到的情況和解決辦法
?

解決辦法1:

cloudera安裝報錯 socket.gaierror: [Errno -2] Name or service not known
修改/usr/bin/host文件名

mv /usr/bin/host /usr/bin/host1

返回重試Install Agents

解決辦法2:

安裝失敗。 無法接收 Agent 發出的檢測信號。
直接在要安裝agent的節點中重啟cloudera-scm-agent服務
如果重啟一次沒有成功就重啟兩次。
重啟后可以通過tail -200 /var/log/cloudera-scm-agent/cloudera-scm-agent.log命令查看是否報錯

docker exec -it {cdh01.containerId} bash
systemctl restart cloudera-scm-agent.service
docker exec -it {cdh02.containerId} bash
systemctl restart cloudera-scm-agent.service

注意:如果是別的安裝方式,還需要檢查/etc/hosts 里面配置的ip和hostname是否與/etc/hostname 里面的機器名相對應,但是我們這種方式是配置好的,不用檢查。

解決辦法3:

安裝失敗。查看詳細信息后報錯
cloudera-manager-agent must have Version=6.3.1 and Build=1466458, exiting
這是應為 repo 和parcel 版本不一致導致的,這時候我們就要手動安裝cloudera-manager-agent

1.在所有Slave節點安裝agement,
這步需要先將CDH\hadoop_CDH\cloudera-repos 目錄下的
cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm
cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
兩個安裝包拷貝到Slave節點中,之后執行

yum localinstall cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-agent  -y

所有Slave節點修改CM Server地址

vim /etc/cloudera-scm-agent/config.ini

# 將server_host修改為CM-Server所在的主機名
server_host= cm.hadoop

啟動Agent

systemctl start cloudera-scm-agent
# 查看agent狀態
systemctl status cloudera-scm-agent
#查看日志
tail -100f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

重啟服務后刷新頁面http://IP:7180/ 你就會看到這個界面

11.png

點擊主機->所有主機

12.png

你會看到3臺機器已經納入管理了

13.png

說明agent安裝成功了,接下來我們加繼續安裝大數據組建

由于剛才我們建集群的步驟被中斷了,所以我們再來建一次

集群->添加集群

14.png

之后前面的步驟我就不再重復了,只需要在這個頁面改為當前管理的主機

15.png

之后配置不變進入安裝界面

16.png
17.png

?

5.4集群設置

18.png

19.png

紅色為添加3個節點


20.png

這里填寫我們配置好的數據庫
服務 主機名稱 數據庫名稱 用戶名 密碼
Oozie cm.hadoop oozie oozie 123456Aa.
Hive cm.hadoop metastore hive 123456Aa.
Hue cm.hadoop hue hue 123456Aa.
21.png

22.png

Datanode-> /dfs/datanode
Namenode-> /dfs/namenode
HDFS檢查點-> /dfs/checkpoint
NodeManager 本地目錄-> /dfs/nodemanager

23.png

安裝完成!


24.png

?
?
?

六、用戶設置

用于spark等需要用hdfs用戶,需要設置一下dhfs賬戶的登陸權限

以cm機器為例

docker exec -it {cdh01.containerId} bash
vim /etc/passwd
#搜有hdfs
:/hsfs
#修改 hdfs:x:996:993:Hadoop HDFS:/var/lib/hadoop-hdfs:/sbin/nologin
#為 hdfs:x:996:993:Hadoop HDFS:/var/lib/hadoop-hdfs:/bin/bash
:wq

之后測試一下

su hdfs
spark-shell
25.png

?
?
?
參考鏈接:
https://www.cnblogs.com/runnerjack/p/12693597.html
https://blog.csdn.net/weixin_39062173/article/details/93065342
https://blog.csdn.net/yabingshi_tech/article/details/67632472

最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容