環境準備
- 操作系統： Centos 7.9.2009 (Core)
| IP | 主機名 | 備注 |
|---|---|---|
| 10.1.1.1 | cdh01 | 主節點 |
| 10.1.1.2 | cdh02 | |
| 10.1.1.3 | cdh03 |
假定三臺服務器均已啟用時間同步（ntp），且均可訪問外網。
- 三臺主機分別修改主機名、系統參數等
hostnamectl set-hostname cdh01
hostnamectl set-hostname cdh02
hostnamectl set-hostname cdh03
- 修改hosts（以下操作如無特殊說明，均在所有節點執行）
cat >>/etc/hosts<<EOF
10.1.1.1 cdh01
10.1.1.2 cdh02
10.1.1.3 cdh03
EOF
- 停防火墻、selinux（或單獨開放端口及權限）
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
- 配置yum源（這里直接使用官方的源）
curl https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/cloudera-manager.repo > /etc/yum.repos.d/cm6.repo
- 修改系統參數
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo vm.swappiness=0 >> /etc/sysctl.conf
執行sysctl -p使系統參數生效
sysctl -p
數據庫配置
安裝mysql或mariadb（過程略）
創建cdh所需數據庫及用戶，這里需要注意數據庫字符集需要設置為utf-8,使用默認字符集后面會出現一些奇怪的問題。
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
創建數據庫用戶過程略，這里演示的話直接使用root用戶。
安裝jdk
這里使用oracle發行的jdk進行安裝，過程略。
安裝CDH相關組件
主節點執行
yum install -y cloudera-manager-server
所有節點執行
yum install -y cloudera-manager-agent
主節點執行初始化數據庫
cd /opt/cloudera/cm/schema/
./scm_prepare_database.sh -h cdh01 -P 3306 mysql scm root password
將parcel包放入主節點/opt/cloudera/parcel-repo目錄
cd /opt/cloudera/parcel-repo
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774-bionic.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.sha
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.torrent
chown -R cloudera-scm.cloudera-scm *
啟動主節點
systemctl start cloudera-scm-server
修改其余節點配置
sed -i 's/server_host=localhost/server_host=cdh01/g' /etc/cloudera-scm-agent/config.ini
啟動其余節點
systemctl start cloudera-scm-agent
通過網頁打開http://10.1.1.1:7180開始配置
