寫在前面
官方資料
ClouderaManager下載地址
https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPMS/x86_64/
](https://upload-images.jianshu.io/upload_images/7709824-a95da7371c9c0130?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)
CDH6.2.0安裝包地址：https://archive.cloudera.com/cdh6/6.2.0/parcels/
由于我們的操作系統(tǒng)為CentOS7，需要下載以下文件：
當(dāng)然你還可以選擇我的資料
https://download.csdn.net/download/wolf_333/11094810
系統(tǒng)準(zhǔn)備
1. 準(zhǔn)備虛擬機(jī)（根據(jù)自己的系統(tǒng)資源分配虛擬機(jī)資源）
| 操作系統(tǒng) | cpu | 內(nèi)存 | 硬盤 | hostname | ip | 角色 |
|---|---|---|---|---|---|---|
| CentOS 7 (64 位) | 2vCpu | 16GiB | 800GiB | manager | 192.168.124.100 | clouder-manager |
| CentOS 7 (64 位) | 12vCpu | 32GiB | 800GiB | node1 | 192.168.124.101 | |
| CentOS 7 (64 位) | 12vCpu | 32GiB | 800GiB | node2 | 192.168.124.102 | |
| CentOS 7 (64 位) | 12vCpu | 32GiB | 800GiB | node3 | 192.168.124.103 |
2. 靜態(tài)IP設(shè)置（每個(gè)節(jié)點(diǎn)）
vim /etc/sysconfig/network-scripts/ifcfg-ens192
service network restart 重啟網(wǎng)絡(luò)生效
yum install -y net-tools ifconfig查看設(shè)置
3. 編輯/etc/hosts文件（每個(gè)節(jié)點(diǎn)）
vim /etc/hosts
192.168.124.100 manager
192.168.124.101 node1
192.168.124.102 node2
192.168.124.103 node3
4. 關(guān)閉防火墻、禁止防火墻開機(jī)自啟（每個(gè)節(jié)點(diǎn)）
- systemctl stop firewalld 關(guān)閉防火墻
- systemctl disable firewalld 禁止防火墻開機(jī)自啟
-
vim /etc/selinux/config —> SELINUX=disabled (修改)
防火墻
5. ssh無密碼登錄
- manager節(jié)點(diǎn)執(zhí)行ssh-keygen -t rsa 一路回車到結(jié)束，在/root/.ssh/下面會(huì)生成一個(gè)公鑰文件id_rsa.pub
- cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 將公鑰追加到authorized_keys
- chmod 600 ~/.ssh/authorized_keys 修改權(quán)限
- 將~/.ssh從當(dāng)前節(jié)點(diǎn)分發(fā)到其他各個(gè)節(jié)點(diǎn)。如：scp -r ~/.ssh/ root@node1:~/.ssh/
- ssh 各個(gè)節(jié)點(diǎn)互相登陸
6. 配置NTP服務(wù)（所有節(jié)點(diǎn)）
修改時(shí)區(qū)（改為中國標(biāo)準(zhǔn)時(shí)區(qū)）ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
安裝ntp yum -y install ntp
ntp主機(jī)配置 vim /etc/ntp.conf
-
manager節(jié)點(diǎn)
ntp 其余節(jié)點(diǎn)
重新啟動(dòng) ntp 服務(wù)：service ntpd restart
設(shè)置開機(jī)自啟：systemctl enable ntpd.service
ntpdc -c loopinfo #查看與時(shí)間同步服務(wù)器的時(shí)間偏差
ntpq -p #查看當(dāng)前同步的時(shí)間服務(wù)器
ntpstat #查看狀態(tài)
-
配置成功狀態(tài)（服務(wù)開啟后前面出現(xiàn)*說明成功）：
successsuccess2
7. 修改Linux swappiness參數(shù)(所有節(jié)點(diǎn)）
為了避免服務(wù)器使用swap功能而影響服務(wù)器性能，一般都會(huì)把vm.swappiness修改為0（cloudera建議10以下）
echo 0 > /proc/sys/vm/swappiness
這樣操作重啟機(jī)器還是還原
修改配置文件，開機(jī)自動(dòng)設(shè)置參數(shù)
編輯vim /etc/sysctl.conf
在最后添加vm.swappiness=0
上述方法rhel6有效，rhel7.2中:tuned服務(wù)會(huì)動(dòng)態(tài)調(diào)整系統(tǒng)參數(shù)
查找tuned中配置，直接修改配置
cd /usr/lib/tuned/
-
grep “vm.swappiness” * -R 查詢出后依次修改
ori修改完確認(rèn):
success 參考：sysctl修改內(nèi)核參數(shù) 重啟不生效https://blog.csdn.net/ygtlovezf/article/details/79014299
8. 禁用透明頁(所有節(jié)點(diǎn)）
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
-
永久生效 在/etc/rc.local 添加上面命令
toumingye 給與可執(zhí)行權(quán)限：chmod +x /etc/rc.d/rc.local
9. JDK安裝（所有節(jié)點(diǎn)）
- rpm -qa | grep java # 查詢已安裝的java
- yum remove java* # 卸載
- rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm
- vi /etc/profile 末尾添加
# java
export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
- source /etc/profile
- java -version驗(yàn)證
10. 創(chuàng)建/usr/share/java目錄，將mysql-jdbc包放過去（所有節(jié)點(diǎn)）
- mkdir -p /usr/share/java
- mv /opt/mysql-j/mysql-connector-java-5.1.34.jar /usr/share/java/
- mysql-connector-java-5.1.34.jar 一定要命名為mysql-connector-java.jar
11. 為保證防火墻、虛擬機(jī)參數(shù)修改后生效，各節(jié)點(diǎn)機(jī)器需要重啟 reboot
12. Mysql安裝
卸載mariadb：rpm -qa|grep mariadb
rpm -e --nodeps mariadb-libs-5.5.60-1.el7_5.x86_64
cd /opt/mysql/
tar -xvf ./mysql-5.7.19-1.el7.x86_64.rpm-bundle.tar
rpm -ivh mysql-community-common-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-5.7.19-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.19-1.el7.x86_64.rpm
MYSQL配置:
mysqld --initialize --user=mysql # 初始化mysql使mysql目錄的擁有者為mysql用戶
cat /var/log/mysqld.log # 最后一行將會(huì)有隨機(jī)生成的密碼
systemctl start mysqld.service # 設(shè)置mysql服務(wù)自啟
mysql -uroot –p 如果不能登陸
設(shè)置免密登錄并重啟mysql服務(wù)
-
vi /etc/my.cnf
mysql systemctl restart mysqld
-
登錄
$>mysql -u root
mysql>use mysql;
mysql>update user set authentication_string = password(‘123456’), password_expired = ‘N’, password_last_changed = now() where user = ‘root’;
mysql>exit; 創(chuàng)建庫(后續(xù)安裝服務(wù)等使用)
CREATE DATABASE cmserver DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON cmserver.* TO 'cmserveruser'@'%' IDENTIFIED BY 'Yyf5211314!';
CREATE DATABASE metastore DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hiveuser'@'%' IDENTIFIED BY 'Yyf5211314!';
CREATE DATABASE amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amonuser'@'%' IDENTIFIED BY 'Yyf5211314!';
CREATE DATABASE rman DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rmanuser'@'%' IDENTIFIED BY 'Yyf5211314!';
CREATE DATABASE oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozieuser'@'%' IDENTIFIED BY 'Yyf5211314!';
CREATE DATABASE hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hueuser'@'%' IDENTIFIED BY 'Yyf5211314!';
13. 安裝Httpd服務(wù)（manager）
- yum install httpd
- service httpd start
- systemctl enable httpd.service 設(shè)置httpd服務(wù)開機(jī)自啟
14. 防止出現(xiàn)莫名錯(cuò)誤，事先安裝以下插件（所有節(jié)點(diǎn)）
- yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server --skip-broken --nogpgcheck
15. 配置Cloudera Manager包yum源（manager節(jié)點(diǎn)）
mkdir -p /var/www/html/cloudera-repos/
將下載的cm包文件移到此目錄下:
mv cm6 /var/www/html/cloudera-repos/
cd /var/www/html/cloudera-repos/cm6/
-
創(chuàng)建repodata： createrepo .
cm6 -
vim /etc/yum.repos.d/cloudera-manager.repo
pro yum clean all
yum makecache
16.導(dǎo)入GPG key（如果沒有這步操作，很可能cloudera服務(wù)安裝失?。﹎anager節(jié)點(diǎn)
rpm --import https://archive.cloudera.com/cm6/6.2.0/redhat7/yum/RPM-GPG-KEY-cloudera
17. 安裝 Cloudera Manager（manager節(jié)點(diǎn)）
- sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
- 安裝完CM后/opt/ 下會(huì)出現(xiàn)cloudera目錄
- mv /opt/parcels/* /opt/cloudera/parcel-repo # 將parcel包移動(dòng)到指定位置
- 在/opt/cloudera/parcel-repo執(zhí)行以下命令：
- sha1sum CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel | awk ‘{ print $1 }’ > CDH-6.2.0-1.cdh6.2.0.p0.967373-el7.parcel.sha
- 執(zhí)行初始化腳本:
- /opt/cloudera/cm/schema/scm_prepare_database.sh mysql cmserver cmserveruser password
- 打開server服務(wù):
- service cloudera-scm-server start
- 靜候幾分鐘，打開http://manager:7180
