歡迎訪問我的GitHub
https://github.com/zq2599/blog_demos
內容：所有原創文章分類匯總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；
為什么會超簡單
借助ansible簡化了CDH6部署工作的大部分內容，也降低了手工操作失誤的概率，今天實戰的內容，是在一臺安裝了ansible的電腦上(蘋果或Linux操作系統)運行ansible腳本，遠程操作一臺CentOS服務器，在上面部署CDH6，并操作驗證本次部署是否成功。
ansible學習
如果您想了解ansible，請參考《ansible2.4安裝和體驗》
為什么要部署單機版CDH6
主要是用來做為大數據技術的學習和開發的環境，并不適合生產；
實戰簡述
本次實戰內容：部署、啟動、驗證，整個過程如下圖所示：
全文大綱
本文由以下章節組成：
- 環境信息；
- 下載文件；
- 文件擺放；
- CDH機器設置；
- ansible參數設置；
- 部署；
- 重啟CDH服務器
- 啟動；
- 設置；
- 修復問題；
- 體驗；
環境信息
本次實戰的操作過程如下圖所示，安裝ansible2.9版本的MabBook Pro電腦作為ansible服務器，執行playbook腳本，對一臺CentOS服務器進行遠程操作，完成CDH6的部署和啟動：
上圖藍色背景的電腦，可以是蘋果操作系統，也可以是Linux操作系統，黃色背景的電腦要用來運行CDH6，必須是CentOS7.7操作系統(實在對不起，我這條件有限，別的系統沒有試過)
整個實戰涉及的環境版本信息如下：
- ansible服務器：macOS Catalina 10.15(實測用CentOS7.7也成功)
- CDH服務器：CentOS Linux release 7.7.1908
- cm版本：6.1.0
- parcel版本：6.1.1
- jdk版本：8u191
下載文件(ansible服務器)
本次實戰用到的所有文件如下表所示：
| 編號 | 文件名 | 簡介 |
|--|--|--|--|
| 1 | jdk-8u191-linux-x64.tar.gz | Linux版的jdk安裝包 |
| 2 | mysql-connector-java-5.1.34.jar | mysql的JDBC驅動 |
| 3 | cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm | cm的server安裝包 |
| 4 | cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm | cm的daemon安裝包 |
| 5 | cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm | cm的agent安裝包 |
| 6 | CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel | CDH應用離線安裝包 |
| 7 | CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha | CDH應用離線安裝包sha驗證碼 |
| 8 | hosts | ansible用到的遠程主機配置，里面記錄了CDH6服務器的信息 |
| 9 | ansible.cfg | ansible用到的配置信息 |
| 9 | ansible.cfg | ansible用到的配置信息 |
| 10 | cdh-single-install.yml | 部署CDH時用到的ansible腳本 |
| 11 | cdh-single-start.yml | 初次啟動CDH時用到的ansible腳本 |
上述11個文件的下載地址：
- <font color="blue">jdk-8u191-linux-x64.tar.gz</font>：Oracle官網可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
- <font color="blue">mysql-connector-java-5.1.34.jar</font>：maven中央倉庫可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一起打包上傳到csdn，您可以一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987
- <font color="blue">cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm</font>：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
- <font color="blue">cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm</font>：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
- <font color="blue">cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm</font>：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
- <font color="blue">CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel</font>：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel
- <font color="blue">CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha</font>：https://archive.cloudera.com/cdh6/6.1.1/parcels/CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha256 （下載完畢后，將擴展名從.sha256改為.sha）
- <font color="blue">hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml</font>：這四個文件都保存在我的GitHub倉庫，地址是：https://github.com/zq2599/blog_demos ，這里面有多個文件夾，上述文件在名為<font color="blue">ansible-cdh6-single</font>的文件夾中，如下圖紅框所示：
在這里插入圖片描述
文件擺放(ansible服務器)
如果您已經下載好了上述11個文件，請按照如下位置擺放，這樣才能順利完成部署：
- 在家目錄下新建名為playbooks的文件夾：<font color="blue">mkdir ~/playbooks</font>
- 把這四個文件放入<font color="blue">playbooks</font>文件夾：hosts、ansible.cfg、cdh-single-install.yml、cdh-single-start.yml
- 在<font color="blue">playbooks</font>文件夾里新建名為<font color="blue">cdh6</font>的子文件夾；
- 把這七個文件放入<font color="blue">cdh6</font>文件夾(即剩余的七個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm、cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel、CDH-6.1.1-1.cdh6.1.1.p0.875250-el7.parcel.sha
-
擺放完畢后目錄和文件情況如下圖，再次提醒，<font color="red">文件夾playbooks一定要放在家目錄下</font>（即：<font color="red">~/</font>）：
在這里插入圖片描述
CDH服務器設置
本次實戰中，CDH服務器hostname是deskmini，IP地址是<font color="blue">192.168.50.134</font>，需要做以下操作：
- 請確保CDH服務器能SSH登錄(用戶名+密碼)；
- SSH登錄到部署CDH的機器；
-
檢查<font color="blue">/etc/hostname</font>文件是正確，如下圖：
在這里插入圖片描述 -
修改<font color="blue">/etc/hosts</font>文件，將自己的IP地址和hostname配置上去，如下圖紅框所示（事實證明這一步很重要，如果不做可能導致在部署時一直卡在"分配"階段，看agent日志顯示agent下載parcel的進度一直是百分之零）：
在這里插入圖片描述
ansible參數設置(ansible服務器)
ansible參數設置的操作設置很簡單，就是把部署CDH的機器信息配置好即可，包括IP地址、登錄賬號、密碼等，修改<font color="blue">~/playbooks/hosts</font>文件，內容如下所示，您需要根據自身情況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：
[cdh_group]
deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888
部署(ansible服務器)
- 進入<font color="blue">~/playbooks</font>目錄；
-
檢查ansible遠程操作CDH服務器是否正常，執行命令<font color="blue">ansible deskmini -a "free -m"</font>，正常情況下顯示CDH服務器的內存信息，如下圖：
在這里插入圖片描述 - 執行此命令開始部署：<font color="blue">ansible-playbook cdh-single-install.yml</font>
- 整個部署過程涉及在線安裝、傳遞文件等耗時的操作，因此請耐心等待（半小時左右），我在部署期間遭遇網絡問題導致失敗退出，待網絡正常后再重新執行上述操作即可，ansible保證了操作的冪等性；
-
部署成功如下圖所示：
在這里插入圖片描述
重啟CDH服務器
由于修改了selinux和swap的設置，需要重啟操作系統才能生效，因此請重啟CDH服務器；
啟動(ansible服務器)
- 等待CDH服務器重啟成功；
- 登錄ansible服務器，進入~/playbooks目錄；
- 執行此命令開始初始化數據庫，然后啟動CDH：<font color="blue">ansible-playbook cdh-single-start.yml</font>
-
啟動完成輸出如下信息：
在這里插入圖片描述
設置(網頁)
CDH已經啟動，CDH服務器對外提供了web服務，可以通過瀏覽器來操作：
-
瀏覽器訪問：http://192.168.50.134:7180 ，如下圖，賬號密碼都是<font color="blue">admin</font>：
在這里插入圖片描述 -
一路next，在選擇版本頁面選擇60天體驗版：
在這里插入圖片描述 -
選擇主機頁面可見deskmini：
在這里插入圖片描述 -
選擇下圖紅框中的CDH版本，因為對應的離線包已經復制到CM的本地倉庫，無需下載：
在這里插入圖片描述 -
下載瞬間完成，等候分配、解壓、激活：
在這里插入圖片描述 -
選擇服務的頁面，我這里選擇了Data Engineering，因為需要spark：
在這里插入圖片描述 -
選擇機器的頁面，全選deskmini：
在這里插入圖片描述 -
數據庫設置頁面，<font color="blue">請和下圖保持一致</font>，數據庫主機都是<font color="blue">localhost</font>，每個數據庫的名稱、用戶名、密碼都相同，分別是：<font color="red">hive、amon、rman、oozie、hue</font>
在這里插入圖片描述 -
參數設置頁面，請根據磁盤情況適當調整存儲路徑，例如我的<font color="blue">/home</font>目錄空間充足，這里都改到了<font color="blue">/home</font>目錄下面：
在這里插入圖片描述 -
等待啟動完成：
在這里插入圖片描述 -
等待啟動完成后，如下圖所示：
在這里插入圖片描述
至此，所有服務啟動完成，不過有兩個小問題需要修復；
修復HDFS問題
-
服務整體情況如下圖，HDFS服務有問題，點擊紅框中的圖標：
在這里插入圖片描述 -
點擊下圖紅框位置：
在這里插入圖片描述 -
故障詳情如下圖所示，屬于常見的副本不足的問題：
在這里插入圖片描述 -
如下圖所示，修改HDFS的配置<font color="blue">dfs.replication</font>，從3改成1，然后保存更改：
在這里插入圖片描述 -
重啟服務：
在這里插入圖片描述 - 經過上述設置，副本數已經調整為1，但是已有文件的副本數還沒有同步，需要重新做設置，SSH登錄到電腦deskmini上；
-
執行命令<font color="blue">vi /etc/passwd</font>，找到賬號hdfs的配置，如下圖紅框所示，</font>/sbin/nologin</font>這樣的shell會導致切換到hdfs賬號失?。?/p>
在這里插入圖片描述 -
將上述紅框中的內容改為<font color="blue">/bin/bash</font>，修改后如下圖紅框所示：
在這里插入圖片描述 - 執行命令<font color="blue">su - hdfs</font>，即可切換到hdfs賬號，此時執行以下命令即可完成副本數設置：
hadoop fs -setrep -R 1 /
-
服務已經全部正常了：
在這里插入圖片描述
調整YARN參數避免spark-shell啟動失敗
-
YARN默認給容器分配的內存過小，導致啟動spark-shell失敗，需要調整YARM相關的內存參數：
在這里插入圖片描述 -
在YARN的配置頁面，調整<font color="blue">yarn.scheduler.maximum-allocation-mb</font>和<font color="blue">yarn.nodemanager.resource.memory-mb</font>這兩個參數的值，我這里將這個兩個參數的值都改成<font color="red">8G</font>（請按照自己電腦實際硬件配置來調整），如下圖：
在這里插入圖片描述 -
重啟YARN：
在這里插入圖片描述 - 執行spark-shell命令之前，先執行命令<font color="blue">su - hdfs</font>切換到hdfs賬號；
-
這次終于成功進入spark-shell交互模式：
在這里插入圖片描述
至此，CDH6的部署、啟動、設置都已經完成，接下來體驗一下大數據服務；
體驗HDFS和Spark
接下來運行一個Spark任務，經典的WordCount：
- 準備一份文本文件，里面是英文內容，您可以下載這個文件：https://raw.githubusercontent.com/zq2599/blog_demos/master/files/GoneWiththeWind.txt
- 登錄SSH，切換到<font color="red">hdfs</font>賬號；
- 創建HDFS文件夾：
hdfs dfs -mkdir /input
- 將文本文件上傳到/input目錄：
hdfs dfs -put ./GoneWiththeWind.txt /input
- 執行命令<font color="blue">spark-shell</font>，啟動一個worker；
- 輸入以下命令，即可完成一次WorkCount任務，<font color="blue">192.168.50.134</font>是deskmini的IP地址：
sc.textFile("hdfs://192.168.50.134:8020/input/GoneWiththeWind.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).saveAsTextFile("hdfs://192.168.50.134:8020/output")
- 執行完畢后，下載結果文件：
hdfs dfs -get /output/*
-
上述命令將spark任務的結果文件part-00000、part-00001下載到本機，用vi命令查看文件，如下圖，可見WorkCount執行成功：
在這里插入圖片描述 -
在瀏覽器上查看歷史任務，地址是：http://192.168.50.134:18088 ，可見此次任務的詳情：
在這里插入圖片描述
至此，CDH6的部署、設置、體驗都已經完成，如果您正在搭建自己的學習或者開發環境，希望本文能給您一些參考。
深度定制
整個實戰雖然避免了傳統部署過程中的大量手動操作，但弊端也很明顯：所有路徑、文件名、服務版本都是固定的，不能做任何設置，雖然ansible也支持變量，但是如果變量太多也會給您帶來困擾，所以，如果您有修改版本或路徑的需求，建議您自行修改cdh-single-install.yml、cdh-single-start.yml的內容，所有文件和版本信息都在里面。
歡迎關注公眾號：程序員欣宸
微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢游Java世界...
https://github.com/zq2599/blog_demos
