一、Cloudera Manager介紹

????Cloudera Manager(簡(jiǎn)稱CM)是Cloudera公司開(kāi)發(fā)的一款大數(shù)據(jù)集群安裝部署利器，這款利器具有集群自動(dòng)化安裝、中心化管理、集群監(jiān)控、報(bào)警等功能，使得安裝集群從幾天的時(shí)間縮短在幾小時(shí)以內(nèi)，運(yùn)維人員從數(shù)十人降低到幾人以內(nèi)，極大的提高集群管理的效率。所以為了同學(xué)們能夠快速搭建該平臺(tái)，寫出以下教程僅供參考，有什么不足之處請(qǐng)?zhí)岢觯右愿恼?br> ????開(kāi)始之前其實(shí)有很多的工作要做，比如配置IP地址、關(guān)閉防火墻、配置SSH免密登錄等，這些都是比較常規(guī)的環(huán)境配置，這里不再贅述，不懂者自行百度。
????附上大數(shù)據(jù)“前世今生”的一篇文章給大家，希望大家對(duì)大數(shù)據(jù)有更多的了解，大數(shù)據(jù)的前世今生：誕生、發(fā)展、未來(lái)？

1.CM技術(shù)架構(gòu)

CM架構(gòu).png

Agent：安裝在每臺(tái)主機(jī)上。該代理負(fù)責(zé)啟動(dòng)和停止的過(guò)程，拆包配置，觸發(fā)裝置和監(jiān)控主機(jī)。
Management Service：由一組執(zhí)行各種監(jiān)控，警報(bào)和報(bào)告功能角色的服務(wù)。
Database：存儲(chǔ)配置和監(jiān)視信息。通常情況下，多個(gè)邏輯數(shù)據(jù)庫(kù)在一個(gè)或多個(gè)數(shù)據(jù)庫(kù)服務(wù)器上運(yùn)行。例如，Cloudera的管理服務(wù)器和監(jiān)控角色使用不同的邏輯數(shù)據(jù)庫(kù)。
Cloudera Repository：軟件由Cloudera 管理分布存儲(chǔ)庫(kù)。
Clients：是用于與服務(wù)器進(jìn)行交互的接口：
Admin Console ：基于Web的用戶界面與管理員管理集群和Cloudera管理。
API ：與開(kāi)發(fā)人員創(chuàng)建自定義的Cloudera Manager應(yīng)用程序的API。

2.CM四大功能

1.管理：對(duì)集群進(jìn)行管理，如添加、刪除節(jié)點(diǎn)等操作。
2.監(jiān)控：監(jiān)控集群的健康情況，對(duì)設(shè)置的各種指標(biāo)和系統(tǒng)運(yùn)行情況進(jìn)行全面監(jiān)控。
3.診斷：對(duì)集群出現(xiàn)的問(wèn)題進(jìn)行診斷，對(duì)出現(xiàn)的問(wèn)題給出建議解決方案。
4.集成：對(duì)hadoop的多組件進(jìn)行整合。

3.分析表格

CM分析.png

4.本教程使用虛擬機(jī)配置

(根據(jù)自己的PC進(jìn)行配置，CPU核心總數(shù)要等于PC總核心數(shù)，否則會(huì)出現(xiàn)線程串線的問(wèn)題)

.

二.服務(wù)器集群時(shí)間同步

????之所以要做服務(wù)器集群的時(shí)間同步，我想大家應(yīng)該不言而喻了吧，CM要求各個(gè)節(jié)點(diǎn)之間的時(shí)間不能夠相差太多，為的就是保證集群的統(tǒng)一管理和減少不必要的錯(cuò)誤、麻煩。還有一個(gè)原因就是一般企業(yè)里用到的服務(wù)器是不能夠連接外網(wǎng)的，所以第一步我們就開(kāi)始做服務(wù)器集群時(shí)間同步。

1.配置時(shí)間為中國(guó)的時(shí)區(qū)

東部時(shí)間.png

EST是美國(guó)東部標(biāo)準(zhǔn)時(shí)間，不符合中國(guó)的時(shí)間，所以要把所有的服務(wù)器都改為CST中部標(biāo)準(zhǔn)時(shí)間。

中部時(shí)間.png

2.ntp時(shí)間同步服務(wù)器安裝

????這里需要安裝一個(gè)時(shí)間主服務(wù)器，其它節(jié)點(diǎn)的時(shí)間分別去同步這臺(tái)時(shí)間主服務(wù)器，這樣就可以統(tǒng)一去管理時(shí)間了，ntp剛好提供了這一功能，其它的節(jié)點(diǎn)按照時(shí)間間隔進(jìn)行不斷同步，達(dá)到時(shí)間一致的效果。
????每臺(tái)服務(wù)器都需要安裝ntp，通過(guò)yum進(jìn)行安裝。

yum install -y ntp

3.配置ntp

• 配置文件在/etc/ntp.conf，并進(jìn)行編輯，修改以下三處：
  
  ntp.conf

1. 把第一處的注釋給去掉，并修改ip地址為時(shí)間主服務(wù)器的地址。
2. 把第二處的這幾行注釋掉，因?yàn)椴恍枰B接互聯(lián)網(wǎng)進(jìn)行時(shí)間同步。
3. 第三處是增加的兩行命令，需要本地與本地進(jìn)行同步時(shí)間。

• 配置/etc/sysconfig/ntpd：
  ????在文件末尾增加一條命令SYNC_CLOCK=yes

4.啟動(dòng)ntp服務(wù)

啟動(dòng)ntp.png

執(zhí)行以上命令后，ntp服務(wù)就會(huì)啟動(dòng)成功，并開(kāi)啟了自啟動(dòng)。

5.其它節(jié)點(diǎn)進(jìn)行時(shí)間同步

其它節(jié)點(diǎn)也需要安裝ntp，然后執(zhí)行命令：

crontab -e

添加一條命令：

同步命令.png

????這條命令的意思是在0到59分鐘之間間隔1分鐘向ip地址服務(wù)器進(jìn)行時(shí)間同步，*號(hào)代表任意小時(shí)、任意天、任意月、任意星期都執(zhí)行。然后等待1分鐘后進(jìn)行時(shí)間查看，看時(shí)間是否已經(jīng)同步。
.

三、構(gòu)建本地Cloudera yum源

????因?yàn)榇蟛糠止镜拇髷?shù)據(jù)服務(wù)器都是不允許連接外網(wǎng)的，所以需要建立本地的yum源來(lái)進(jìn)行安裝CM。

1.主節(jié)點(diǎn)安裝http服務(wù)

• 執(zhí)行命令yum install -y httpd
• 啟動(dòng)httpd 執(zhí)行命令service httpd start
• 在瀏覽器輸入網(wǎng)址：192.168.1.10回車，看是否啟動(dòng)成功！

2.CM的tar包

• 下載CM的tar包，地址為：鏈接
  下載CM最新版本和對(duì)應(yīng)的系統(tǒng)，本例下載的文件為：
  

  cm tar包.png

• 在/var/www/html文件目錄下創(chuàng)建一個(gè)文件夾cm-5.15.0

• 把下載下來(lái)的tar包放到該文件夾中，并進(jìn)行解壓操作，解壓完成后刪除tar包。

3.創(chuàng)建本地源

• 安裝創(chuàng)建本地源的工具：yum install yum-utils createrepo

• 創(chuàng)建repo文件夾：createrepo /var/www/html/cm-5.15.0/

• 創(chuàng)建yum源映射文件：切換到/etc/yum.repos.d目錄下。
  創(chuàng)建repo映射文件并進(jìn)行編輯：touch myrepo.repo
  

  myrepo.repo

• 復(fù)制該文件到所有的節(jié)點(diǎn)上。

四、設(shè)置SELINUX

編輯/etc/sysconfig/selinux文件，把把里邊的一行改為SELINUX=disabled，然后重啟就可以了。
.

五、安裝mysql數(shù)據(jù)庫(kù)

mysql數(shù)據(jù)安裝在哪都可以，只要能夠訪問(wèn)到這個(gè)數(shù)據(jù)庫(kù)就可以，這里不再詳細(xì)介紹如何安裝了，給個(gè)鏈接自行百度吧！鏈接
.

六、安裝Cloudera Manager

1.下載CM安裝文件并且進(jìn)行配置(每臺(tái)服務(wù)器都要操作)

• 下載安裝文件并上傳到服務(wù)器/opt目錄下，并解壓：鏈接
  

  CM安裝文件.png

• 修改文件/opt/cm-5.15.0/etc/cloudera-scm-agent/config.ini，指向server所在的服務(wù)器地址：
  server_host=192.168.1.10

• 配置mysql數(shù)據(jù)庫(kù)(Server服務(wù)器操作)，進(jìn)入/opt/cm-5.15.0/share/cmf/schema目錄下，執(zhí)行以下命令：
  ./scm_prepare_database.sh mysql temp -h 192.168.1.3:3306 -uroot -proot --scm-h mini1 root root root
  格式：數(shù)據(jù)庫(kù)類型、數(shù)據(jù)庫(kù)、數(shù)據(jù)庫(kù)服務(wù)器、用戶名、密碼、cm server服務(wù)器 登錄名 登錄密碼

2.下載CDH文件(Server服務(wù)器操作)

????下載CDH安裝文件到CM的parcel包里，就可以通過(guò)parcel包進(jìn)行安裝CDH了，安裝和升級(jí)都更加的方便了。把下載好的2個(gè)文件放入到/opt/cloudera/parcel-repo目錄下。鏈接

CDH5.8.0.png

文件名中的el7代表CentOS7版本，如果是別的版本請(qǐng)下載其它的版本。

• CM只能識(shí)別比自身版本低的CDH。
• 修改.sha1結(jié)尾的文件名為.sha，這才能夠被CM識(shí)別。

3.檢查cloudera-manager-agent的yum安裝版本

????執(zhí)行yum info cloudera-manager-agent命令可以查看agent的版本，一定要與安裝CM的文件版本相一致，否則會(huì)安裝失敗。每臺(tái)機(jī)器上都要進(jìn)行檢查。

agent版本.png

????如果發(fā)現(xiàn)版本不一致，那就是制作本地yum倉(cāng)庫(kù)的時(shí)候下載的文件版本不一致，重新安裝本地yum倉(cāng)庫(kù)，并進(jìn)行yum清除緩存，執(zhí)行以下2條命令：
yum clean all
yum list
然后再次進(jìn)行agent版本校驗(yàn)(如果是已經(jīng)安裝了agent，請(qǐng)先卸載掉)。

4.修改hosts文件

給每臺(tái)機(jī)器上的hosts文件加上一個(gè)server機(jī)器的bogon映射，CDH安裝時(shí)會(huì)用上，否則會(huì)報(bào)錯(cuò)：

hosts映射.png

5.啟動(dòng)server進(jìn)行安裝CM

進(jìn)入/opt/cm-5.15.0/etc/init.d目錄下，執(zhí)行：
./cloudera-scm-server start
命令會(huì)很快執(zhí)行完，但需要等比較久的時(shí)間才會(huì)啟動(dòng)完成，可以通過(guò)端口7180是否啟動(dòng)或者通過(guò)瀏覽器輸入192.168.1.10:7180看是否能夠訪問(wèn)，能夠彈出登錄界面就說(shuō)明安裝CM成功了。用戶名和密碼初始都是admin

cloudera manager登錄界面.png

六、CM里安裝CDH

1.登錄CM并按照步驟進(jìn)行安裝

• 指定主機(jī)就是集群的所有機(jī)器了。可以通過(guò)模式匹配來(lái)進(jìn)行搜索。

  
  
  指定主機(jī).png

-選擇CDH版本為自己下載的parcel版本

CDH版本.png

• 自定義存儲(chǔ)庫(kù)為本地yum源。

  
  
  本地yum源.png

• 按照提示勾選安裝jdk和啟用單用戶模式，輸入root用戶登錄密碼等，等待安裝完成(這里需要的內(nèi)存比較大，也比較卡，請(qǐng)耐心等待)。注意！！！這里很容易發(fā)生錯(cuò)誤，可以通過(guò)查看詳細(xì)信息定位錯(cuò)誤位置，并根據(jù)該信息進(jìn)行解決。
  

  安裝界面.png

• 下步進(jìn)行安裝parcel，這一步也要蠻久的時(shí)間去執(zhí)行，請(qǐng)耐心等待，如果服務(wù)器滿負(fù)荷運(yùn)行，需要進(jìn)行清理后再查看狀態(tài)。

• 直到出現(xiàn)安裝成功頁(yè)面，并進(jìn)入CM主頁(yè)，表示CM+CDH已經(jīng)安裝成功！

  
  
  CM主頁(yè).png