虛擬機(jī)Java與Hadoop的安裝與配置
- Java安裝
- 1.開(kāi)啟vm共享文件夾,并將jdk與Hadoop的安裝文件放入共享文件夾,使用cd /mnt/hgfs進(jìn)入共享文件夾
- 2.使用linux復(fù)制語(yǔ)句,將文件全部從共享文件夾中復(fù)制到/usr/local/src
- 3.獲取管理員權(quán)限,轉(zhuǎn)入/usr/local/src 文件夾,運(yùn)行jdk安裝文件
- 4.配置jdk環(huán)境變量,vim ~/.bashrc,打開(kāi)文件,輸入如圖屬性(此處使用的jdk版本為1.6.0_45),保存退出
image.png
- Hadoop安裝
- 1.獲取管理員權(quán)限,進(jìn)入/usr/local/src
- 2.解壓Hadoop安裝文件
集群搭建
- 1.進(jìn)入/usr/local/src中的Hadoop解壓文件夾,并創(chuàng)建tmp,用于放置臨時(shí)文件
- 2.進(jìn)入Hadoop文件下的conf文件夾,更改masters,slaves,core-site.xml,mapred-site.xml,hdfs-site.xml,hadoop-env.sh
masters
image.png
slaves
image.png
core-site.xml
image.png
mapred-site.xml
image.png
hdfs-site.xml
image.png
hadoop-env.sh
image.png
- 6.配置本地網(wǎng)絡(luò),更改hosts文件,在文件中添加如圖,保存退出
image.png
- 4.執(zhí)行hostname master,更改/etc/sysconfig/network,將hostname更改為master,保存退出
- 5.將虛擬機(jī)所在文件復(fù)制3份,導(dǎo)入VMware Workstation Pro
- 6.更改slave1與slave2的IP地址與在hosts中設(shè)置的IP地址一致,并將其網(wǎng)絡(luò)適配器刪除后重新添加,并將其添加至SecureCRT中,在其中操作(所有操作都需要管理員權(quán)限,請(qǐng)首先使用su命令獲取)
- 7.選擇一個(gè)虛擬機(jī)作為主機(jī),更改名字為master,其他兩個(gè)分別更改名字為slave1,slave2,并更改network中的hostname為對(duì)應(yīng)名字,執(zhí)行hostnam+對(duì)應(yīng)名字
- 8.為了保證之后網(wǎng)絡(luò)連接問(wèn)題,關(guān)閉系統(tǒng)防火墻,/etc/init.d/iptables stop并執(zhí)行 setenforce 0,每臺(tái)機(jī)器都要執(zhí)行
- 9.建立機(jī)器之間的互信關(guān)系,可以不用命令就可操作其系統(tǒng).執(zhí)行ssh-keygen,生成公鑰(id_rsa.pub)與私鑰文件,執(zhí)行cd ~/.ssh,進(jìn)入文件夾內(nèi),執(zhí)行cat id_rsa.pub > authorized_keys,將公鑰文件復(fù)制到authorized_keys中,每臺(tái)機(jī)器執(zhí)行一遍
- 10.將每臺(tái)機(jī)器中的authorized_keys保存至另兩臺(tái)中的authorized_keys中
- 11.在master中使用ssh slave1驗(yàn)證是否需要密碼鏈接slave1機(jī)器
- 12.在master中記入Hadoop文件夾中的bin文件夾,并執(zhí)行./hadoop namenode -formate命令格式化,使用./start-all.sh啟動(dòng)集群,使用jps查看進(jìn)程是否啟動(dòng)如圖
master
image.png
slave1
image.png
slave2
image.png
