將hadoop2.7.1打包下載
上傳到需要安裝的服務器上,解壓(pwd顯示目錄)
Zip文件的解壓不能使用tar,要使用unzip
[root@master ~]# unziphadoop-mapreduce-wyz-projects.zip
解壓hadoop壓縮包
tar -xvf curr_hadoop.tar
解壓后就自動到了hadoops目錄下
刪除目錄下的壓縮包:rm -rf hadoop-2.7.1.tar.gz
Hadoop目錄在cd/opt/hadoops/Hadoop-2.7.1/etc/hadoop下
cat slaves查看slave集群
然后ping slave1和slave2
分別都能ping通
Hadoop2.7.1目錄下的sbin目錄中存放著各種.sh文件
[root@master sbin]# ./stop-all.sh在目錄下執行./stop-all.sh停止所有的進程
Free –g查看內存
接下來跑配置ssh免密碼登錄
Ifconfig命令:查看本地的網卡信息如下—ifconfig
Hostname查看主機名稱slave2
1、在每臺服務器上都執行ssh-keygen
-t rsa生成密鑰對:
#ssh-keygen -t rsa
2、在每臺服務器上生成密鑰對后,將公鑰復制到需要無密碼登陸的服務器上:
舉例如192.168.15.240,192.168.15.241,192.168.15.242這三臺服務器需要做相互免密碼登陸,在每臺服務器生成密鑰對后,在每臺服務器上執行ssh-copy-id命令(具體說明及用法見最后附錄),將公鑰復制到其它兩臺服務器上(此處以192.168.15.240為例,用戶為root,其它兩臺步驟相同)
#ssh-copy-id -i? ~/.ssh/id_rsa.pubroot@192.168.15.241
#ssh-copy-id -i? ~/.ssh/id_rsa.pubroot@192.168.15.242
以上命令,可以自動將公鑰添加到名為authorized_keys的文件中,在每臺服務器都執行完以上步驟后就可以實現多臺服務器相互無密碼登陸
2、
C:\Windows\System32\drivers\etc目錄下hosts修改:添加需要的集群信息
History|more查看所有的歷史命令
當天的所有命令:
開始配置mvn
和maven的環境變量:
Maven的配置前面也是壓縮、太欣在.10上把maven文件壓縮
[root@data-m opt]# tar -cvfapache-maven-3.2.1.tar apache-maven-3.2.1/
壓縮完畢后,把壓縮包下載下來,上傳到需要安裝的服務器上,緊接著,太欣查看了.10環境變量配置情況:
[root@data-m opt]# cat/etc/profile.d/custom.sh
然后,把maven的環境變量配置情況拷貝出來,放到需要配置的服務器的/etc/profile目錄下
然后放進去就可以了
最后是執行和運行mapreduce程序,在eclipse中編寫好之后:壓縮=>上傳=>解壓=>配置環境變量運行(本地的文件存放在D:\git\voole-stat\stat-projects\hadoop-projects)
把數據放到該目錄下
[root@master ~]# cd /opt/soft/statproject/
[root@master statproject]# ll
文件上傳到該stat目錄下的hadoop projects目錄下,開始執行(注:必須放在指定的目錄下,由于依賴關系的限制,放在哪兒里看這兒)
把整個工程上傳上去了,然后初始化sh install.sh
關于初始化:
[root@master hadoop-2.7.1]# mvn –v
查看maven的相關版本號
[root@master hadoop-2.7.1]# hadoop fs -ls /
查看hadoop下面的目錄信息
[root@master hadoop-2.7.1]# cd /opt/
[root@master opt]# ll
然后進入到soft目錄下,進入到soft目錄下的stat-projects目錄下
最后install.sh
[root@data-m ~]# cd /opt/soft/
[root@data-m soft]# cd stat-project/