hadoop偽分布式安裝步驟

【資源】hadoop文檔地址:http://hadoop.apache.org/docs/r1.0.4/cn/quickstart.html

【1】 : host-only模式下設置靜態ip
(1)設置本機win下的Vmnet1網絡適配器的IPv4
控制面板 --> 網絡和共享中心 --> 更改適配器設置 --> 設置IP

1 設置IP.png

此處設置win本地的VMIP

2 host-only.png

此處設置linux虛擬機的網絡連接模式為host-only模式

2.png

此處設置linux的靜態IP

2016-10-20_151639.png

設置完后執行命令service network restart 重啟網卡

4 ping.png

成功后驗證:查看本虛擬機IP并ping 本機下vm所設置IPv4的IP值,

【2】 : 修改主機名

1 :修改當前會話的主機名
        hostname  hadoop  -- 設置當前會話主機名為hadoop
2 :修改配置文件中主機名
       vim /etc/sysconfig/network     將HOSTNAME的值設置為你所要更改的主機名hadoop

【3】 : hostname與IP綁定

更改配置

vim /etc/hosts    添加內容    192.168.1.201  hadoop

2016-10-20_155454.png

【4】 :關閉防火墻

1 : 本會話關閉防火墻
      service iptables stop
2 : 防止防火墻重啟關閉
     chkconfig iptables off

3 :其他驗證
  chkconfig  -- 檢查所有配置內容
             iptables           0:off   1:off   2:on    3:on    4:on    5:on    6:off
  
   chkconfig --list | grep iptables   --查看防火墻配置

   chkconfig iptables off  --永久關閉防火墻

【5】 : 設置SSH(SSH免密碼登陸)

1 : 生成公鑰
         ssh-keygen -t rsa     --  -t表示使用的生成公鑰的算法,這里是rsa算法
       生成的公鑰文件在 /~/.ssh下
2 :進入存入公鑰文件的目錄,將公鑰的.pub文件復制給authorized_keys(因為一般訪問都是去訪問這個文件)
執行命令:
cd .ssh/
cp id_rsa.pub authorized_keys
ssh.png
ssh1.png

【6】 :hadoop安裝

1 ) 下載hadoop.tar.gz文件并解壓,然后將其復制到 /usr/local/下

tar -xzvf hadoop-1.1.2.tar.gz
cp -r  hadoop-1.1.2  /usr/local  
mv hadoop-1.1.2  hadoop   -- 重命名

2) 創建HADOOP_HOME,修改path

vim  /etc/profile

添加內容
   export HADOOP_HOME="/usr/local/hadoop"
   export GIT_HOME="/usr/local/git"
   export JAVA_HOME="/opt/jdk1.7.0_79"
   export PATH=".:$HADOOP_HOME/bin:$JAVA_HOME/bin:$GIT_HOME/bin:$PATH"

source /etc/profile   - 刷新此配置文件

hadoop -version 查看hadoop版本
2016-10-20_204122.png

3) 修改hadoop中的配置文件

分別要修改目錄/hadoop/conf的四個文件
**文件一     hadoop-env.sh
**文件二     core-site.xml
**文件三     hdfs-site.xml
**文件四     mapred-site.xml


hadoop-env.sh文件修改內容
      export JAVA_HOME=/usr/local/jdk/

core-site.xml文件修改內容
     <configuration>
         <property>
            <name>fs.default.name</name>
            <value>hdfs://hadoop:9000</value>  --這里是你的主機名 
            <description>change your own hostname</description>
      </property>
      <property>
           <name>hadoop.tmp.dir</name>
           <value>/usr/local/hadoop/tmp</value>
      </property>  
    </configuration>

hdfs-site.xml文件修改內容
    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>#這里datanode的個數有幾個就可以配幾個,默認是三,不能超過datanode的數量
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
    </configuration>

mapred-site.xml文件修改內容
    <configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>hadoop:9001</value>  --這里是你的主機名   
            <description>change your own hostname</description>
        </property>
    </configuration>

4 ) 格式化hadoop并啟動

 hadoop  namenode  -format      -- 格式化

./start-all.sh   -- 啟動

jps  -查看java線程

./stop-all.sh  --關閉
格式化并啟動hadoop.png

5 ) 去除啟動警告

在/etc/profiile下加環境變量
      export HADOOP_HOME_WARN_SUPPRESS="1"
去除警告.png
去除警告啟動.png

6 ) linux本虛擬機測試

訪問:
      192.168.1.201:50030    或者  hadoop:50030(這里hadoop是主機名,不是localhost)
      192.168.1.201:50070    或者  hadoop:50070
linux上訪問.png

6 ) win7主機測試

    注意:可以先將主機與IP綁定

修改 : C:\Windows\System32\drivers\etc下的hosts文件    將主機名與IP綁定
             添加內容   192.168.1.201  hadoop

訪問 :
      192.168.1.201:50030    或者  hadoop:50030(這里hadoop是主機名,不是localhost)
      192.168.1.201:50070    或者  hadoop:50070
win下訪問.png
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容

  • 簡介 用簡單的話來定義tcpdump,就是:dump the traffic on a network,根據使用者...
    保川閱讀 5,987評論 1 13
  • 一、環境及軟件說明 1、虛擬機軟件: Oracle VM VirtualBox 5.2.0 2、系統鏡像: Cen...
    黑子0123閱讀 849評論 0 2
  • 接觸瑪雅歷快一年了,今天突然想每天對瑪雅13月亮歷做個解讀,更好的指引生活。目前在網上有很多種解讀,學過瑪雅的朋友...
    瑪雅13月亮歷體驗記閱讀 1,038評論 1 0
  • 文/羊曉韻 站在青蔥枝頭之上的姑娘,難免會遇見幾個生命中相對特別的人兒,難免會有著些許幼稚的情感,為著那些幼稚的情...
    不二de星期三閱讀 466評論 4 8
  • 朝朝暮暮,日出日落,我這是在等誰還是在盼誰,等那個讓我心跳加速的他還是盼那個讓人無法不思念的他! ...
    雪落梅妍閱讀 121評論 0 0