Hadoop+Hbase+ZooKeeper集群安裝方法

hadoop的下載地址
hbase的下載地址
zookeeper的下載地址


1、 主機配置如下:
(添加到/etc/hosts文件里面)

192.168.0.211 master  
#(用于集群主機提供hmaster namenode jobtasker服務 )  
192.168.0.212 s1      
#(用于集群叢機提供regionsrever datanode tasktacuter服務)  
192.168.0.213 s2  

2、安裝jdk1.6.2.X
3、添加java環境變量
/etc/profile),后執行source /etc/profile ,使環境變量立即生效

export JAVA_HOME=/usr/java/jdk1.6.0_26/  #java 的目錄
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
export HADOOP_HOME=/home/hadoop/hadoop  
export HBASE_HOME=/home/hadoop/hbase  
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin  

4、在三臺電腦上添加hadoop用戶

useradd hadoop ```
**5、在``/home/hadoop/.bashrc``添加變量 **
*<u>(將hadoop hbase的配置文件放到hadoop安裝包根目錄文件下,目的在于以后升級hadoop和hbase的時候不用重新導入配置文件)</u>*

export HADOOP_CONF_DIR=/home/hadoop/hadoop-config
export HBASE_CONF_DIR=/home/hadoop/hbase-config

**6、將hadoop hbase zookepper的安裝包解壓**
到``/home/hadoop/``下,<u>并重命名</u>為``hadoop hbase zookepper``,在``home/hadoop/``下建立``hadoop-config``和``hbase-config``文件夾,并且將``home/hadoop/hadoop/conf``下的``masters、slaves、core-site、mapred-sit、hdfs-site、hadoop-env``拷貝到此文件夾,將``home/hadoop/hbase/conf``下的``hbase-site``和``hbase-env.sh``拷貝到次文件夾。
**7、修改masters、slaves文件:** 
 分別為 ``master`` 和``s1``與``s2``
**8、修改``hadoop-env.sh``的變量: **

export JAVA_HOME=/usr/java/jdk1.6.0_26/
export HADOOP_PID_DIR=/home/hadoop/hadoop/tmp

9、修改``core-site.xml ``

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
</configuration>

修改``mapred-site.xml ``

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hdfs://master:9001/</value>
</property>
</configuration>

修改```hdfs-site.xml``(<u>name和data文件夾不要手動建立</u>)

<configuration>
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hadoop/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hadoop/data/</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>

**10、設置master, s1, s2機幾臺器之間無密碼訪問:**
**11、復制目錄至集群叢機

scp -r /home/hadoop/hadoop s1:/home/hadoop
scp -r /home/hadoop/hadoop s2:/home/hadoop

**12、切換到``/home/hadoop/hadoop``目錄下**
執行

bin/hadoop namenode -format```
(格式化master主機生成name data tmp等文件夾)
13、啟動namenode
執行

bin/start-dfs.sh```
使用jps命令查看``namenode、secondnamenode``是否正常啟動:
ie里面輸入http://master:50070 查看`namenode`的相關配置信息、運行狀態和日志文件
**14、啟動`mapred`**
執行 

bin/start-mapred.sh```
使用jps命令查看nomenode、secondnamenode是否正常啟動:
ie里面輸入http://master:50030 查看jobtasker的相關配置信息、運行狀態和日志文件


hbase+zookeeper集群搭建:#####

1、復制目錄修改文件

/home/hadoop/hadoop/conf/目錄下的hbase-site.xml、regionserver和hbase-env.sh拷貝到/home/hadoop/hbase-config/目錄下;
編輯hbase-site.xml配置文件,如下:

<property> 
<name>hbase.rootdir</name> 
<value>hdfs://master:9000/hbase</value> 
</property> 
<property> 
<name>hbase.cluster.distributed</name> 
<value>true</value> 
</property> 
<property> 
<name>hbase.master</name> 
<value>master</value> 
</property> 
<property> 
<name>hbase.zookeeper.quorum</name> 
<value>s1,s2</value> 
</property> 
<property> 
<name>zookeeper.session.timeout</name> 
<value>60000000</value> 
</property> 
<property> 
<name>hbase.zookeeper.property.clientport</name> 
<value>2222</value> 
</property> 

2、編輯regionserver文件

S1
S2


**3、編輯hbase-env.xml文件**
>``` 
export JAVA_HOME=/usr/java/jdk1.6.0_26/  
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib  
export PATH=$JAVA_HOME/bin:$PATH:$CATALINA_HOME/bin  
export HADOOP_HOME=/home/hadoop/hadoop  
export HBASE_HOME=/home/hadoop/hbase  
export HBASE_MANAGES_ZK=true 
export PATH=$PATH:/home/hadoop/hbase/bin  

4、復制文件到集群叢機

scp -r /home/hadoop/hbase s1:/home/hadoop
scp -r /home/hadoop/hbase s2:/home/hadoop


**5、進入``/home/hadoop/zookeeper/conf/``中**
>(1)
```cp zoo_sample.cfg zoo.cfg```
(2)

vim zoo.cfg

如下: 

The number of milliseconds of each tick

tickTime=2000

The number of ticks that the initial

synchronization phase can take

initLimit=10

The number of ticks that can pass between

sending a request and getting an acknowledgement

syncLimit=5

the directory where the snapshot is stored.

dataDir=/home/hadoop/zookeeper/data

the port at which the clients will connect

clientPort=2181
server.1=s1:2888:3888
server.2=s2:2888:3888

(3)

touch myid

*編輯:1(<u>此序號設置和zoo.cfg里面的server設置要對應</u>) 

scp -r /home/hadoop/zookeeper s1:/home/hadoop
scp -r /home/hadoop/zookeeper s2:/home/hadoop

(4)在所有的節點執行

chown -R hadoop.hadoop /home/hadoop啟動hbase集群: (1)/home/hadoop/hbase/bin/start-base.sh(2)執行jps顯示Hmaster是否啟動 (3)執行bin/hbase shell```
(4)

>create 't1' t2'' 't3'#(測試利用hmaster插入數據) 
    > list #(顯示已經插入的數據) 
    >t1+t2+t3

輸入:http://master:60010

延伸:Hadoop 頁面監控信息網址列表
將Hadoop中可能用到的網頁地址list到下面,方便查閱:

  1. http://master:50030
    查看MapReduce上的jobtracker(在啟動了hdfs和MapReduce之后查閱)
  2. http://master:50060
    查看MapReduce上的tasktracker(在啟動了hdfs和MapReduce之后查閱)
  3. http://master:50070
    查看HDFS上的節點信息(在啟動了HDFS之后查閱)
  4. http://master:60010/master.jsp
    查看master連點信息 (在啟動了HDFS、MapReduce、ZooKeeper和HBase之后查閱)
  5. http://master:60030/regionserver.jsp
    查看regionserver信息(在啟動了HDFS、MapReduce、ZooKeeper和HBase之后查閱)
  6. http://master:60010/zk.jsp
    查看zookeeper信息(在啟動了HDFS、MapReduce、ZooKeeper和HBase之后查閱)
最后編輯于
?著作權歸作者所有,轉載或內容合作請聯系作者
平臺聲明:文章內容(如有圖片或視頻亦包括在內)由作者上傳并發布,文章內容僅代表作者本人觀點,簡書系信息發布平臺,僅提供信息存儲服務。

推薦閱讀更多精彩內容