久久久99精品成人片,中文亚洲成a人片在线观看,双性受爽到不停的喷水bl

簡述

hadoop 集群一共有4種部署模式，詳見《hadoop 生態圈介紹》。
完全分布式模式將hadoop部署在至少兩臺機子上，數據塊副本的數量通常也設置為2以上，擁有Namenode和Secondary Namenode。

所有四種模式的部署指南見：
hadoop 偽分布式搭建指南
 hadoop 完全分布式搭建指南
 hadoop HA高可用集群模式搭建指南
 hadoop HA+Federation（聯邦）模式搭建指南

搭建過程

系統環境

Ubuntu 14.04 x64 Server LTS
Hadoop 2.7.2
vagrant 模擬三臺主機，內存都為2G

節點角色

| IP |主機名 | 角色描述|
| --- | --- | --- | --- |
|192.168.100.201 | h01.vm.com | 主節點 NameNode, job-history-server |
|192.168.100.202 |h02.vm.com |主節點 Secondary-NameNode, (yarn)ResourceManager|
|192.168.100.203 | h03.vm.com| - |

另，以上所有節點都同時是 slave從節點，即 datanode。運行Namenode和ResourceManager的節點即為主節點。

更新軟件源索引

分別在 h01 h02 h03 操作

sudo apt-get update

安裝基礎軟件

分別在 h01 h02 h03 操作

sudo apt-get install ssh
sudo apt-get install rsync

配置主機域名

分別在 h01 h02 h03 操作

sudo vim /etc/hostname # centos系統可能沒有該文件，創建即可
h01.vm.com # 該節點主機名

將該文件內容修改為對應的主機名，例如 h01.vm.com

域名解析

搭建內網DNS服務器（可選，但推薦），可閱讀vincent的博文
http://blog.kissdata.com/2014/07/10/ubuntu-dns-bind.html
配置 /etc/hosts，將以下代碼追加到文件末尾即可（如搭建了DNS服務器，則跳過此步驟）
分別在 h01 h02 h03 操作

sudo vim /etc/hosts
192.168.100.201 h01.vm.com h01
192.168.100.202 h02.vm.com h02
192.168.100.203 h03.vm.com h03

!!! Ubuntu系統，須刪掉 /etc/hosts 映射 127.0.1.1/127.0.0.1 !!!
Check that there isn't an entry for your hostname mapped to 127.0.0.1 or 127.0.1.1 in /etc/hosts (Ubuntu is notorious for this).
127.0.1.1 h01.vm.com # must remove

不然可能會引起 hadoop、zookeeper 節點間通信的問題

時間同步（可選）

在內網中搭建 ntp 服務器，可閱讀vincent的博文
http://blog.kissdata.com/2014/10/28/ubuntu-ntp.html

準備jdk、hadoop軟件包

須到官方網站下載stable版本
jdk-7u79-linux-x64.tar.gz
hadoop-2.7.2.tar.gz
所有的軟件包都統一解壓到 /home/vagrant/VMBigData 目錄下，其中 vagrant 是linux系統的用戶名，由于我是使用 vagrant 虛擬的主機，所以默認是 vagrant
在 h01 操作

# 先在其中一臺機子操作，后面會使用 scp 命令或者其他方法同步到其他主機
mkdir -p /home/vagrant/VMBigData/hadoop /home/vagrant/VMBigData/java
tar zxf jdk-7u79-linux-x64.tar.gz -C /home/vagrant/VMBigData/java
tar zxf hadoop-2.7.2.tar.gz -C /home/vagrant/VMBigData/hadoop

配置軟連接，方便以后升級版本

在 h01 操作，后面通過 scp 同步到其他主機

ln -s /home/vagrant/VMBigData/java/jdk1.7.0_79/  /home/vagrant/VMBigData/java/default
ln -s /home/vagrant/VMBigData/hadoop/hadoop-2.7.2/  /home/vagrant/VMBigData/hadoop/default

配置環境變量

分別在 h01 h02 h03 操作

sudo vim /etc/profile
export HADOOP_HOME=/home/vagrant/VMBigData/hadoop/default
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH
source /etc/profile

配置免密碼ssh登錄

hadoop主節點需要能遠程登陸集群內的所有節點（包括自己），以執行命令。所以需要配置免密碼的ssh登陸。可選的ssh秘鑰對生成方式有rsa和dsa兩種，這里選擇rsa。

分別在 h01 h02 ，即兩個主節點上操作

ssh-keygen -t rsa -C "youremail@xx.com"
# 注意在接下來的命令行交互中，直接按回車跳過輸入密碼

以下命令將本節點的公鑰 id_rsa.pub 文件的內容追加到遠程主機的 authorized_keys 文件中（默認位于 ~/.ssh/）

ssh-copy-id vagrant@h01.vm.com # vagrant是遠程主機用戶名
ssh-copy-id vagrant@h02.vm.com # vagrant是遠程主機用戶名
ssh-copy-id vagrant@h03.vm.com

在 h01 h02 上測試無密碼 ssh 登錄到 h01 h02 h03

ssh h01.vm.com
ssh h02.vm.com
ssh h03.vm.com

!!! 注意使用rsa模式生成密鑰對時，不要輕易覆蓋原來已有的，確定無影響時方可覆蓋 !!!

配置從節點

在 slaves 文件中配置的主機即為從節點，將自動運行datanode服務

在 h01 操作，后面通過 scp 同步到其他主機

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/slaves
h01.vm.com 
h02.vm.com
h03.vm.com

建立存儲數據的相應目錄

在 h01 操作，后面通過 scp 同步到其他主機

mkdir -p /home/vagrant/VMBigData/hadoop/data/hdfs/tmp
mkdir -p /home/vagrant/VMBigData/hadoop/data/pid
mkdir -p /home/vagrant/VMBigData/hadoop/data/namenode
mkdir -p /home/vagrant/VMBigData/hadoop/data/namesecondary
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode1
mkdir -p /home/vagrant/VMBigData/hadoop/data/datanode2
mkdir -p /home/vagrant/VMBigData/hadoop/data/local-dirs
mkdir -p /home/vagrant/VMBigData/hadoop/data/log-dirs

配置hadoop參數

在 h01 操作，后面通過 scp 同步到其他主機

etc/hadoop/hadoop-env.sh

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hadoop-env.sh
# export JAVA_HOME=${JAVA_HOME} # 注意注釋掉原來的這行
export JAVA_HOME=/home/vagrant/VMBigData/java/default
export HADOOP_PREFIX=/home/vagrant/VMBigData/hadoop/default
# export HADOOP_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
export YARN_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid
# export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR} # 注意注釋掉原來的這行
export HADOOP_SECURE_DN_PID_DIR=${HADOOP_PID_DIR}

etc/hadoop/mapred-env.sh

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-env.sh
export HADOOP_MAPRED_PID_DIR=/home/vagrant/VMBigData/hadoop/data/hdfs/pid

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <!-- 指定hdfs的nameservice為h01 -->  
  <property> 
    <name>fs.defaultFS</name>  
    <value>hdfs://h01.vm.com:9000</value> 
  </property>  
  <!-- 指定hadoop數據存儲目錄 -->  
  <property> 
    <name>hadoop.tmp.dir</name>  
    <value>/home/vagrant/VMBigData/hadoop/data/hdfs/tmp</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>dfs.replication</name>  
    <!-- 單機版的一般設為1，若是集群，一般設為3 -->  
    <value>2</value> 
  </property>  
  <property> 
    <name>dfs.namenode.name.dir</name>  
    <!-- 創建的namenode文件夾位置，如有多個用逗號隔開。配置多個的話，每一個目錄下數據都是相同的，達到數據冗余備份的目的 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/namenode</value> 
  </property>  
  <property> 
    <name>dfs.datanode.data.dir</name>  
    <!-- 創建的datanode文件夾位置，多個用逗號隔開，實際不存在的目錄會被忽略 -->  
    <value>file:///home/vagrant/VMBigData/hadoop/data/datanode1,file:///home/vagrant/VMBigData/hadoop/data/datanode2</value> 
  </property>  
  <!-- 配置Secondary NameNode在另外一個節點上，該節點也將作為主節點之一 -->  
  <property> 
    <name>dfs.http.address</name>  
    <value>h01.vm.com:50070</value>  
    <description>Secondary get fsimage and edits via dfs.http.address</description> 
  </property>  
  <property> 
    <name>dfs.secondary.http.address</name>  
    <value>h02.vm.com:50090</value> 
  </property>  
  <property> 
    <name>dfs.namenode.checkpoint.dir</name>  
    <value>file:///home/vagrant/VMBigData/hadoop/data/hdfs/namesecondary</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/yarn-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>yarn.resourcemanager.hostname</name>  
    <value>h02.vm.com</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation-enable</name>  
    <!-- 打開日志聚合功能，這樣才能從web界面查看日志 -->  
    <value>true</value> 
  </property>  
  <property> 
    <name>yarn.log-aggregation.retain-seconds</name>  
    <!-- 聚合日志最長保留時間 -->  
    <value>86400</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.resource.memory-mb</name>  
    <!-- NodeManager總的可用內存，這個要根據實際情況合理配置 -->  
    <value>1024</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.minimum-allocation-mb</name>  
    <!-- MapReduce作業時，每個task最少可申請內存 -->  
    <value>256</value> 
  </property>  
  <property> 
    <name>yarn.scheduler.maximum-allocation-mb</name>  
    <!-- MapReduce作業時，每個task最多可申請內存 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-pmem-ratio</name>  
    <!-- 可申請使用的虛擬內存，相對于實際使用內存大小的倍數。實際生產環境中可設置的大一些，如4.2 -->  
    <value>2.1</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.vmem-check-enabled</name>  
    <value>false</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.local-dirs</name>  
    <!-- 中間結果存放位置。注意，這個參數通常會配置多個目錄，已分攤磁盤IO負載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/localdir1,/home/vagrant/VMBigData/hadoop/data/localdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.log-dirs</name>  
    <!-- 日志存放位置。注意，這個參數通常會配置多個目錄，已分攤磁盤IO負載。 -->  
    <value>/home/vagrant/VMBigData/hadoop/data/logdir1,/home/vagrant/VMBigData/hadoop/data/logdir2</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value> 
  </property>  
  <property> 
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
  </property> 
</configuration>

vim /home/vagrant/VMBigData/hadoop/default/etc/hadoop/mapred-site.xml

<?xml version="1.0" encoding="utf-8"?>
<configuration> 
  <property> 
    <name>mapreduce.framework.name</name>  
    <value>yarn</value> 
  </property>  
  <property> 
    <name>yarn.app.mapreduce.am.resource.mb</name>  
    <!-- 默認值為 1536,可根據需要調整，調小一些也是可接受的 -->  
    <value>512</value> 
  </property>  
  <property> 
    <name>mapreduce.map.memory.mb</name>  
    <!-- 每個map task申請的內存，每一次都會實際申請這么多 -->  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.map.java.opts</name>  
    <!-- 每個map task中的child jvm啟動時參數，需要比 mapreduce.map.memory.mb 設置的小一些 -->  
    <!-- 注意：map任務里不一定跑java，可能跑非java（如streaming） -->  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.memory.mb</name>  
    <value>384</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.java.opts</name>  
    <value>-Xmx256m</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.map.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapreduce.tasktracker.reduce.tasks.maximum</name>  
    <value>2</value> 
  </property>  
  <property> 
    <name>mapred.child.java.opts</name>  
    <!-- 默認值為 -Xmx200m，生產環境可以設大一些 -->  
    <value>-Xmx384m</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.mb</name>  
    <!-- 任務內部排序緩沖區大小 -->  
    <value>128</value> 
  </property>  
  <property> 
    <name>mapreduce.task.io.sort.factor</name>  
    <!-- map計算完全后的merge階段，一次merge時最多可有多少個輸入流 -->  
    <value>100</value> 
  </property>  
  <property> 
    <name>mapreduce.reduce.shuffle.parallelcopies</name>  
    <!-- reuduce shuffle階段并行傳輸數據的數量 -->  
    <value>50</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.address</name>  
    <value>h01.vm.com:10020</value> 
  </property>  
  <property> 
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>h01.vm.com:19888</value> 
  </property> 
</configuration>

將hadoop所需文件同步到其他主機

在 h01 上操作

scp -r /home/vagrant/VMBigData vagrant@h02.vm.com:/home/vagrant
scp -r /home/vagrant/VMBigData vagrant@h03.vm.com:/home/vagrant

!!! 注意：default 軟連接需要重建 !!!

格式化namenode

在 h01 namenode 上執行

hdfs namenode -format

!!! 注意僅在首次啟動時執行，因為此命令會刪除hadoop集群所有的數據 !!!

啟動hadoop集群，方法1（只能啟動當前機器的服務）：

啟動NameNode守護進程

在 h01 namenode 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start namenode
# sbin/hadoop-daemon.sh --script hdfs stop namenode # 停止

啟動所有從節點的DataNode守護進程

在 h01 h02 h03 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/hadoop-daemon.sh --script hdfs start datanode
# sbin/hadoop-daemon.sh --script hdfs stop datanode # 停止

啟動ResourceManager守護進程

在 h02 resourcemanager 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start resourcemanager
# sbin/yarn-daemon.sh stop resourcemanager # 停止

啟動所有從節點的NodeManager守護進程

在 h01 h02 h03 操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/yarn-daemon.sh start nodemanager
# sbin/yarn-daemon.sh stop nodemanager # 停止

啟動MapReduce JobHistory Server（可選）

在 h01 job history server 上操作

cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

啟動hadoop集群，方法2（推薦）：

可在任意主節點操作，以啟動namenod和datanode等服務

cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-dfs.sh
# sbin/stop-dfs.sh # 停止

在 h02 上啟動 yarn 服務

cd  /home/vagrant/VMBigData/hadoop/default
sbin/start-yarn.sh
# sbin/stop-yarn.sh # 停止

在 h01 上啟動 job history server（可選）

cd  /home/vagrant/VMBigData/hadoop/default
sbin/mr-jobhistory-daemon.sh start historyserver
# sbin/mr-jobhistory-daemon.sh stop historyserver # 停止

瀏覽服務啟動情況

NameNode
http://192.168.100.201:50070

Secondary NameNode
http://192.168.100.202:50090

ResourceManager
http://192.168.100.202:8088

MapReduce JobHistory Server
http://192.168.100.201:19888

Datanode
http://192.168.100.201:50075
http://192.168.100.202:50075
http://192.168.100.203:50075

集群狀態
hdfs dfsadmin -report

hadoop進程
jps

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

hadoop 完全分布式搭建指南

hadoop 完全分布式搭建指南

簡述

搭建過程

系統環境

節點角色

更新軟件源索引

安裝基礎軟件

配置主機域名

域名解析

時間同步（可選）

準備jdk、hadoop軟件包

配置軟連接，方便以后升級版本

配置環境變量

配置免密碼ssh登錄

配置從節點

建立存儲數據的相應目錄

配置hadoop參數

將hadoop所需文件同步到其他主機

格式化namenode

啟動hadoop集群，方法1（只能啟動當前機器的服務）：

啟動hadoop集群，方法2（推薦）：

瀏覽服務啟動情況

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

hadoop 完全分布式搭建指南

簡述

搭建過程

系統環境

節點角色

更新軟件源索引

安裝基礎軟件

配置主機域名

域名解析

時間同步（可選）

準備jdk、hadoop軟件包

配置軟連接，方便以后升級版本

配置環境變量

配置免密碼ssh登錄

配置從節點

建立存儲數據的相應目錄

配置hadoop參數

將hadoop所需文件同步到其他主機

格式化namenode

啟動hadoop集群，方法1（只能啟動當前機器的服務）：

啟動hadoop集群，方法2（推薦）：

瀏覽服務啟動情況

推薦閱讀更多精彩內容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频