基于zookeeper實(shí)現(xiàn)hadoop的高可用HA

HA(High Available), 高可用，是保證業(yè)務(wù)連續(xù)性的有效解決方案，一般有兩個(gè)或兩個(gè)以上的節(jié)點(diǎn)，分為活動(dòng)節(jié)點(diǎn)（Active）及備用節(jié)點(diǎn)（Standby）。通常把正在執(zhí)行業(yè)務(wù)的稱為活動(dòng)節(jié)點(diǎn)，而作為活動(dòng)節(jié)點(diǎn)的一個(gè)備份的則稱為備用節(jié)點(diǎn)。當(dāng)活動(dòng)節(jié)點(diǎn)出現(xiàn)問(wèn)題，導(dǎo)致正在運(yùn)行的業(yè)務(wù)（任務(wù)）不能正常運(yùn)行時(shí)，備用節(jié)點(diǎn)此時(shí)就會(huì)偵測(cè)到，并立即接續(xù)活動(dòng)節(jié)點(diǎn)來(lái)執(zhí)行業(yè)務(wù)。從而實(shí)現(xiàn)業(yè)務(wù)的不中斷或短暫中斷。

Hadoop1.X版本，NN是HDFS集群的單點(diǎn)故障點(diǎn)，每一個(gè)集群只有一個(gè)NN,如果這個(gè)機(jī)器或進(jìn)程不可用，整個(gè)集群就無(wú)法使用。為了解決這個(gè)問(wèn)題，出現(xiàn)了一堆針對(duì)HDFS HA的解決方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quorum Journal Manager, BackupNode等）。

在HA具體實(shí)現(xiàn)方法不同情況下，HA框架的流程是一致的, 不一致的就是如何存儲(chǔ)、管理、同步edits編輯日志文件。

在Active NN和Standby NN之間要有個(gè)共享的存儲(chǔ)日志的地方，Active NN把edit Log寫到這個(gè)共享的存儲(chǔ)日志的地方，Standby NN去讀取日志然后執(zhí)行，這樣Active和Standby NN內(nèi)存中的HDFS元數(shù)據(jù)保持著同步。一旦發(fā)生主從切換Standby NN可以盡快接管Active NN的工作。

1、Namenode HA介紹

Namenode HA詳解

hadoop2.x之后，Clouera提出了QJM/Qurom Journal Manager，這是一個(gè)基于Paxos算法（分布式一致性算法）實(shí)現(xiàn)的HDFS HA方案，它給出了一種較好的解決思路和方案,QJM主要優(yōu)勢(shì)如下：

不需要配置額外的高共享存儲(chǔ)，降低了復(fù)雜度和維護(hù)成本。

消除spof(單點(diǎn)故障)。

系統(tǒng)魯棒性(Robust)的程度可配置、可擴(kuò)展。

[圖片上傳失敗...(image-7d2bde-1585388196420)]

基本原理就是用2N+1臺(tái) JournalNode 存儲(chǔ)EditLog，每次寫數(shù)據(jù)操作有>=N+1返回成功時(shí)即認(rèn)為該次寫成功，數(shù)據(jù)不會(huì)丟失了。當(dāng)然這個(gè)算法所能容忍的是最多有N臺(tái)機(jī)器掛掉，如果多于N臺(tái)掛掉，這個(gè)算法就失效了。這個(gè)原理是基于Paxos算法。

在HA架構(gòu)里面SecondaryNameNode已經(jīng)不存在了，為了保持standby NN時(shí)時(shí)的與Active NN的元數(shù)據(jù)保持一致，他們之間交互通過(guò)JournalNode進(jìn)行操作同步。

任何修改操作在 Active NN上執(zhí)行時(shí)，JournalNode進(jìn)程同時(shí)也會(huì)記錄修改log到至少半數(shù)以上的JN中，這時(shí) Standby NN 監(jiān)測(cè)到JN 里面的同步log發(fā)生變化了會(huì)讀取 JN 里面的修改log，然后同步到自己的目錄鏡像樹里面，如下圖：

[圖片上傳失敗...(image-a06339-1585388196420)]

當(dāng)發(fā)生故障時(shí)，Active的 NN 掛掉后，Standby NN 會(huì)在它成為Active NN 前，讀取所有的JN里面的修改日志，這樣就能高可靠的保證與掛掉的NN的目錄鏡像樹一致，然后無(wú)縫的接替它的職責(zé)，維護(hù)來(lái)自客戶端請(qǐng)求，從而達(dá)到一個(gè)高可用的目的。

在HA模式下，datanode需要確保同一時(shí)間有且只有一個(gè)NN能命令DN。為此：

每個(gè)NN改變狀態(tài)的時(shí)候，向DN發(fā)送自己的狀態(tài)和一個(gè)序列號(hào)。

DN在運(yùn)行過(guò)程中維護(hù)此序列號(hào)，當(dāng)failover時(shí)，新的NN在返回DN心跳時(shí)會(huì)返回自己的active狀態(tài)和一個(gè)更大的序列號(hào)。DN接收到這個(gè)返回則認(rèn)為該NN為新的active。

如果這時(shí)原來(lái)的active NN恢復(fù)，返回給DN的心跳信息包含active狀態(tài)和原來(lái)的序列號(hào)，這時(shí)DN就會(huì)拒絕這個(gè)NN的命令。

Failover Controller

HA模式下，會(huì)將FailoverController部署在每個(gè)NameNode的節(jié)點(diǎn)上，作為一個(gè)單獨(dú)的進(jìn)程用來(lái)監(jiān)視NN的健康狀態(tài)。FailoverController主要包括三個(gè)組件:

HealthMonitor: 監(jiān)控NameNode是否處于unavailable或unhealthy狀態(tài)。當(dāng)前通過(guò)RPC調(diào)用NN相應(yīng)的方法完成。

ActiveStandbyElector: 監(jiān)控NN在ZK中的狀態(tài)。

ZKFailoverController: 訂閱HealthMonitor 和ActiveStandbyElector 的事件，并管理NN的狀態(tài),另外zkfc還負(fù)責(zé)解決fencing（也就是腦裂問(wèn)題）。

上述三個(gè)組件都在跑在一個(gè)JVM中，這個(gè)JVM與NN的JVM在同一個(gè)機(jī)器上。但是兩個(gè)獨(dú)立的進(jìn)程。一個(gè)典型的HA集群，有兩個(gè)NN組成，每個(gè)NN都有自己的ZKFC進(jìn)程。

[圖片上傳失敗...(image-369670-1585388196420)]

ZKFailoverController****主要職責(zé)：

l 健康監(jiān)測(cè)：周期性的向它監(jiān)控的NN發(fā)送健康探測(cè)命令，從而來(lái)確定某個(gè)NameNode是否處于健康狀態(tài)，如果機(jī)器宕機(jī)，心跳失敗，那么zkfc就會(huì)標(biāo)記它處于一個(gè)不健康的狀態(tài)

l 會(huì)話管理：如果NN是健康的，zkfc就會(huì)在zookeeper中保持一個(gè)打開的會(huì)話，如果NameNode同時(shí)還是Active狀態(tài)的，那么zkfc還會(huì)在Zookeeper中占有一個(gè)類型為短暫類型的znode，當(dāng)這個(gè)NN掛掉時(shí)，這個(gè)znode將會(huì)被刪除，然后備用的NN將會(huì)得到這把鎖，升級(jí)為主NN，同時(shí)標(biāo)記狀態(tài)為Active

l 當(dāng)宕機(jī)的NN新啟動(dòng)時(shí)，它會(huì)再次注冊(cè)zookeper，發(fā)現(xiàn)已經(jīng)有znode鎖了，便會(huì)自動(dòng)變?yōu)镾tandby狀態(tài)，如此往復(fù)循環(huán)，保證高可靠，需要注意，目前僅僅支持最多配置2個(gè)NN

l master****選舉：通過(guò)在zookeeper中維持一個(gè)短暫類型的znode，來(lái)實(shí)現(xiàn)搶占式的鎖機(jī)制，從而判斷那個(gè)NameNode為Active狀態(tài)

2、Yarn HA介紹

Yarn作為資源管理系統(tǒng)，是上層計(jì)算框架（如MapReduce,Spark）的基礎(chǔ)。在Hadoop 2.4.0版本之前，Yarn存在單點(diǎn)故障（即ResourceManager存在單點(diǎn)故障），一旦發(fā)生故障，恢復(fù)時(shí)間較長(zhǎng)，且會(huì)導(dǎo)致正在運(yùn)行的Application丟失，影響范圍較大。從Hadoop 2.4.0版本開始，Yarn實(shí)現(xiàn)了ResourceManager HA，在發(fā)生故障時(shí)自動(dòng)failover，大大提高了服務(wù)的可靠性。

ResourceManager（簡(jiǎn)寫為RM）作為Yarn系統(tǒng)中的主控節(jié)點(diǎn)，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和調(diào)度，內(nèi)部維護(hù)了各個(gè)應(yīng)用程序的ApplictionMaster信息、NodeManager（簡(jiǎn)寫為NM）信息、資源使用等。由于資源使用情況和NodeManager信息都可以通過(guò)NodeManager的心跳機(jī)制重新構(gòu)建出來(lái)，因此只需要對(duì)ApplicationMaster相關(guān)的信息進(jìn)行持久化存儲(chǔ)即可。

在一個(gè)典型的HA集群中，兩臺(tái)獨(dú)立的機(jī)器被配置成ResourceManger。在任意時(shí)間，有且只允許一個(gè)活動(dòng)的ResourceManger,另外一個(gè)備用。切換分為兩種方式：

手動(dòng)切換：在自動(dòng)恢復(fù)不可用時(shí)，管理員可用手動(dòng)切換狀態(tài)，或是從Active到Standby,或是從Standby到Active。

自動(dòng)切換：基于Zookeeper，但是區(qū)別于HDFS的HA，2個(gè)節(jié)點(diǎn)間無(wú)需配置額外的ZFKC守護(hù)進(jìn)程來(lái)同步數(shù)據(jù)。

[圖片上傳失敗...(image-a7cb33-1585388196419)]

3、基于已有的偽分布式環(huán)境構(gòu)建HA環(huán)境

如何在已有的偽分布式的基礎(chǔ)上面搭建HA高可用集群

集群服務(wù)規(guī)劃：

機(jī)器ip

192.168.52.100

192.168.52.110

192.168.52.120

|
|

主機(jī)名稱

node01.hadoop.com

node02.hadoop.com

node03.hadoop.com

|
|

NameNode

是(active)

是(standBy)

否

|
|

DataNode

是

|
|

journalNode

是

|
|

ZKFC

是

否

|
|

ResourceManager

否

是（standBy）

是(active)

|
|

NodeManager

是

|
|

zookeeper

是

|
|

jobHistory

| | |

是

第一步：停止服務(wù)

停止hadoop集群的所有服務(wù)，包括HDFS的服務(wù)，以及yarn集群的服務(wù)

停止hadoop服務(wù)

node01機(jī)器執(zhí)行以下命令停止hadoop服務(wù)

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/stop-dfs.sh

sbin/stop-yarn.sh

sbin/mr-jobhistory-daemon.sh stop historyserver

第二步：?jiǎn)?dòng)所有節(jié)點(diǎn)的zookeeper服務(wù)

cd /export/servers/zookeeper-3.4.5-cdh5.14.0

bin/zkServer.sh start

第三步：三臺(tái)機(jī)器更改配置文件

所有節(jié)點(diǎn)修改配置文件，注意yarn-site.xml當(dāng)中的

yarn.resourcemanager.ha.id 這個(gè)屬性值，node03機(jī)器與node02機(jī)器的配置值不太一樣

修改core-site.xml

<name>ha.zookeeper.quorum</name>

</property>

<name>fs.defaultFS</name>

</property>

<name>io.file.buffer.size</name>

</property>

<name>hadoop.tmp.dir</name>

<value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>

</property>

<name>fs.trash.interval</name>

</property>

<name>hadoop.proxyuser.root.hosts</name>

</property>

<name>hadoop.proxyuser.root.groups</name>

</property>

修改hdfs-site.xml

<name>dfs.nameservices</name>

</property>

<name>dfs.ha.namenodes.hann</name>

</property>

<name>dfs.namenode.rpc-address.hann.nn1</name>

</property>

<name>dfs.namenode.rpc-address.hann.nn2</name>

</property>

<name>dfs.namenode.servicerpc-address.hann.nn1</name>

</property>

<name>dfs.namenode.servicerpc-address.hann.nn2</name>

</property>

<name>dfs.namenode.http-address.hann.nn1</name>

</property>

<name>dfs.namenode.http-address.hann.nn2</name>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://node01:8485;node02:8485;node03:8485/hann</value>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/jn</value>

</property>

<name>dfs.client.failover.proxy.provider.hann</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/home/hadoop/.ssh/id_rsa</value>

</property>

<name>dfs.ha.automatic-failover.enabled</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>

</property>

<name>dfs.namenode.edits.dir</name>

<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.permissions</name>

<value>false</value>

</property>

<name>dfs.blocksize</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

<name>dfs.client.read.shortcircuit</name>

</property>

<name>dfs.domain.socket.path</name>

<value>/var/run/hdfs-sockets/dn</value>

</property>

<name>dfs.client.file-block-storage-locations.timeout.millis</name>

</property>

<name>dfs.datanode.hdfs-blocks-metadata.enabled</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

修改mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

</property>

<name>mapreduce.jobtracker.system.dir</name>

<value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/jobtracker</value>

</property>

<name>mapreduce.map.memory.mb</name>

</property>

<name>mapreduce.reduce.memory.mb</name>

</property>

<name>mapreduce.cluster.local.dir</name>

<value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/mapreduce/local</value>

</property>

修改yarn-site.xml

注意：yarn.resourcemanager.ha.id 這個(gè)屬性的配置，node03的這個(gè)屬性值與node02的這個(gè)屬性值內(nèi)容不同

<name>yarn.log-aggregation-enable</name>

</property>

<name>yarn.resourcemanager.ha.enabled</name>

</property>

<name>yarn.resourcemanager.cluster-id</name>

<value>mycluster</value>

</property>

<name>yarn.resourcemanager.ha.rm-ids</name>

</property>

<name>yarn.resourcemanager.hostname.rm1</name>

</property>

<name>yarn.resourcemanager.hostname.rm2</name>

</property>

<name>yarn.resourcemanager.address.rm1</name>

</property>

<name>yarn.resourcemanager.scheduler.address.rm1</name>

</property>

<name>yarn.resourcemanager.resource-tracker.address.rm1</name>

</property>

<name>yarn.resourcemanager.admin.address.rm1</name>

</property>

<name>yarn.resourcemanager.webapp.address.rm1</name>

</property>

<name>yarn.resourcemanager.address.rm2</name>

</property>

<name>yarn.resourcemanager.scheduler.address.rm2</name>

</property>

<name>yarn.resourcemanager.resource-tracker.address.rm2</name>

</property>

<name>yarn.resourcemanager.admin.address.rm2</name>

</property>

<name>yarn.resourcemanager.webapp.address.rm2</name>

</property>

<name>yarn.resourcemanager.recovery.enabled</name>

</property>

<name>yarn.resourcemanager.ha.id</name>

<description>If we want to launch more than one RM in single node, we need this configuration</description>

</property>

<name>yarn.resourcemanager.store.class</name>

<value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>

</property>

<name>yarn.resourcemanager.zk-address</name>

<description>For multiple zk services, separate them with comma</description>

</property>

<name>yarn.resourcemanager.ha.automatic-failover.enabled</name>

<description>Enable automatic failover; By default, it is enabled only when HA is enabled.</description>

</property>

<name>yarn.client.failover-proxy-provider</name>

<value>org.apache.hadoop.yarn.client.ConfiguredRMFailoverProxyProvider</value>

</property>

<name>yarn.nodemanager.resource.cpu-vcores</name>

</property>

<name>yarn.nodemanager.resource.memory-mb</name>

</property>

<name>yarn.scheduler.minimum-allocation-mb</name>

</property>

<name>yarn.scheduler.maximum-allocation-mb</name>

</property>

<name>yarn.log-aggregation.retain-seconds</name>

</property>

<name>yarn.nodemanager.log.retain-seconds</name>

</property>

<name>yarn.nodemanager.log-aggregation.compression-type</name>

</property>

<name>yarn.nodemanager.local-dirs</name>

<value>/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/yarn/local</value>

</property>

<name>yarn.resourcemanager.max-completed-applications</name>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.resourcemanager.connect.retry-interval.ms</name>

</property>

改完之后，將配置文件分發(fā)到其他的各個(gè)節(jié)點(diǎn)

還要記得改node02機(jī)器的yarn-site.xml

第四步：三臺(tái)機(jī)器啟動(dòng)前準(zhǔn)備

更改yarn-site.xml當(dāng)中的配置，第三臺(tái)機(jī)器的這個(gè)配置項(xiàng)值改為rm1，第二臺(tái)機(jī)器這個(gè)配置項(xiàng)值改為rm2

<name>yarn.resourcemanager.ha.id</name>

<description>If we want to launch more than one RM in single node, we need this configuration</description>

</property>

三臺(tái)機(jī)器創(chuàng)建以下這個(gè)配置路徑

執(zhí)行以下命令進(jìn)行創(chuàng)建路徑，并改變所屬用戶所屬組

sudo mkdir -p /var/run/hdfs-sockets

sudo chown -R hadoop:hadoop /var/run/hdfs-sockets

<name>dfs.domain.socket.path</name>

<value>/var/run/hdfs-sockets/dn</value>

</property>

第五步：服務(wù)的啟動(dòng)

第一步：初始化zookeeper

在node01機(jī)器上進(jìn)行zookeeper的初始化，其本質(zhì)工作是創(chuàng)建對(duì)應(yīng)的zookeeper節(jié)點(diǎn)

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

bin/hdfs zkfc -formatZK

第二步：?jiǎn)?dòng)journalNode

三臺(tái)機(jī)器執(zhí)行以下命令啟動(dòng)journalNode，用于我們的元數(shù)據(jù)管理

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/hadoop-daemon.sh start journalnode

第三步：初始化journalNode

node01機(jī)器上準(zhǔn)備初始化journalNode

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

bin/hdfs namenode -initializeSharedEdits -force

第四步：?jiǎn)?dòng)namenode

node01機(jī)器上啟動(dòng)namenode

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/hadoop-daemon.sh start namenode

node02機(jī)器上啟動(dòng)namenode

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

bin/hdfs namenode -bootstrapStandby

sbin/hadoop-daemon.sh start namenode

第五步：?jiǎn)?dòng)所有節(jié)點(diǎn)的datanode進(jìn)程

在node01機(jī)器上啟動(dòng)所有節(jié)點(diǎn)的datanode進(jìn)程

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/hadoop-daemons.sh start datanode

第六步：?jiǎn)?dòng)zkfc

在node01機(jī)器上面啟動(dòng)zkfc進(jìn)程

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/hadoop-daemon.sh start zkfc

在node02機(jī)器上面啟動(dòng)zkfc進(jìn)程

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/hadoop-daemon.sh start zkfc

第七步：?jiǎn)?dòng)yarn進(jìn)程

node03機(jī)器上啟動(dòng)yarn集群

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/start-yarn.sh

node02機(jī)器上啟動(dòng)yarn集群

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/start-yarn.sh

查看resourceManager的狀態(tài)

node03上面執(zhí)行

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

bin/yarn rmadmin -getServiceState rm1

node02上面執(zhí)行

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

bin/yarn rmadmin -getServiceState rm2

第八步：?jiǎn)?dòng)jobhsitory

node03節(jié)點(diǎn)啟動(dòng)jobhistoryserver

cd /kkb/install/hadoop-2.6.0-cdh5.14.2

sbin/mr-jobhistory-daemon.sh start historyserver

第九步：瀏覽器界面訪問(wèn)

node01機(jī)器查看hdfs狀態(tài)

http://192.168.52.100:50070/dfshealth.html#tab-overview

node02機(jī)器查看hdfs狀態(tài)

http://192.168.52.110:50070/dfshealth.html#tab-overview

yarn集群訪問(wèn)查看

http://node03:8088/cluster

歷史任務(wù)瀏覽界面

頁(yè)面訪問(wèn)：

http://192.168.52.120:19888/jobhistory

最后編輯于：2020.03.28 17:36:48

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

人面猴
序言：七十年代末，一起剝皮案震驚了整個(gè)濱河市，隨后出現(xiàn)的幾起案子，更是在濱河造成了極大的恐慌，老刑警劉巖，帶你破解...
沈念sama閱讀 228,461評(píng)論 6贊 532
死咒
序言：濱河連續(xù)發(fā)生了三起死亡事件，死亡現(xiàn)場(chǎng)離奇詭異，居然都是意外死亡，警方通過(guò)查閱死者的電腦和手機(jī)，發(fā)現(xiàn)死者居然都...
沈念sama閱讀 98,538評(píng)論 3贊 417
救了他兩次的神仙讓他今天三更去死
文/潘曉璐我一進(jìn)店門，熙熙樓的掌柜王于貴愁眉苦臉地迎上來(lái)，“玉大人，你說(shuō)我怎么就攤上這事。” “怎么了？”我有些...
開封第一講書人閱讀 176,423評(píng)論 0贊 375
道士緝兇錄：失蹤的賣姜人
文/不壞的土叔我叫張陵，是天一觀的道長(zhǎng)。經(jīng)常有香客問(wèn)我，道長(zhǎng)，這世上最難降的妖魔是什么？我笑而不...
開封第一講書人閱讀 62,991評(píng)論 1贊 312
?港島之戀（遺憾婚禮）
正文為了忘掉前任，我火速辦了婚禮，結(jié)果婚禮上，老公的妹妹穿的比我還像新娘。我一直安慰自己，他們只是感情好，可當(dāng)我...
茶點(diǎn)故事閱讀 71,761評(píng)論 6贊 410
惡毒庶女頂嫁案：這布局不是一般人想出來(lái)的
文/花漫我一把揭開白布。她就那樣靜靜地躺著，像睡著了一般。火紅的嫁衣襯著肌膚如雪。梳的紋絲不亂的頭發(fā)上，一...
開封第一講書人閱讀 55,207評(píng)論 1贊 324
城市分裂傳說(shuō)
那天，我揣著相機(jī)與錄音，去河邊找鬼。笑死，一個(gè)胖子當(dāng)著我的面吹牛，可吹牛的內(nèi)容都是我干的。我是一名探鬼主播，決...
沈念sama閱讀 43,268評(píng)論 3贊 441
雙鴛鴦連環(huán)套：你想象不到人心有多黑
文/蒼蘭香墨我猛地睜開眼，長(zhǎng)吁一口氣：“原來(lái)是場(chǎng)噩夢(mèng)啊……” “哼！你這毒婦竟也來(lái)了？” 一聲冷哼從身側(cè)響起，我...
開封第一講書人閱讀 42,419評(píng)論 0贊 288
萬(wàn)榮殺人案實(shí)錄
序言：老撾萬(wàn)榮一對(duì)情侶失蹤，失蹤者是張志新（化名）和其女友劉穎，沒(méi)想到半個(gè)月后，有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體，經(jīng)...
沈念sama閱讀 48,959評(píng)論 1贊 335
?護(hù)林員之死
正文獨(dú)居荒郊野嶺守林人離奇死亡，尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛以下內(nèi)容為張勛視角年9月15日...
茶點(diǎn)故事閱讀 40,782評(píng)論 3贊 354
?白月光啟示錄
正文我和宋清朗相戀三年，在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
茶點(diǎn)故事閱讀 42,983評(píng)論 1贊 369
活死人
序言：一個(gè)原本活蹦亂跳的男人離奇死亡，死狀恐怖，靈堂內(nèi)的尸體忽然破棺而出，到底是詐尸還是另有隱情，我是刑警寧澤，帶...
沈念sama閱讀 38,528評(píng)論 5贊 359
?日本核電站爆炸內(nèi)幕
正文年R本政府宣布，位于F島的核電站，受9級(jí)特大地震影響，放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜，卻給世界環(huán)境...
茶點(diǎn)故事閱讀 44,222評(píng)論 3贊 347
男人毒藥：我在死后第九天來(lái)索命
文/蒙蒙一、第九天我趴在偏房一處隱蔽的房頂上張望。院中可真熱鬧，春花似錦、人聲如沸。這莊子的主人今日做“春日...
開封第一講書人閱讀 34,653評(píng)論 0贊 26
一樁弒父案，背后竟有這般陰謀
文/蒼蘭香墨我抬頭看了看天上的太陽(yáng)。三九已至，卻和暖如春，著一層夾襖步出監(jiān)牢的瞬間，已是汗流浹背。一陣腳步聲響...
開封第一講書人閱讀 35,901評(píng)論 1贊 286
情欲美人皮
我被黑心中介騙來(lái)泰國(guó)打工，沒(méi)想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留，地道東北人。一個(gè)月前我還...
沈念sama閱讀 51,678評(píng)論 3贊 392
代替公主和親
正文我出身青樓，卻偏偏與公主長(zhǎng)得像，于是被迫代替她去往敵國(guó)和親。傳聞我的和親對(duì)象是個(gè)殘疾皇子，可洞房花燭夜當(dāng)晚...
茶點(diǎn)故事閱讀 47,978評(píng)論 2贊 374

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

基于zookeeper實(shí)現(xiàn)hadoop的高可用HA

基于zookeeper實(shí)現(xiàn)hadoop的高可用HA

1、Namenode HA介紹

Namenode HA詳解

Failover Controller

2、Yarn HA介紹

3、基于已有的偽分布式環(huán)境構(gòu)建HA環(huán)境

第一步：停止服務(wù)

停止hadoop服務(wù)

第二步：?jiǎn)?dòng)所有節(jié)點(diǎn)的zookeeper服務(wù)

第三步：三臺(tái)機(jī)器更改配置文件

修改core-site.xml

修改hdfs-site.xml

修改mapred-site.xml

修改yarn-site.xml

第四步：三臺(tái)機(jī)器啟動(dòng)前準(zhǔn)備

第五步：服務(wù)的啟動(dòng)

第一步：初始化zookeeper

第二步：?jiǎn)?dòng)journalNode

第三步：初始化journalNode

第四步：?jiǎn)?dòng)namenode

第五步：?jiǎn)?dòng)所有節(jié)點(diǎn)的datanode進(jìn)程

第六步：?jiǎn)?dòng)zkfc

第七步：?jiǎn)?dòng)yarn進(jìn)程

第八步：?jiǎn)?dòng)jobhsitory

第九步：瀏覽器界面訪問(wèn)

yarn集群訪問(wèn)查看

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美 国产 综合 欧美 视频

基于zookeeper實(shí)現(xiàn)hadoop的高可用HA

1、Namenode HA介紹

Namenode HA詳解

Failover Controller

2、Yarn HA介紹

3、基于已有的偽分布式環(huán)境構(gòu)建HA環(huán)境

第一步：停止服務(wù)

停止hadoop服務(wù)

第二步：?jiǎn)?dòng)所有節(jié)點(diǎn)的zookeeper服務(wù)

第三步：三臺(tái)機(jī)器更改配置文件

修改core-site.xml

修改hdfs-site.xml

修改mapred-site.xml

修改yarn-site.xml

第四步：三臺(tái)機(jī)器啟動(dòng)前準(zhǔn)備

第五步：服務(wù)的啟動(dòng)

第一步：初始化zookeeper

第二步：?jiǎn)?dòng)journalNode

第三步：初始化journalNode

第四步：?jiǎn)?dòng)namenode

第五步：?jiǎn)?dòng)所有節(jié)點(diǎn)的datanode進(jìn)程

第六步：?jiǎn)?dòng)zkfc

第七步：?jiǎn)?dòng)yarn進(jìn)程

第八步：?jiǎn)?dòng)jobhsitory

第九步：瀏覽器界面訪問(wèn)

yarn集群訪問(wèn)查看

推薦閱讀更多精彩內(nèi)容

三个男躁一个女,国精产品一区一手机的秘密,麦子交换系列最经典十句话,欧美国产综合欧美视频

1、Namenode HA介紹

2、Yarn HA介紹