一、前言
上一篇博文講解了Zookeeper的典型應(yīng)用場(chǎng)景，在大數(shù)據(jù)時(shí)代，各種分布式系統(tǒng)層出不窮，其中，有很多系統(tǒng)都直接或間接使用了Zookeeper，用來解決諸如配置管理、分布式通知/協(xié)調(diào)、集群管理和Master選舉等一系列分布式問題。
二、 Hadoop
Hadoop的核心是HDFS（Hadoop Distributed File System）和MapReduce，分別提供了對(duì)海量數(shù)據(jù)的存儲(chǔ)和計(jì)算能力，后來，Hadoop又引入了全新MapReduce框架YARN（Yet Another Resource Negotiator）。在Hadoop中，Zookeeper主要用于實(shí)現(xiàn)HA（High Availability），這部分邏輯主要集中在Hadoop Common的HA模塊中，HDFS的NameNode與YARN的ResourceManager都是基于此HA模塊來實(shí)現(xiàn)自己的HA功能，YARN又使用了Zookeeper來存儲(chǔ)應(yīng)用的運(yùn)行狀態(tài)。
YARN
YARN是一種新的 Hadoop 資源管理器，它是一個(gè)通用資源管理系統(tǒng)，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。其可以支持MapReduce模型，同時(shí)也支持Tez、Spark、Storm、Impala、Open MPI等。
YARN主要由ResourceManager（RM）、NodeManager（NM）、ApplicationManager（AM）、Container四部分構(gòu)成。其中，ResourceManager為全局資源管理器，負(fù)責(zé)整個(gè)系統(tǒng)的資源管理和分配。由YARN體系架構(gòu)可以看到ResourceManager的單點(diǎn)問題，ResourceManager的工作狀況直接決定了整個(gè)YARN架構(gòu)是否可以正常運(yùn)轉(zhuǎn)。
ResourceManager HA
為了解決ResourceManager的單點(diǎn)問題，YARN設(shè)計(jì)了一套Active/Standby模式的ResourceManager HA架構(gòu)。
由上圖可知，在運(yùn)行期間，會(huì)有多個(gè)ResourceManager并存，并且其中只有一個(gè)ResourceManager處于Active狀態(tài)，另外一些（允許一個(gè)或者多個(gè)）則處于Standby狀態(tài)，當(dāng)Active節(jié)點(diǎn)無法正常工作時(shí)，其余處于Standby狀態(tài)的節(jié)點(diǎn)則會(huì)通過競(jìng)爭(zhēng)選舉產(chǎn)生新的Active節(jié)點(diǎn)。
主備切換
ResourceManager使用基于Zookeeper實(shí)現(xiàn)的ActiveStandbyElector組件來確定ResourceManager的狀態(tài)。具體步驟如下
1. 創(chuàng)建鎖節(jié)點(diǎn)。在Zookeeper上會(huì)有一個(gè)類似于/yarn-leader-election/pseudo-yarn-rm-cluster的鎖節(jié)點(diǎn)，所有的ResourceManager在啟動(dòng)時(shí)，都會(huì)去競(jìng)爭(zhēng)寫一個(gè)Lock子節(jié)點(diǎn)（/yarn-leader-election/pseudo-yarn-rm-cluster/ActiveStandbyElectorLock），子節(jié)點(diǎn)類型為臨時(shí)節(jié)點(diǎn)，利用Zookeeper的特性，創(chuàng)建成功的那個(gè)ResourceManager切換為Active狀態(tài)，其余的為Standby狀態(tài)。
2. 注冊(cè)Watcher監(jiān)聽。所有Standby狀態(tài)的ResourceManager都會(huì)向/yarn-leader-election/pseudo-yarn-rm-cluster/ActiveStandbyElectorLock節(jié)點(diǎn)注冊(cè)一個(gè)節(jié)點(diǎn)變更監(jiān)聽，利用臨時(shí)節(jié)點(diǎn)的特性，能夠快速感知到Active狀態(tài)的ResourceManager的運(yùn)行情況。
3. 主備切換。當(dāng)Active的ResourceManager無法正常工作時(shí)，其創(chuàng)建的Lock節(jié)點(diǎn)也會(huì)被刪除，此時(shí)，其余各個(gè)Stand
