摘要：一的概念和產(chǎn)生背景什么是另一種資源協(xié)調(diào)者通用資源管理系統(tǒng)為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，為集群在利用率資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處通用資源管理系統(tǒng)數(shù)據(jù)分布式存儲數(shù)據(jù)分塊，冗余存儲當多個任務(wù)要用到相同的數(shù)據(jù)，需要進行資源調(diào)度

一、YARN的概念和產(chǎn)生背景
什么是YARN

• Yet Another Resource Negotiator, 另一種資源協(xié)調(diào)者
• 通用資源管理系統(tǒng)
• 為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處

通用資源管理系統(tǒng)

• Hadoop數(shù)據(jù)分布式存儲（數(shù)據(jù)分塊，冗余存儲）
• 當多個MapReduce任務(wù)要用到相同的hdfs數(shù)據(jù)， 需要進行資源調(diào)度管理
• Hadoop1.x時并沒有YARN，MapReduce 既負責進行計算作業(yè)又處理服務(wù)器集群資源調(diào)度管理
• 隨著大數(shù)據(jù)技術(shù)的發(fā)展，Spark Storm ... 計算框架都要用到服務(wù)器集群資源
• 如果沒有通用資源管理系統(tǒng)，只能為多個集群分別提供數(shù)據(jù)

資源利用率低 運維成本高

Yarn (Yet Another Resource Negotiator) 另一種資源調(diào)度器

Mesos 大數(shù)據(jù)資源管理產(chǎn)品
不同計算框架可以共享同一個HDFS集群上的數(shù)據(jù)，享受整體的資源調(diào)度

二 YARN的架構(gòu)和執(zhí)行流程

• ResourceManager: RM 資源管理器? 整個集群同一時間提供服務(wù)的RM只有一個，負責集群資源的統(tǒng)一管理和調(diào)度? 處理客戶端的請求： submit, kill? 監(jiān)控我們的NM，一旦某個NM掛了，那么該NM上運行的任務(wù)需要告訴我們的AM來如何進行處理
• NodeManager: NM 節(jié)點管理器? 整個集群中有多個，負責自己本身節(jié)點資源管理和使用? 定時向RM匯報本節(jié)點的資源使用情況? 接收并處理來自RM的各種命令：啟動Container? 處理來自AM的命令
• ApplicationMaster: AM? 每個應(yīng)用程序?qū)?yīng)一個：MR、Spark，負責應(yīng)用程序的管理? 為應(yīng)用程序向RM申請資源（core、memory），分配給內(nèi)部task? 需要與NM通信：啟動/停止task，task是運行在container里面，AM也是運行在container里面
• Container 容器: 封裝了CPU、Memory等資源的一個容器,是一個任務(wù)運行環(huán)境的抽象
• Client: 提交作業(yè) 查詢作業(yè)的運行進度,殺死作業(yè)

1，Client提交作業(yè)請求

2，ResourceManager 進程和 NodeManager 進程通信，根據(jù)集群資源，為用戶程序分配第一個Container(容器)，并將 ApplicationMaster 分發(fā)到這個容器上面

3，在啟動的Container中創(chuàng)建ApplicationMaster

4，ApplicationMaster啟動后向ResourceManager注冊進程,申請資源

5，ApplicationMaster申請到資源后，向?qū)?yīng)的NodeManager申請啟動Container,將要執(zhí)行的程序分發(fā)到NodeManager上

6，Container啟動后，執(zhí)行對應(yīng)的任務(wù)

7，Tast執(zhí)行完畢之后，向ApplicationMaster返回結(jié)果

8，ApplicationMaster向ResourceManager 請求kill

三 YARN的啟動
啟動yarn

$HADOOP_HOME/sbin/start-yarn.sh

• jps查看進程? ResourceManager? NodeManager
• 圖形化界面 http://192,168.19.137:8088
• 停止YARN相關(guān)的進程? sbin/stop-yarn.sh