摘要：博客原文采用了基于事件驅(qū)動的并發(fā)模型該模型能極大的提高應(yīng)用程序并發(fā)性在中幾乎所有的事件都通過進(jìn)行事件的派發(fā)其基本架構(gòu)圖如下從基本的架構(gòu)圖可以簡單的看出該模型還需要幾個基本的要素那就是事件事件類型和處理事件對應(yīng)的處理器在中事件被定義如下事件類

博客原文:hackershell

YARN采用了基于事件驅(qū)動的并發(fā)模型,該模型能極大的提高應(yīng)用程序并發(fā)性,在RM中,幾乎所有的事件都通過AsyncDispatcher進(jìn)行事件的派發(fā).

其基本架構(gòu)圖如下:

從基本的架構(gòu)圖可以簡單的看出,該模型還需要幾個基本的要素,那就是事件(Event),事件類型(EventType)和處理事件對應(yīng)的處理器(Handler).

在HADOOP中,事件被定義如下:

public interface Event> {

  TYPE getType();
  long getTimestamp();
  String toString();
}

事件類型(EventType)則是簡單的枚舉類

主要功能定義事件有哪幾種類型:

public enum NodesListManagerEventType {
  NODE_USABLE,
  NODE_UNUSABLE
}

處理事件的接口

主要功能處理相應(yīng)的事件

public interface EventHandler {
  void handle(T event);
}

Dispatcher通過不同的事件類型(EventType)找到相應(yīng)的handler對事件(event)進(jìn)行處理.

對于AsyncDispatcher來說,它實現(xiàn)了Dispatcher接口:

public interface Dispatcher {
  EventHandler getEventHandler();
  void register(Class eventType, EventHandler handler);
}

其中有兩個基本的方法,register和getEventHandler

register在AsyncDispatcher使用之前就需要先注冊eventType和對應(yīng)的EventHandler,而getEventHandler方法主要則是把事件(event)放入eventQueue中.

接下來在ResourceManager舉個簡單的例子:

在RM初始化自身基本服務(wù)的時候,會把相應(yīng)的事件類型(EventType)和事件處理器(EventHandler),先注冊在AsyncDispatcher上,以便于派發(fā)器在事件(event)到來時做出相應(yīng)的處理.

RM的部分代碼:

// Register event handler for RmNodes
this.rmDispatcher.register(RMNodeEventType.class,
    new NodeEventDispatcher(this.rmContext)); 

其實注冊也就是把相應(yīng)的類型和處理器放到一個HashMap中

因為是資源管理方面的服務(wù),所以我們進(jìn)入ResourceTrackerService類中,找到nodesListManager這個實例,通過代碼可以知道nodesListManager是用來管理節(jié)點是否可用,并作出相應(yīng)的處理

// 2. Check if it"s a valid (i.e. not excluded) node
    if (!this.nodesListManager.isValidNode(rmNode.getHostName())) {
      String message =
          "Disallowed NodeManager nodeId: " + nodeId + " hostname: "
              + rmNode.getNodeAddress();
      LOG.info(message);
      shutDown.setDiagnosticsMessage(message);
      this.rmContext.getDispatcher().getEventHandler().handle(
          new RMNodeEvent(nodeId, RMNodeEventType.DECOMMISSION));
      return shutDown;
    }

從代碼可以看出,如果節(jié)點是非法的,則從Dispatcher獲取Handler,并構(gòu)造一個RMNodeEventType.DECOMMISSION類型的事件,這個RMNodeEvent將會被放到eventQueue中

class GenericEventHandler implements EventHandler {
    public void handle(Event event) {
      try {
        eventQueue.put(event);
      } catch (InterruptedException e) {

      }
    };
  }

最后由dispatch進(jìn)行通過傳入的RMNodeEventType找到相應(yīng)的NodeEventDispatcher(即EventHandler),并調(diào)用handle進(jìn)行處理.

總結(jié):
通過了解AsyncDispatcher可以提升自己理解Yarn的工作流程,加深對Yarn的設(shè)計實現(xiàn)的了解.