成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

Hadoop的核心組件

Tecode / 2111人閱讀

摘要：的兩個(gè)備份存儲(chǔ)在和兩個(gè)服務(wù)器上的兩個(gè)備份存儲(chǔ)在和兩個(gè)服務(wù)器上分布式計(jì)算框架源于的論文，論文發(fā)表于年月是的開源實(shí)現(xiàn)特點(diǎn)擴(kuò)展性容錯(cuò)性海量數(shù)據(jù)離線處理資源調(diào)度系統(tǒng)負(fù)責(zé)整個(gè)集群資源的管理和調(diào)度特點(diǎn)擴(kuò)展性容錯(cuò)性多框架資源統(tǒng)一調(diào)度

Hadoop Common: 協(xié)調(diào)其它Hadoop組件的通用工具
Hadoop Distributed File System (HDFS?): A distributed file system that provides high-throughput access to application data.(分布式文件系統(tǒng))

  • 源自于Google的GFS論文, 論文發(fā)表于2003年10月
  • HDFS是GFS的開源實(shí)現(xiàn)
  • HDFS的特點(diǎn):擴(kuò)展性&容錯(cuò)性&海量數(shù)量存儲(chǔ)
  • 將文件切分成指定大小的數(shù)據(jù)塊, 并在多臺(tái)機(jī)器上保存多個(gè)副本
  • 數(shù)據(jù)切分、多副本、容錯(cuò)等操作對(duì)用戶是透明的

下面這張圖是數(shù)據(jù)塊多份復(fù)制存儲(chǔ)的示意

  • 圖中對(duì)于文件 /users/sameerp/data/part-0，其復(fù)制備份數(shù)設(shè)置為2, 存儲(chǔ)的BlockID分別為1、3。
  • Block1的兩個(gè)備份存儲(chǔ)在DataNode0和DataNode2兩個(gè)服務(wù)器上
  • Block3的兩個(gè)備份存儲(chǔ)在DataNode4和DataNode6兩個(gè)服務(wù)器上

image.png

Hadoop MapReduce: A YARN-based system for parallel processing of large data sets.

  • 分布式計(jì)算框架
  • 源于Google的MapReduce論文，論文發(fā)表于2004年12月
  • MapReduce是GoogleMapReduce的開源實(shí)現(xiàn)
  • MapReduce特點(diǎn):擴(kuò)展性&容錯(cuò)性&海量數(shù)據(jù)離線處理

image.png

Hadoop YARN: A framework for job scheduling and cluster resource management.(資源調(diào)度系統(tǒng))

  • YARN: Yet Another Resource Negotiator
  • 負(fù)責(zé)整個(gè)集群資源的管理和調(diào)度
  • YARN特點(diǎn):擴(kuò)展性&容錯(cuò)性&多框架資源統(tǒng)一調(diào)度

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/125956.html

相關(guān)文章

  • Hadoop 入門筆記—核心組件 YARN

    摘要：主要由兩個(gè)組件構(gòu)成調(diào)度器和應(yīng)用程序管理器，。主要負(fù)責(zé)該節(jié)點(diǎn)內(nèi)所有容器的生命周期的管理，監(jiān)視資源和跟蹤節(jié)點(diǎn)健康。主要用來處理來自的命令。一個(gè)節(jié)點(diǎn)啟動(dòng)時(shí)，它會(huì)向進(jìn)行注冊(cè)并推送可用資源信息。應(yīng)用運(yùn)行結(jié)束后，向注銷自己，并允許屬于它的被收回。 作者：幻好來源：恒生LIGHT云社區(qū)基本概述Apache YARN (Yet...

    wanghui 評(píng)論0 收藏0

  • Hadoop的核心組件

    摘要：的兩個(gè)備份存儲(chǔ)在和兩個(gè)服務(wù)器上的兩個(gè)備份存儲(chǔ)在和兩個(gè)服務(wù)器上分布式計(jì)算框架源于的論文，論文發(fā)表于年月是的開源實(shí)現(xiàn)特點(diǎn)擴(kuò)展性容錯(cuò)性海量數(shù)據(jù)離線處理資源調(diào)度系統(tǒng)負(fù)責(zé)整個(gè)集群資源的管理和調(diào)度特點(diǎn)擴(kuò)展性容錯(cuò)性多框架資源統(tǒng)一調(diào)度Hadoop Common: 協(xié)調(diào)其它Hadoop組件的通用工具Hadoop Distributed File System (HDFS?): A distributed fi...

    Tecode 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<