成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

隊(duì)列管理 托管Hadoop集群 UHadoop

ernest.wang / 1701人閱讀

摘要：最多可以使用的資源量，會(huì)保證每個(gè)隊(duì)列使用的資源量不會(huì)超過該隊(duì)列的最多可使用資源量?？上蜿?duì)列中提交應(yīng)用程序的用戶或用戶組列表，默認(rèn)情況下為，表示任何用戶均可以向該隊(duì)列提交應(yīng)用程序。該隊(duì)列的管理員列表。

隊(duì)列管理

本篇目錄

Hadoop配置隊(duì)列

Hadoop配置隊(duì)列

用戶可于 控制臺(tái)-服務(wù)管理 進(jìn)行隊(duì)列配置，具體可參考基本操作。

由于Fair Scheduler比Capacity Scheduler 支持的功能豐富，這里只介紹前者。

修改/home/hadoop/conf/yarn-site.xml

增加配置：

    <property>
      <name>yarn.scheduler.fair.allocation.filename>
      <value>fair-scheduler.xmlvalue>
      <description>默認(rèn)會(huì)從HADOOOP_CONF_DIR路徑下尋找description>
    property>
    <property>
      <name>yarn.scheduler.fair.allow-undeclared-poolsname>
      <value>falsevalue>
      <description>禁止創(chuàng)建為未指定隊(duì)列名的任務(wù)創(chuàng)建新的隊(duì)列，未指定隊(duì)列的任務(wù)會(huì)使用默認(rèn)隊(duì)列資源description>
    property>
配置隊(duì)列配額

cat fair-scheduler.xml

    
    <allocations>
            <queue name="root">             
                    <queue name="testqueue">
                    <minResources>1024mb,1vcoresminResources>
                    <maxResources>2048mb,2vcoresmaxResources>
                    <maxRunningApps>100maxRunningApps>
                    <schedulingPolicy>fairschedulingPolicy>
                    <weight>3.0weight>
                    <aclSubmitApps>* aclSubmitApps>
                    queue>
            queue>
    allocations>

隊(duì)列屬性說明：

1.minResources ：最少資源保證量，設(shè)置格式為“X mb, Y vcores”，當(dāng)一個(gè)隊(duì)列的最少資源保證量未滿足時(shí)，它將優(yōu)先于其他同級(jí)隊(duì)列獲得資源，對(duì)于不同的調(diào)度策略（后面會(huì)詳細(xì)介紹），最少資源保證量的含義不同，對(duì)于fair策略，則只考慮內(nèi)存資源，即如果一個(gè)隊(duì)列使用的內(nèi)存資源超過了它的最少資源量，則認(rèn)為它已得到了滿足；對(duì)于drf策略，則考慮主資源使用的資源量，即如果一個(gè)隊(duì)列的主資源量超過它的最少資源量，則認(rèn)為它已得到了滿足。

2.maxResources：最多可以使用的資源量，fair scheduler會(huì)保證每個(gè)隊(duì)列使用的資源量不會(huì)超過該隊(duì)列的最多可使用資源量。

3.maxRunningApps：最多同時(shí)運(yùn)行的應(yīng)用程序數(shù)目。通過限制該數(shù)目，可防止超量Map Task同時(shí)運(yùn)行時(shí)產(chǎn)生的中間輸出結(jié)果撐爆磁盤。

4.minSharePreemptionTimeout：最小共享量搶占時(shí)間。如果一個(gè)資源池在該時(shí)間內(nèi)使用的資源量一直低于最小資源量，則開始搶占資源。

5.schedulingMode/schedulingPolicy：隊(duì)列采用的調(diào)度模式，可以是fifo、fair或者drf。

6.aclSubmitApps：可向隊(duì)列中提交應(yīng)用程序的Linux用戶或用戶組列表，默認(rèn)情況下為“*”，表示任何用戶均可以向該隊(duì)列提交應(yīng)用程序。需要注意的是，該屬性具有繼承性，即子隊(duì)列的列表會(huì)繼承父隊(duì)列的列表。配置該屬性時(shí)，用戶之間或用戶組之間用“，”分割，用戶和用戶組之間用空格分割，比如“user1, user2 group1,group2”。

7.aclAdministerApps：該隊(duì)列的管理員列表。一個(gè)隊(duì)列的管理員可管理該隊(duì)列中的資源和應(yīng)用程序，比如可殺死任意應(yīng)用程序。

8.weight主要用在資源共享之時(shí)，weight越大，拿到的資源越多。比如一個(gè)pool中有20GB內(nèi)存用不了，這時(shí)候可以共享給其他pool，其他每個(gè)pool拿多少，就是由權(quán)重決定的。

9.maxAMShare： application masters使用的內(nèi)存比例限制取值范圍是[0.0f, 1.0f], 默認(rèn)值是0.5f， -1.0f 表示不進(jìn)行檢查。

10.fairSharePreemptionTimeout：公平共享量搶占時(shí)間。如果一個(gè)資源池在該時(shí)間內(nèi)使用資源量一直低于公平共享量的fairSharePreemptionThreshold * 公平共享量，則開始搶占資源。

11.fairSharePreemptionThreshold： 配合上面參數(shù)使用的。

也可通過以下參數(shù)設(shè)置上面部分屬性的默認(rèn)值

    defaultFairSharePreemptionTimeout
    userMaxAppsDefault
    defaultMinSharePreemptionTimeout
    defaultFairSharePreemptionThreshold
    queueMaxAppsDefault
    queueMaxAMShareDefault
    defaultQueueSchedulingPolicy
    queuePlacementPolicy
用戶屬性：

maxRunningApps: 目前只能限制用戶提交任務(wù)數(shù)量

應(yīng)用隊(duì)列配置

修改fair-scheduler.xml文件，后推送到master節(jié)點(diǎn)上。然后在master1上以hadoop用戶執(zhí)行

yarn rmadmin -refreshQueues

注解：這個(gè)命令只能增加fair-scheduler.xml中的配置， 不能刪除掉原有的配置隊(duì)列，如果要?jiǎng)h除原來的配置要重啟ressourcemanager

更詳細(xì)的內(nèi)容請(qǐng)參考官網(wǎng)說明

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/127046.html

相關(guān)文章

  • 基本操作 托管Hadoop集群 UHadoop

    摘要：監(jiān)控?cái)?shù)據(jù)查看監(jiān)控?cái)?shù)據(jù)查看用戶可于產(chǎn)品界面右側(cè)彈框中查看集群監(jiān)控?cái)?shù)據(jù)，也可進(jìn)入監(jiān)控視圖中進(jìn)行詳細(xì)查看集群及各節(jié)點(diǎn)監(jiān)控?cái)?shù)據(jù)信息。 基本操作本篇目錄集群管理服務(wù)管理告警與監(jiān)控?cái)?shù)據(jù)均衡Yarn Application跟蹤集群管理1、進(jìn)入集群管理頁(yè)面通過UHadoop集群列表頁(yè)面進(jìn)入集群管理頁(yè)面：2、獲取當(dāng)前節(jié)點(diǎn)配置信息本例中，Master 節(jié)點(diǎn)數(shù)量 2，機(jī)型為 C1-large；Core 節(jié)點(diǎn)數(shù)量為...

    ernest.wang 評(píng)論0 收藏2236

  • 托管Hadoop集群 快速上手 UHadoop

    摘要：也可以將托管集群設(shè)置為快捷方式，通過左側(cè)快捷方式菜單欄點(diǎn)擊進(jìn)入?？蚣芗褐袃H部署。用于做存儲(chǔ)集群，有專屬的節(jié)點(diǎn)機(jī)型。節(jié)點(diǎn)管理節(jié)點(diǎn)，負(fù)責(zé)協(xié)調(diào)整個(gè)集群服務(wù)。目前僅節(jié)點(diǎn)支持綁定。通過云主機(jī)內(nèi)網(wǎng)進(jìn)行登錄。登錄密碼為集群創(chuàng)建時(shí)設(shè)置的密碼。 快速上手本篇目錄創(chuàng)建集群提交任務(wù)本文檔將帶領(lǐng)您如何創(chuàng)建UHadoop集群，并使用UHadoop集群完成數(shù)據(jù)處理任務(wù)。創(chuàng)建集群本章簡(jiǎn)單介紹了用戶使用UHadoop服務(wù)...

    ernest.wang 評(píng)論0 收藏295

  • 常見任務(wù)ERROR 托管Hadoop集群 UHadoop

    摘要：常見任務(wù)常見任務(wù)常見任務(wù)本篇目錄原因單個(gè)任務(wù)所分配較低，或者任務(wù)數(shù)據(jù)量教導(dǎo)，導(dǎo)致任務(wù)解決方法端提交任務(wù)時(shí)，嘗試增大任務(wù)參數(shù)端嘗試增大任務(wù)參數(shù)降低任務(wù)并行度，修改，添加原因提交任 常見任務(wù)ERROR本篇目錄java.lang.OutOfMemoryError: Java heap spacejava.lang.ClassNotFoundExceptionUser root cannot sub...

    ernest.wang 評(píng)論0 收藏550

  • 元數(shù)據(jù)管理 托管Hadoop集群 UHadoop

    摘要：架構(gòu)架構(gòu)元數(shù)據(jù)管理元數(shù)據(jù)管理元數(shù)據(jù)管理創(chuàng)建集群時(shí)可在控制臺(tái)開啟元數(shù)據(jù)獨(dú)立管理。若項(xiàng)目中已開啟過元數(shù)據(jù)獨(dú)立管理，則新集群開啟該功能時(shí)，不再創(chuàng)建新的，而是將新集群的元數(shù)據(jù)存儲(chǔ)于已有的中。 元數(shù)據(jù)管理本篇目錄介紹產(chǎn)品架構(gòu)元數(shù)據(jù)管理介紹UHadoop 支持將 Hive-Metastore 的數(shù)據(jù)庫(kù)獨(dú)立于 Hadoop 集群部署，也支持多個(gè)集群訪問同一個(gè) Hive 元數(shù)據(jù)庫(kù)，可在控制臺(tái)對(duì)其做管理。產(chǎn)品...

    ernest.wang 評(píng)論0 收藏2953

  • Hue開發(fā)指南 托管Hadoop集群 UHadoop

    摘要：創(chuàng)建任務(wù)創(chuàng)建任務(wù)選擇這個(gè)標(biāo)簽拖動(dòng)到中。頁(yè)面權(quán)限控制頁(yè)面權(quán)限控制頁(yè)面權(quán)限控制點(diǎn)擊管理用戶組選擇要修改的組名稱，設(shè)置相應(yīng)權(quán)限并保存 Hue開發(fā)指南本篇目錄1. 配置工作流2. Hue頁(yè)面權(quán)限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運(yùn)行和開發(fā) Hive 查詢、管理 HDFS 中的文件、運(yùn)行和開發(fā) Pig 腳本以及管理表。服務(wù)默認(rèn)已經(jīng)啟動(dòng)，用戶只需要配置外網(wǎng)IP，在防火墻中配...

    ernest.wang 評(píng)論0 收藏1340

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<