成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

配置CDH集群及服務(wù)

IT那活兒 / 3644人閱讀
配置CDH集群及服務(wù)

點(diǎn)擊上方“IT那活兒”公眾號(hào)，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！

CM安裝好以后可以進(jìn)入CM界面開始安裝CDH相關(guān)服務(wù)。

登錄Cloudera Manager 管理頁面

在chrome瀏覽器輸入：

http://主節(jié)點(diǎn)ip地址:7180,輸入用戶名admin，密碼admin進(jìn)入管理頁面。

選擇CDH版本

我們選擇免費(fèi)版本：Cloudera Express版本

注意：

  • 選擇免費(fèi)版 Cloudera Express；

  • 許可證選項(xiàng)打√；

  • CDH節(jié)點(diǎn)數(shù)設(shè)置為無限制；

  • 選擇核心功能和高級(jí)功能。

CDH集群選擇主機(jī)

  • 192.168.11.216
  • 192.168.11.217
  • 192.168.11.218

注意：

  • 除了獨(dú)立的deepinsight服務(wù)器（這里也不可見），其他主機(jī)都應(yīng)該加入；
  • 如果有特殊考慮，可以暫時(shí)不加入。

選擇存儲(chǔ)庫

注意：

  • 這里是指CDH及服務(wù)安裝包的來源；

  • 原則采用推薦方案：parcel、CDH5.14版本。

啟動(dòng)安裝過程

注意：

  • 注意這個(gè)過程時(shí)間比較長，要耐心等待。

檢查主機(jī)正確性


/proc/sys/vm/swappiness 未設(shè)置為 0。當(dāng)前設(shè)置為 60，修改方法如下：
執(zhí)行 sysctl vm.swappiness = 0
在/etc/sysctl.conf文件中加入一行 vm.swappiness=0

修改透明最大頁面：

echo never> /sys/kernel/mm/transparent_hugepage/defrag
echo never> /sys/kernel/mm/transparent_hugepage/enabled

將此命令添加到一個(gè)init腳本中，比如 /etc/rc.local，以確保開機(jī)后能繼續(xù)生效。

選擇集群服務(wù)

選擇hdfs、yarn、zookeeper。

注意：

  • 開始只安裝hdfs、yarn、zookeeper，其余后面安裝。

自定義角色分配

注意：

  • 如果節(jié)點(diǎn)數(shù)大于3，SecondaryNameNode最好不好也NameNode放在同一節(jié)點(diǎn)；
  • 服務(wù)的分配參加華為FusionInsight HD產(chǎn)品手冊(cè)。

設(shè)置群集參數(shù)

NameNode數(shù)據(jù)目錄：/clusterdata/program/dfs/nn
HDFS檢查點(diǎn)目錄：/clusterdata/program/dfs/snn


注意：

  • hdfs選項(xiàng)中去掉hdfs檢查權(quán)限避免出現(xiàn)不能訪問hdfs的問題。

首次運(yùn)行成功

關(guān)閉HDFS安全模式


hadoop dfsadmin -safemode leave

添加spark（Standalone)服務(wù)（可選）


注意：

  • 正常而言，我們安裝Spark2.x，不需要安裝Spark Standalone；
  • 如果資源不足，可以考慮安裝Standalone服務(wù)；
  • Spark服務(wù)安裝和前面添加yarn服務(wù)操作是一樣的。

本文作者：王 哲（上海新炬王翦團(tuán)隊(duì)）

本文來源：“IT那活兒”公眾號(hào)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129411.html

相關(guān)文章

  • 什么是cdhkerberos

    　　在CDH集群中，Kerberos常用于為HDFS(Hadoop分布式文件系統(tǒng))、YARN(Yet Another Resource Negotiator)等Hadoop服務(wù)提供安全認(rèn)證。Kerberos 是一種網(wǎng)絡(luò)身份驗(yàn)證協(xié)議，它使用密鑰加密來安全地驗(yàn)證用戶和服務(wù)。使用 Kerberos，用戶必須先使用一組憑據(jù)(通常是用戶名和密碼)向 Hadoop 集群驗(yàn)證自己的身份，然后才能訪問集群上的...

    白馬嘯西風(fēng) 評(píng)論0 收藏0

  • cdh價(jià)格-cdh商業(yè)版價(jià)格

    　　CDH是Cloudera公司發(fā)行的，本身是100%開源的平臺(tái)，簡(jiǎn)單來說：CDH 是一個(gè)匯集集群自動(dòng)化安裝、中心化管理、集群監(jiān)控、報(bào)警功能于一體的一個(gè)工具，這樣的話可以使得集群的安裝可以從幾天的時(shí)間縮短為幾個(gè)小時(shí)，運(yùn)維人數(shù)也會(huì)得到相應(yīng)的減少，可以極大的提高集群管理的效率。　　本來是開源免費(fèi)的，但是從2019 年忽然宣布宣布,所有的 Cloudera 產(chǎn)品版本必須要付費(fèi)訂閱了，并且從2021年...

    白馬嘯西風(fēng) 評(píng)論0 收藏0

  • docker安裝cdh

    　　Docker是一個(gè)開源容器引擎，可以輕松地在任何地方打包，運(yùn)行和分發(fā)應(yīng)用程序.　　在Docker上安裝CDH有以下幾個(gè)步驟：　　安裝Docker: 在你的操作系統(tǒng)上安裝Docker。如果你還沒有安裝Docker，請(qǐng)參考Docker官方文檔來安裝Docker?！　∠螺dCDH鏡像: 使用以下命令下載CDH鏡像：　　Copy codedocker pull cloudera/quickstart:l...

    白馬嘯西風(fēng) 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<