成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

Hadoop2.7.4分布式集群安裝配置文件

beita / 3453人閱讀

摘要：中默認(rèn)配置和的存放位置的地址就是基于此。需配置成，才可運(yùn)行程序的主機(jī)名對(duì)客戶端暴露的地址?？蛻舳送ㄟ^(guò)該地址向提交應(yīng)用程序，殺死應(yīng)用程序等對(duì)暴露的訪問(wèn)地址。注意，該參數(shù)是不可修改的，一旦設(shè)置，整個(gè)運(yùn)行過(guò)程中不可動(dòng)態(tài)修改。

集群環(huán)境

Hadoop版本為2.7.4

JDK版本1.8.0_144

安裝了三臺(tái)虛擬機(jī)分別設(shè)定名稱(chēng)和IP如下

主機(jī)名稱(chēng) IP地址
master 192.168.1.15
slave01 192.168.1.16
slave02 192.168.1.17

服務(wù)器上安裝hadoop的目錄結(jié)構(gòu)為
/home/用戶名/hadoop
software: 存放的是安裝的軟件包
app : 存放的是所有軟件的安裝目錄
hadoop2.7.4就在app目錄下， 這里我的機(jī)器的用戶都是null

hadoop主要配置文件有core-site.xml,hdfs-site.xml,mapred-site.xml，yarn-site.xml
可以瀏覽官網(wǎng)查看詳細(xì)的默認(rèn)的配置，鏈接如下
core-default.xml
hdfs-default.xml
mapred-default.xml
yarn-default.xml
也可以通過(guò)下載解壓hadoop后在目錄下搜索*default.xml,找到這些默認(rèn)配置

安裝Hadoop 下載hadoop并解壓到app目錄下 
tar -zxvf hadoop-2.7.4.tar.gz -C ~/hadoop/app
配置Hadoop 環(huán)境變量

vim /etc/profile添加

# Hadoop Env
export HADOOP_HOME=/home/null/hadoop/app/hadoop-2.7.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
修改$HADOOP_HOME/etc/hadoop下的配置文件

$HADOOP_HOME就是hadoop安裝目錄位置
這里只是將分布式集群的一些必要的簡(jiǎn)化了的配置羅列出來(lái)了，更個(gè)性化的配置還是要參照官方文檔進(jìn)行設(shè)置

修改hadoop-env.sh文件 
//修改JAVA_HOME路徑為jdk的安裝路徑  
export JAVA_HOME=/home/null/hadoop/app/jdk1.8.0_144
修改yarn-env.sh文件 
//修改JAVA_HOME路徑為jdk的安裝路徑  
export JAVA_HOME=/home/null/hadoop/app/jdk1.8.0_144
修改slaves文件

master 既作為 NameNode 也作為 DataNode

master  
slave01  
slave02
修改core-site.xml文件

該文件可以覆蓋一部分用于控制Hadoop核心的默認(rèn)的關(guān)鍵配置

參數(shù) 默認(rèn)值 解釋
fs.defaultFS file:/// namenode RPC交互端口
fs.default.name file:/// 被棄用，是用fs.defaultFS代替
hadoop.tmp.dir /tmp/hadoop-${user.name} 其他臨時(shí)目錄的根地址

先在$HADOOP_HOME目錄下手動(dòng)創(chuàng)建tmp文件夾，等下指定hadoop.tmp.dir為它，hadoop.tmp.dir是hadoop文件系統(tǒng)依賴的基礎(chǔ)配置，很多路徑都依賴它。hdfs-site-xml中默認(rèn)配置namenode 和datanode的存放位置的地址就是基于此。 LINUX 系統(tǒng)中，在服務(wù)重啟后，/tmp 下的目錄被清空，所以要轉(zhuǎn)到持久化的地址


    
        fs.defaultFS
        hdfs://master:9000
    
    
        hadoop.tmp.dir
        /home/null/hadoop/app/tmp
修改hdfs-site.xml文件

通過(guò)該配置文件可以修改有關(guān)的HDFS的默認(rèn)配置

參數(shù) 默認(rèn)值 解釋
dfs.replication 3 決定著系統(tǒng)里面的文件塊的數(shù)據(jù)備份個(gè)數(shù)
dfs.namenode.secondary.http-address 0.0.0.0:50090 secondary namenode服務(wù)地址和端口
dfs.namenode.name.dir file://${hadoop.tmp.dir}/dfs/name 決定namenode的fsimage文件在本地文件系統(tǒng)的存儲(chǔ)位置，如果是以逗號(hào)分割的目錄列表，將會(huì)復(fù)制到所有目錄中，冗余
dfs.datanode.data.dir file://${hadoop.tmp.dir}/dfs/data 決定datanode的數(shù)據(jù)塊在本地文件系統(tǒng)的存儲(chǔ)位置，如果目錄不存在將被創(chuàng)建如果權(quán)限允許的話 

        
        dfs.namenode.secondary.http-address    
        master:50090    
     
    
        dfs.replication
        3

副本數(shù)目不能大于datanode數(shù)目
在core-site.中配置了hadoop.tmp.dir，這里保持默認(rèn)即可

修改mapred-site.xml文件

該文件中的屬性可以覆蓋用于控制MapReduce任務(wù)執(zhí)行的默認(rèn)屬性值

參數(shù) 默認(rèn)值 解釋
mapreduce.framework.name local MapReduce 作業(yè)的執(zhí)行框架
mapreduce.jobhistory.address 0.0.0.0:10020 MapReduce的歷史服務(wù)器通信地址
mapreduce.jobhistory.webapp.address 0.0.0.0:19888 MapReduce的歷史服務(wù)器web界面地址 

    
        mapreduce.framework.name
        yarn

默認(rèn)情況下，Hadoop歷史服務(wù)器是沒(méi)有啟動(dòng)的，我們可以通過(guò)下面的命令來(lái)啟動(dòng)Hadoop歷史服務(wù)器

sbin/mr-jobhistory-daemon.sh  start historyserver
修改yarn-site.xml文件

該文件中的配置項(xiàng)可以覆蓋用于控制YARN組件中的默認(rèn)屬性值

參數(shù) 默認(rèn)值 解釋
yarn.nodemanager.aux-services 無(wú) NodeManager上運(yùn)行的附屬服務(wù)。需配置成mapreduce_shuffle，才可運(yùn)行MapReduce程序
yarn.resourcemanager.hostname 0.0.0.0 ResourceManager的主機(jī)名
yarn.resourcemanager.address ${yarn.resourcemanager.hostname}:8032 ResourceManager 對(duì)客戶端暴露的地址?？蛻舳送ㄟ^(guò)該地址向RM提交應(yīng)用程序，殺死應(yīng)用程序等
yarn.resourcemanager.scheduler.address ${yarn.resourcemanager.hostname}:8030 ResourceManager 對(duì)ApplicationMaster暴露的訪問(wèn)地址。ApplicationMaster通過(guò)該地址向RM申請(qǐng)資源、釋放資源等
yarn.resourcemanager.webapp.address ${yarn.resourcemanager.hostname}:8088 ResourceManager對(duì)外web ui地址。用戶可通過(guò)該地址在瀏覽器中查看集群各類(lèi)信息
yarn.nodemanager.resource.memory-mb 8192 NodeManager總的可用物理內(nèi)存。注意，該參數(shù)是不可修改的，一旦設(shè)置，整個(gè)運(yùn)行過(guò)程中不可動(dòng)態(tài)修改。另外，該參數(shù)的默認(rèn)值是8192MB，即使你的機(jī)器內(nèi)存不夠8192MB，YARN也會(huì)按照這些內(nèi)存來(lái)使用
yarn.nodemanager.resource.cpu-vcores 8 NodeManager總的可用虛擬CPU個(gè)數(shù) 

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.resourcemanager.hostname
        master
    
    
        yarn.nodemanager.resource.memory-mb
        1024
    
    
        yarn.nodemanager.resource.cpu-vcores
        1

這里我架設(shè)的虛擬機(jī)是1g內(nèi)存1CPU1核的 ，沒(méi)設(shè)置最后兩個(gè)屬性時(shí)，NodeManager啟動(dòng)報(bào)錯(cuò)內(nèi)存不足
相關(guān)問(wèn)題可以參考我的另外一篇博客

啟動(dòng)Hadoop集群 格式化文件系統(tǒng)

在master中執(zhí)行

hdfs namenode -format
啟動(dòng)NameNode和DataNode

在master $HADOOP_HOME下執(zhí)行

sbin/.start-dfs.sh

使用jps命令查看master上的進(jìn)程如下

DataNode
SecondaryNameNode
NameNode
Jps

使用jps命令分別查看slave01和slave02上的進(jìn)程如下

Jps
DataNode
啟動(dòng) ResourceManager 和 NodeManager

在master $HADOOP_HOME下執(zhí)行

sbin/start-yarn.sh

使用jps命令查看master上的進(jìn)程如下

DataNode
NodeManager
ResourceManager
SecondaryNameNode
NameNode
Jps

使用jps命令分別查看slave01和slave02上的進(jìn)程如下

Jps
NodeManager
DataNode

終于！Hadoop集群成功啟動(dòng)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/67932.html

相關(guān)文章

  • Ubuntu16.04下安裝Hadoop2.7.4偽分布式環(huán)境

    摘要：按打開(kāi)終端窗口，執(zhí)行如下命令安裝并設(shè)置免密登陸注意每次配置時(shí)，需要注意當(dāng)前目錄為。的配置文件位于中，偽分布式需要修改個(gè)配置文件和。的配置文件是格式，每個(gè)配置以聲明的和的方式來(lái)實(shí)現(xiàn)。 1.創(chuàng)建Hadoop用戶三部曲：添加用戶，設(shè)置密碼，給該用戶設(shè)置管理員權(quán)限為 hadoop 用戶增加管理員權(quán)限，方便部署，避免一些對(duì)新手來(lái)說(shuō)比較棘手的權(quán)限問(wèn)題 sudo useradd -m hadoop ...

    lei___ 評(píng)論0 收藏0

  • 數(shù)人云工程師手記 | 雙劍合璧，分布式部署兩步走

    摘要：今天小數(shù)給大家?guī)?lái)的是數(shù)人云工程師金燁的分享，有關(guān)于自動(dòng)快速部署服務(wù)相關(guān)組件的一些實(shí)踐。當(dāng)與相遇，雙劍合璧，一切變得如此簡(jiǎn)單有趣。通過(guò)將服務(wù)注冊(cè)到來(lái)做健康檢查。 今天小數(shù)給大家?guī)?lái)的是數(shù)人云工程師金燁的分享，有關(guān)于自動(dòng)快速部署DCOS服務(wù)相關(guān)組件的一些實(shí)踐。當(dāng)Ansible與Docker相遇，雙劍合璧，一切變得如此簡(jiǎn)單有趣。 本次分享將包括以下內(nèi)容： 云平臺(tái)部署使用的服務(wù)、組件 Do...

    Jonathan Shieber 評(píng)論0 收藏0

  • Rancher Kubernetes Engine（RKE）正式發(fā)布：閃電般的Kubernetes安

    摘要：現(xiàn)在，越來(lái)越多的開(kāi)發(fā)人員不再使用傳統(tǒng)的應(yīng)用程序服務(wù)器，而是開(kāi)始使用作為分布式應(yīng)用程序平臺(tái)開(kāi)發(fā)人員使用作為后端數(shù)據(jù)庫(kù)。而我們已注意到，將諸如之類(lèi)的輕量級(jí)安裝程序嵌入到分布式應(yīng)用程序中，滿足了很多來(lái)自用戶的興趣與需求。 作為Rancher 2.0的重要組件，Rancher Kubernetes Engine（RKE）現(xiàn)已正式全面發(fā)布！這是Rancher Labs推出的新的開(kāi)源項(xiàng)目，一個(gè)極致...

    canopus4u 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<