摘要：集群搭建環(huán)境虛擬機(jī)三臺(tái)主節(jié)點(diǎn)一下如無(wú)特殊說(shuō)明都是在主節(jié)點(diǎn)上配置下載安裝參考文檔文檔自行選擇版本安裝本文按示例版本的配置參考文檔解壓上傳到系統(tǒng)中解壓配置配置文件位置環(huán)境因?yàn)橐h(yuǎn)程調(diào)用找不到變量使用的文件系統(tǒng)和的位置運(yùn)行時(shí)產(chǎn)生的文件的

環(huán)境 centos6.7

虛擬機(jī)三臺(tái) yh01(主節(jié)點(diǎn)) yh02 yh03 一下如無(wú)特殊說(shuō)明都是在主節(jié)點(diǎn)上配置

http://mirrors.hust.edu.cn/ap...

hadoop-3.1.1.tar.gz

文檔 http://hadoop.apache.org/docs/

自行選擇版本安裝 本文按3.1.1示例

版本 http://hadoop.apache.org/rele...

3.1.1的配置參考文檔 http://hadoop.apache.org/docs...

上傳hadoop-3.1.1.tar.gz到centos6.7系統(tǒng)中 解壓

配置文件位置 /export/servers/hadoop-3.1.1/etc/hadoop/

hadoop-env.sh 27

#jdk 環(huán)境 因?yàn)橐h(yuǎn)程調(diào)用 ${java_home}找不到變量  
export JAVA_HOME=/export/servers/jdk1.8.0_141

core-site.xml

        
        #hadoop使用的文件系統(tǒng)(uri) hdfs 和hdfs的位置
            fs.defaultFS
            hdfs://yh01:9000
        
        
        #hadoop運(yùn)行時(shí)產(chǎn)生的文件的存儲(chǔ)位置
            hadoop.tmp.dir
            /export/data/HADOOP/apps/hadoop-3.1.1/tmp
        

hdfs-site.xml 都有默認(rèn)值 也可以不配置

    ----------------
    
    #namenode上存儲(chǔ)hdfs名字空間元數(shù)據(jù)
        dfs.namenode.name.dir
        /export/data/HADOOP/hdfs/name
    
    
    #hdfs datanode上數(shù)據(jù)塊的物理存儲(chǔ)位置
        dfs.datanode.data.dir
        /export/data/HADOOP/hdfs/data
    
    
    #hdfs數(shù)據(jù)副本數(shù)量 3分副本 應(yīng)小于datanode機(jī)器數(shù)量
        dfs.replication
        3
    
    ----------------
    
        dfs.secondary.http.address
        yh01:50090
    

mapred-site.xml

        
            mapreduce.framework.name
            #mr運(yùn)行的平臺(tái) 默認(rèn)local本地模式
            yarn
        
    

yarn-site.xml

        
            yarn.resourcemanager.hostname
            #yarn (MR)的ResourcesManager管理界面的地址 主機(jī)名稱
            yh01
        
        
            #reducer獲取數(shù)據(jù)的方式
            yarn.nodemanager.aux-services
            mapreduce_shuffle
        
    

添加hdfs權(quán)限 vim sbin/start-dfs.sh sbin/stop-dfs.sh 在頂部空白位置添加

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

否則會(huì)報(bào)錯(cuò) （缺少用戶權(quán)限定義造成的）因此編輯啟動(dòng)和關(guān)閉

ERROR: Attempting to launch hdfs namenode as root
ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting launch.
Starting datanodes
ERROR: Attempting to launch hdfs datanode as root
ERROR: but there is no HDFS_DATANODE_USER defined. Aborting launch.
Starting secondary namenodes [localhost.localdomain]
ERROR: Attempting to launch hdfs secondarynamenode as root
ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting launch.

添加yarn權(quán)限 vim sbin/start-yarn.sh sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HDFS_DATANODE_SECURE_USER=yarn
YARN_NODEMANAGER_USER=root

vim /etc/profile

export JAVA_HOME=/export/servers/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

#hadoop
export HADOOP_HOME=/export/servers/hadoop-3.1.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

臨時(shí)簡(jiǎn)單驗(yàn)證下有沒(méi)有問(wèn)題

[root@yh01]# cd $HADOOP_HOME

[root@yh01 hadoop-3.1.1]#  bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.1.jar grep input output "dfs[a-z.]+"

修改ssh (yh01 yh02 yh03 都需要執(zhí)行ssh-keygen以下的命令)

現(xiàn)在檢查您是否可以在沒(méi)有密碼的情況下ssh到localhost：
 ssh yh01
 
 如果在沒(méi)有密碼短語(yǔ)的情況下無(wú)法ssh到localhost，請(qǐng)執(zhí)行以下命令：

 ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa
 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
 chmod 0600 ~/.ssh/authorized_keys
 
 添加本機(jī)ssh到本機(jī)ssh中 當(dāng)使用start-all.sh啟動(dòng)works下的所有機(jī)器時(shí)能直接無(wú)秘鑰啟動(dòng)
 同時(shí)分發(fā)yh01主機(jī)的秘密到其他機(jī)器中
 ~/.ssh/authorized_keys 包含 當(dāng)前機(jī)器 及主節(jié)點(diǎn)機(jī)器的秘鑰
 

修改/etc/ssh/sshd_config 文件

需要修改的 如果有注釋 就發(fā)開(kāi)注釋

RSAAuthentication yes 
PubkeyAuthentication yes #這兩項(xiàng)為打開(kāi)公鑰模式 
AuthorizedKeysFile .ssh/authorized_keys #配置公鑰記錄文件 
PasswordAuthentication yes #打開(kāi)密碼驗(yàn)證模式

分發(fā)$HADOOP_HOME的文件到其他機(jī)器

[root@yh01 hadoop-3.1.1]# pwd
/export/servers/hadoop-3.1.1
[root@yh01 hadoop-3.1.1]# scp -r hadoop-3.1.1/ root@yh02:$PWD
[root@yh01 hadoop-3.1.1]# scp -r hadoop-3.1.1/ root@yh03:$PWD

修改works文件 文件中的所有工作者主機(jī)名或IP地址，每行一個(gè)

添加hadoop節(jié)點(diǎn)

vim hadoop-3.1.1/etc/hadoop/works
  假設(shè)有3臺(tái)
 
  yh01
  yh02
  yh03
  
  要添加本機(jī)ssh鏈接
  ssh yh01

如果配置了workds文件
只需要在yh01上執(zhí)行即可 分割線一下的可以忽略

hdfs namenode -format 
啟動(dòng) 
$HADOOP_HOME/sbin/start-dfs.sh 
$HADOOP_HOME/sbin/start-yarn.sh
$HADOOP_HOME/bin/mapred --daemon start historyserver
關(guān)閉
$HADOOP_HOME/sbin/stop-dfs.sh
$HADOOP_HOME/sbin/stop-yarn.sh
$HADOOP_HOME/bin/mapred --daemon stop historyserver
===========================



在主節(jié)點(diǎn) yh01上執(zhí)行
$HADOOP_HOME/bin/hdfs --daemon start namenode
在副節(jié)點(diǎn) yh02 yh03上執(zhí)行
$HADOOP_HOME/bin/hdfs --daemon start datanode
#格式化成功
2018-08-24 16:41:04,983 INFO common.Storage: Storage directory /export/data/HADOOP/data/name has been successfully formatted.

啟動(dòng)所有
start-all.sh 
關(guān)閉所有
stop-all.sh

[root@yh01 logs]# jps
5633 Jps
4498 ResourceManager
4020 DataNode
5556 JobHistoryServer
3879 NameNode
4247 SecondaryNameNode
4635 NodeManager

[root@yh02 hadoop-3.1.1]# jps
5856 Jps
3969 Bootstrap
5345 NodeManager
5235 DataNode
3919 QuorumPeerMain


[root@yh03 hadoop-3.1.1]# jps
3729 QuorumPeerMain
4820 NodeManager
4711 DataNode
3768 Bootstrap
5050 Jps