資訊專欄INFORMATION COLUMN
完全分布式真正利用多臺(tái)Linux主機(jī)來(lái)進(jìn)行部署Hadoop，對(duì)集群進(jìn)行規(guī)劃，使得Hadoop各個(gè)模塊分別部署在不同的多臺(tái)機(jī)器上。
2. 修改主機(jī)名
Master：
hostnamectl set-hostname master
bash
Slave：
hostnamectl set-hostname slave
bash
3. 修改/etc/hosts文件，配置主機(jī)域名映射
Master：
vim /etc/hosts
Slave：
vim /etc/hosts
192.168.163.128 master
192.168.163.129 ave
4. 關(guān)閉防火墻（兩臺(tái)都要關(guān)）
Master：
systemctl stop firewalld
Slave：
systemctl stop firewalld
5. 安裝并配置NTP服務(wù)，用于時(shí)間同步
Master：
yum install -y ntp
#修改配置文件，在末尾添加兩條配置
vim /etc/ntp.conf
server 127.127.1.0
fudge 127.127.1.0 startum 10
#啟動(dòng)服務(wù)并設(shè)置開機(jī)自啟
systemctl start ntpd
systemctl enable ntpd
Slave：
yum install -y ntpdate
ntpdate master
6. 配置免密碼登錄（只配置從節(jié)點(diǎn)到主節(jié)點(diǎn)即可）
Master：
ssh-keygen
ssh-copy-id master
ssh-copy-id slave
7. 創(chuàng)建Hadoop目錄
mkdir /opt/Hadoop
cd /opt/Hadoop/
8. 將jdk和Hadoop上傳到目錄下
9. 安裝和配置jdk
#將jdk安裝包解壓
tar -zxvf jdk-8u162-linux-x64.tar.gz
#編輯/etc/profile文件，配置環(huán)境變量
vim /etc/profile
export JAVE_HOME=/opt/Hadoop/jdk1.8.0_162
export PATH=$PATH:$JAVE_HOME/bin
#刷新環(huán)境變量，使修改的變量生效
source /etc/profile
#驗(yàn)證是否安裝成功
java -version
10. 安裝Hadoop
#解壓Hadoop的安裝包
tar -zxvf hadoop-2.7.1.tar.gz
#編輯/etc/profile文件，配置環(huán)境變量
vim /etc/profile
export HADOOP_HOME=/opt/Hadoop/hadoop-2.7.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
#刷新環(huán)境變量，使修改的變量生效
source /etc/profile
#驗(yàn)證是否安裝成功
hadoop version
11. 修改Hadoop的配置文件
#進(jìn)入到/opt/Hadoop/hadoop-2.7.1/etc/hadoop下
cd hadoop-2.7.1/etc/hadoop/
#修改core-site.xml
vim core-site.xml
<configuration>
<property>
<name>fs.defaultFSname>
<value>hdfs://master:9000value>
property>
<property>
<name>hadoop.tmp.dirname>
<value>/opt/hadoop/hadoop-2.7.1/hdfsvalue>
property>
configuration>
#修改hdfs-site.xml
vim hdfs-site.xml
<configuration>
<property>
<name>dfs.replicationname>
<value>2value>
property>
<property>
<name>dfs.namenode.secondary.http-addressname>
<value>slave:9001value>
property>
configuration>
#修改mapred-site.xml.template
vim mapred-site.xml.template
<configuration>
<property>
<name>mapreduce.framework.namename>
<value>yarnvalue>
property>
configuration>
#修改yarn-site.xml
vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostnamename>
<value>mastervalue>
property>
<property>
<name>yarn.nodemanager.aux-servicesname>
<value>mapreduce_shufflevalue>
property>
configuration>
#修改slaves文件
vim slaves
master
slave
12. 將修改好的環(huán)境復(fù)制到從節(jié)點(diǎn)上
#將jdk復(fù)制到從節(jié)點(diǎn)
scp -r /opt/Hadoop/jdk1.8.0_162/ slave:/opt/Hadoop/jdk1.8.0_162/
#將Hadoop復(fù)制到從節(jié)點(diǎn)
scp -r /opt/Hadoop/hadoop-2.7.1/ slave:/opt/Hadoop/
#將環(huán)境變量復(fù)制到從節(jié)點(diǎn)上
scp /etc/profile slave:/etc/
13. 格式化Hadoop
14. 啟動(dòng)
start-all.sh
15. 驗(yàn)證啟動(dòng)情況
[root@master Hadoop]# jps 21235 DataNode 21588 NodeManager 21894 Jps 21112 NameNode 21486 ResourceManager [root@slave bin]# ./jps 4849 DataNode 5012 NodeManager 5255 Jps 4943 ondaryNameNode
16. 可通過(guò)WEB瀏覽器可視化驗(yàn)證是否服務(wù)已成功開啟
通過(guò)訪問(wèn)192.168.163.128:50070可查看主節(jié)點(diǎn)hadoopm的dfs的情況
問(wèn)題：
在安裝Hadoop配置環(huán)境變量后，在驗(yàn)證是否安裝成功時(shí)執(zhí)行hadoop version命令時(shí)提示Error: JAVA_HOME is not set and could not be found
解決辦法：
首先查看自己配置的JAVA_HOME是否配置正確
如果沒(méi)問(wèn)題就需要進(jìn)入到hadoop-env.sh中重新聲明下JAVA_HOME
該文件在hadoop-2.7.1/etc/hadoop下
更多精彩干貨分享
點(diǎn)擊下方名片關(guān)注
IT那活兒
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/129802.html
閱讀 1356·2023-01-11 13:20
閱讀 1707·2023-01-11 13:20
閱讀 1215·2023-01-11 13:20
閱讀 1906·2023-01-11 13:20
閱讀 4165·2023-01-11 13:20
閱讀 2757·2023-01-11 13:20
閱讀 1402·2023-01-11 13:20
閱讀 3671·2023-01-11 13:20
