摘要:命令如果是集群做這一步將上的放到其他的目錄下。命令遠(yuǎn)程主機(jī)用戶名遠(yuǎn)程主機(jī)名或存放路徑。修改權(quán)限,命令測(cè)試是否成功輸入用戶名密碼,然后退出,再次不用密碼,直接進(jìn)入系統(tǒng)。
①修改主機(jī)名
hostnamectl set-hostname hadoop00
②添加hadoop 用戶
創(chuàng)建hadoop 用戶
[root@hadoop00 ~]# adduser hadoop
為hadoop用戶設(shè)置密碼
[root@hadoop00 ~]# passwd hadoop
為hadoop用戶設(shè)置root權(quán)限 在sudoers中添加下面內(nèi)容
[root@hadoop00 ~]# vim /etc/sudoers
hadoop ALL=(ALL) ALL?
③配置免密碼登陸
-- 配置ssh,實(shí)現(xiàn)無密碼登陸
每臺(tái)虛擬機(jī)上,使用
ssh-keygen -t rsa
一路按回車就行了。
打開~/.ssh
[hadoop@hadoop001 .ssh]$ sudo cat id_rsa.pub >> authorized_keys
①在master上將公鑰放到authorized_keys里。命令:sudo cat id_rsa.pub >> authorized_keys
② 如果是集群做這一步 將master上的authorized_keys放到其他linux的~/.ssh目錄下。
命令:sudo scp authorized_keys [email protected]:~/.ssh
sudo scp authorized_keys 遠(yuǎn)程主機(jī)用戶名@遠(yuǎn)程主機(jī)名或ip:存放路徑。
③修改authorized_keys權(quán)限,命令:chmod 644 authorized_keys
④測(cè)試是否成功
ssh hadoop00 輸入用戶名密碼,然后退出,再次ssh hadoop00不用密碼,直接進(jìn)入系統(tǒng)。這就表示成功了。
④下載jdk 和 hadoop 放到 ~/software目錄下 然后解壓到 ~/app目錄下
tar -zxvf 壓縮包名字 -C ~/app/
⑤配置環(huán)境變量
vi ~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/home/hadoop/app/hadoop......
export PATH=$HADOOP_HOME/bin:$PATH
#保存退出后
source ~/.bash_profile
⑥進(jìn)入到解壓后的hadoop目錄
cd etc/hadoop
vi hadoop-env.sh
#找到下面內(nèi)容添加java home
export_JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
fs.default.name
hdfs://hadoop000:8020
dfs.namenode.name.dir
/home/hadoop/app/tmp/dfs/name
dfs.datanode.data.dir
/home/hadoop/app/tmp/dfs/data
dfs.replication
1
cp mapred-site.xml.template mapred-site.xml
? 在mapred-site.xml 的configuration 節(jié)點(diǎn)中添加
mapreduce.framework.name
yarn
yarn.nodemanager.aux-services
mapreduce_shuffle
⑦來到hadoop的bin目錄
./hadoop namenode -format (這個(gè)命令只運(yùn)行一次)
⑧ 啟動(dòng)hdfs 進(jìn)入到 sbin
./start-dfs.sh
⑨ 啟動(dòng)啟動(dòng)yarn 在sbin中
./start-yarn.sh
啟動(dòng)后 jps 看到 說明偽分布式搭建成功
6145 DataNode
6514 ResourceManager
6612 NodeManager
67065 Jps
6282 SecondaryNameNode
6046 NameNode
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/125934.html
摘要:總之,項(xiàng)目還算很受歡迎吧,這篇博客將介紹項(xiàng)目的升級(jí)版。一項(xiàng)目介紹將打包到鏡像中,就可以快速地在單個(gè)機(jī)器上搭建集群,這樣可以方便新手測(cè)試和學(xué)習(xí)。之前的版本使用為集群提供服務(wù),由于網(wǎng)絡(luò)功能更新,現(xiàn)在并不需要了。運(yùn)行參考第二部分啟動(dòng),并運(yùn)行。 摘要: kiwenlau/hadoop-cluster-docker是去年參加Docker巨好玩比賽開發(fā)的,得了二等獎(jiǎng)并贏了一塊蘋果手表,目前這個(gè)項(xiàng)目...
摘要:由于最近在做一個(gè)小比賽,,需要搭建數(shù)據(jù)處理平臺(tái),,由于數(shù)據(jù)量比較大,因此選擇了,本人并不是很熟悉這個(gè)平臺(tái),,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會(huì)用到。 ?由于最近在做一個(gè)小比賽,,需要搭建數(shù)據(jù)處理平臺(tái),,由于數(shù)據(jù)量比較大,因此選擇了Hadoop,本人并不是很熟悉這個(gè)平臺(tái),,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會(huì)用到。搭建過程并不困難,由于手上沒...
閱讀 3539·2023-04-25 20:09
閱讀 3740·2022-06-28 19:00
閱讀 3061·2022-06-28 19:00
閱讀 3083·2022-06-28 19:00
閱讀 3176·2022-06-28 19:00
閱讀 2881·2022-06-28 19:00
閱讀 3050·2022-06-28 19:00
閱讀 2638·2022-06-28 19:00