成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

hadoop搭建

Tecode / 1930人閱讀

摘要:命令如果是集群做這一步將上的放到其他的目錄下。命令遠(yuǎn)程主機(jī)用戶名遠(yuǎn)程主機(jī)名或存放路徑。修改權(quán)限,命令測(cè)試是否成功輸入用戶名密碼,然后退出,再次不用密碼,直接進(jìn)入系統(tǒng)。

  • root用戶密碼 itcast
  • hadoop用戶密碼 hadoop
  • ①修改主機(jī)名

    hostnamectl set-hostname hadoop00
  • ②添加hadoop 用戶

    創(chuàng)建hadoop 用戶
    [root@hadoop00 ~]# adduser hadoop
    為hadoop用戶設(shè)置密碼 
    [root@hadoop00 ~]# passwd hadoop   
    為hadoop用戶設(shè)置root權(quán)限  在sudoers中添加下面內(nèi)容
    [root@hadoop00 ~]# vim /etc/sudoers
    hadoop ALL=(ALL) ALL?
  • ③配置免密碼登陸

    -- 配置ssh,實(shí)現(xiàn)無密碼登陸
    每臺(tái)虛擬機(jī)上,使用   
    ssh-keygen -t rsa    
    一路按回車就行了。
    打開~/.ssh 
    [hadoop@hadoop001 .ssh]$ sudo cat id_rsa.pub >> authorized_keys
     ①在master上將公鑰放到authorized_keys里。命令:sudo cat id_rsa.pub >> authorized_keys
     ② 如果是集群做這一步 將master上的authorized_keys放到其他linux的~/.ssh目錄下。
      命令:sudo scp authorized_keys [email protected]:~/.ssh       
       sudo scp authorized_keys 遠(yuǎn)程主機(jī)用戶名@遠(yuǎn)程主機(jī)名或ip:存放路徑。
     ③修改authorized_keys權(quán)限,命令:chmod 644 authorized_keys
     ④測(cè)試是否成功
     ssh hadoop00 輸入用戶名密碼,然后退出,再次ssh hadoop00不用密碼,直接進(jìn)入系統(tǒng)。這就表示成功了。
    
    
  • ④下載jdk 和 hadoop 放到 ~/software目錄下 然后解壓到 ~/app目錄下

    tar -zxvf 壓縮包名字 -C ~/app/
  • ⑤配置環(huán)境變量

    vi ~/.bash_profile
    export JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
    export PATH=$JAVA_HOME/bin:$PATH
    export HADOOP_HOME=/home/hadoop/app/hadoop......
    export PATH=$HADOOP_HOME/bin:$PATH
    
    #保存退出后
    source ~/.bash_profile
  • ⑥進(jìn)入到解壓后的hadoop目錄

    • 修改hadoop-env.sh
    cd etc/hadoop
    vi hadoop-env.sh
    #找到下面內(nèi)容添加java home
    export_JAVA_HOME=/home/hadoop/app/jdk1.8.0_91
    • 修改 core-site.xml 在 節(jié)點(diǎn)中添加
    
      fs.default.name
      hdfs://hadoop000:8020
    
    • 修改hdfs-site.xml 在 configuration節(jié)點(diǎn)中添加
    
        dfs.namenode.name.dir
        /home/hadoop/app/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        /home/hadoop/app/tmp/dfs/data
    
    
        dfs.replication
        1
    
    • 修改 mapred-site.xml
    • 默認(rèn)沒有這個(gè) 從模板文件復(fù)制
    cp mapred-site.xml.template mapred-site.xml

? 在mapred-site.xml 的configuration 節(jié)點(diǎn)中添加


    mapreduce.framework.name
    yarn
    • 修改yarn-site.xml configuration 節(jié)點(diǎn)中添加
    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    • ⑦來到hadoop的bin目錄

      ./hadoop namenode -format (這個(gè)命令只運(yùn)行一次)
    • ⑧ 啟動(dòng)hdfs 進(jìn)入到 sbin

      ./start-dfs.sh
    • ⑨ 啟動(dòng)啟動(dòng)yarn 在sbin中

      ./start-yarn.sh
    • 啟動(dòng)后 jps 看到 說明偽分布式搭建成功

      6145 DataNode
      6514 ResourceManager
      6612 NodeManager
      67065 Jps
      6282 SecondaryNameNode
      6046 NameNode
      

    文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

    轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/125934.html

    相關(guān)文章

    • 基于Docker搭建Hadoop集群之升級(jí)版

      摘要:總之,項(xiàng)目還算很受歡迎吧,這篇博客將介紹項(xiàng)目的升級(jí)版。一項(xiàng)目介紹將打包到鏡像中,就可以快速地在單個(gè)機(jī)器上搭建集群,這樣可以方便新手測(cè)試和學(xué)習(xí)。之前的版本使用為集群提供服務(wù),由于網(wǎng)絡(luò)功能更新,現(xiàn)在并不需要了。運(yùn)行參考第二部分啟動(dòng),并運(yùn)行。 摘要: kiwenlau/hadoop-cluster-docker是去年參加Docker巨好玩比賽開發(fā)的,得了二等獎(jiǎng)并贏了一塊蘋果手表,目前這個(gè)項(xiàng)目...

      Zoom 評(píng)論0 收藏0
    • Hadoop大數(shù)據(jù)處理平臺(tái)的搭建

      摘要:由于最近在做一個(gè)小比賽,,需要搭建數(shù)據(jù)處理平臺(tái),,由于數(shù)據(jù)量比較大,因此選擇了,本人并不是很熟悉這個(gè)平臺(tái),,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會(huì)用到。 ?由于最近在做一個(gè)小比賽,,需要搭建數(shù)據(jù)處理平臺(tái),,由于數(shù)據(jù)量比較大,因此選擇了Hadoop,本人并不是很熟悉這個(gè)平臺(tái),,因此搭建過程中遇到了許多問題,,所以想記錄一下,以后可能會(huì)用到。搭建過程并不困難,由于手上沒...

      jone5679 評(píng)論0 收藏0

    發(fā)表評(píng)論

    0條評(píng)論

    最新活動(dòng)
    閱讀需要支付1元查看
    <