摘要：按打開(kāi)終端窗口，執(zhí)行如下命令安裝并設(shè)置免密登陸注意每次配置時(shí)，需要注意當(dāng)前目錄為。的配置文件位于中，偽分布式需要修改個(gè)配置文件和。的配置文件是格式，每個(gè)配置以聲明的和的方式來(lái)實(shí)現(xiàn)。

1.創(chuàng)建Hadoop用戶
三部曲：添加用戶，設(shè)置密碼，給該用戶設(shè)置管理員權(quán)限
為 hadoop 用戶增加管理員權(quán)限，方便部署，避免一些對(duì)新手來(lái)說(shuō)比較棘手的權(quán)限問(wèn)題

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo

2.登陸hadoop用戶后，更新apt
當(dāng)前用戶為hadoop，我們先更新一下 apt，后續(xù)我們使用 apt 安裝軟件，如果沒(méi)更新可能有一些軟件安裝不了。按 ctrl+alt+t 打開(kāi)終端窗口，執(zhí)行如下命令：

sudo apt-get update

3.安裝ssh并設(shè)置ssh免密登陸
注意：每次配置時(shí)，需要注意當(dāng)前目錄為hadoop。
集群、單節(jié)點(diǎn)模式都需要用到 SSH 登陸（類(lèi)似于遠(yuǎn)程登陸，你可以登錄某臺(tái) Linux 主機(jī)，并且在上面運(yùn)行命令），Ubuntu 默認(rèn)已安裝了 SSH client，此外還需要安裝 SSH server：

hadoop@master:~$sudo apt-get install openssh-server
//設(shè)置免密登陸，下面命令將創(chuàng)建一個(gè)新的密鑰
ssh-keygen -t rsa -P ""

如下圖：

并將生成的密鑰加入到授權(quán)中：

hadoop@master:~$cat /home/hadoop/.ssd/id_rsa.pub >> /home/hadoop/.ssh/authorized_keys

#測(cè)試SSH設(shè)置通過(guò)“hadoop”用戶連接到locahost,就是先su hadoop，然后使用ssh
hadoop@master:~$ssh localhost

4.安裝java

先檢查 Ubuntu 操作系統(tǒng)的架構(gòu)是32位還是64位

xugui@master:~$file /sbin/init

然后安裝相應(yīng)的jdk,例如，jdk-8-linux-x64.tar.gz
在本教程中，我們將提取的下載文件到 /usr/local ，如下命令：

xugui@master:~$ sudo tar -xvf jdk-8u60-linux-64.tar.gz -C /usr/local
#添加環(huán)境變量
vim /etc/porfile

添加下面內(nèi)空到系統(tǒng)變量，即 /etc/profile 文件的結(jié)束

JAVA_HOME=/usr/local/jdk1.8.0_60
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin
export JAVA_HOME
export PATH

現(xiàn)在讓 Ubuntu 知道 JDK/JRE 的位置

xugui@master:~$ sudo update-alternatives --install "/usr/bin/java" "java" "/usr/local/jdk1.8.0_60/bin/java" 1
xugui@master:~$ sudo update-alternatives --install "/usr/bin/javac" "javac" "/usr/local/jdk1.8.0_60/bin/javac" 1
xugui@master:~$ sudo update-alternatives --install "/usr/bin/javaws" "javaws" "/usr/local/jdk1.8.0_60/bin/javaws" 1

告訴 Ubuntu 我們安裝的即 jdk1.8.0_60 必須是默認(rèn)的Java

xugui@master:~$ sudo update-alternatives --set java /usr/local/jdk1.8.0_60/bin/java
xugui@master:~$ sudo update-alternatives --set javac /usr/local/jdk1.8.0_60/bin/javac
xugui@master:~$ sudo update-alternatives --set javaws /usr/local/jdk1.8.0_60/bin/javaws

最后查看Java的版本：java -version

5.下載并安裝hadoop
去hadoop官網(wǎng)下載hadoop-2.6.0.tar.gz
我們選擇將 Hadoop 安裝至 /usr/local/ 中：

sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz -C /usr/local    # 解壓到/usr/local中
cd /usr/local/
sudo mv ./hadoop-2.6.0/ ./hadoop            # 將文件夾名改為hadoop
sudo chown -R hadoop ./hadoop       # 修改文件權(quán)限

Hadoop偽分布式配置
添加環(huán)境變量:vim ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop
export JAVA_HOME=/usr/local/jdk1.8.0_60
export PATH=$PATH:$HADOOP_HOME/bin

然后 source ~/.bashrc

配置關(guān)聯(lián)HDFS,設(shè)置 JAVA_HOME 在文件 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 中

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

#添加jdk
export JAVA_HOME=/usr/local/jdk1.8.0_60

Hadoop 可以在單節(jié)點(diǎn)上以偽分布式的方式運(yùn)行，Hadoop 進(jìn)程以分離的 Java 進(jìn)程來(lái)運(yùn)行，節(jié)點(diǎn)既作為 NameNode 也作為 DataNode，同時(shí)，讀取的是 HDFS 中的文件。

Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中，偽分布式需要修改2個(gè)配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每個(gè)配置以聲明 property 的 name 和 value 的方式來(lái)實(shí)現(xiàn)。

修改配置文件 ：core-site.xml
vim  /usr/local/hadoop/etc/hadoop/core-site.xml 


    
        hadoop.tmp.dir
        file:/usr/local/hadoop/tmp
        Abase for other temporary directories.
    
    
        fs.defaultFS
        hdfs://localhost:9000
    


#修改配置文件 hdfs-site.xml：

vim  /usr/local/hadoop/etc/hadoop/hdfs-site.xml


    
        dfs.replication
        1
    
    
        dfs.namenode.name.dir
        file:/usr/local/hadoop/tmp/dfs/name
    
    
        dfs.datanode.data.dir
        file:/usr/local/hadoop/tmp/dfs/data
    

Map Reduce 配置

#修改配置文件： mapred-site.xml
vim /usr/local/hadoop/etc/hadoop/mapred-site.xml


    
        mapreduce.jobtracker.address
        localhost:9001
    

在hadoop用戶下，先用ssh localhost，然后格式化hdfs:

#./bin/hdfs是相對(duì)路徑，就是先cd到/usr/local/hadoop目錄下
hadoop@master:~$./bin/hdfs namenode -format

顯示格式化成功

#./sbin同上是相對(duì)路徑，啟動(dòng)hdfs和
./sbin/start-dfs.sh
./sbin/start-yarn.sh

#然后輸入jps，查看是否啟動(dòng)成功
jps

如下圖：

終止這兩個(gè)守護(hù)進(jìn)程hdfs和yarn

./sbin/stop-dfs.sh
./sbin/stop-yarn.sh

到目前為止，偽分布式環(huán)境已經(jīng)搭建成功了。
我也是新手，寫(xiě)個(gè)教程總結(jié)一下，然后也是踩了不少坑過(guò)來(lái)的，可以參考一下以下兩個(gè)教程：
http://dblab.xmu.edu.cn/blog/...
https://wizardforcel.gitbooks...