CDH5.5.1環(huán)境部署
點擊上方“IT那活兒”公眾號，關(guān)注后了解更多內(nèi)容，不管IT什么活兒，干就完了?。?！Hadoop采用的是Cloudera公司（hadoop的分發(fā)商）的CDH5版本。操作系統(tǒng)為Centos 6.5版本。
Hadoop安裝采用YUM安裝的方式。由于大多數(shù)安裝hadoop的設(shè)備都在內(nèi)網(wǎng)環(huán)境中，所以需要配置自定義的YUM軟件源。操作系統(tǒng)版本：Centos 6.5 64位Hadoop是一個分布式的系統(tǒng)，由多臺設(shè)備共同提供服務(wù)。
每臺設(shè)備上需要安裝不同的hadoop服務(wù)。部署規(guī)劃階段根據(jù)hadoop服務(wù)特點和設(shè)備配置情況，對hadoop服務(wù)的安裝情況作出整體規(guī)劃，將hadoop相應(yīng)的服務(wù)安裝在合適的設(shè)備上。
上圖展示了hadoop的服務(wù)以及運行過程中需要的系統(tǒng)服務(wù)。
- NFS Server和DNS Server可以不使用，不使用不會影響hadoop正常運行。NFS Server會防止數(shù)據(jù)丟失；DNS Server會降低配置的復(fù)雜度，尤其在設(shè)備數(shù)量較多的時候。
- DataNode所在設(shè)備需要掛載多個磁盤，提高數(shù)據(jù)寫入和讀取數(shù)據(jù)。DataNode不要和NameNode、SecondaryNameNode、ResourceManager、Standby NameNode、Standby ResourceManager安裝在同一臺設(shè)備上。
- NameNode、SecondaryNameNode、ResourceManager可以安裝在一臺設(shè)備上。這樣會消耗設(shè)備較多的硬件資源。
- 使用NameNode的HA方式就不需要安裝SecondaryNameNode。Standby NameNode不能和NameNode安裝在一臺設(shè)備上。
- ResourceManagerHA方式中Standby ResourceManager不能和ResourceManager安裝在一臺設(shè)備上。
- 安裝服務(wù)器和管理監(jiān)控服務(wù)可以和其他服務(wù)共享一臺設(shè)備。
此時應(yīng)該對hadoop的安裝情況作出規(guī)劃。hadoop一旦被部署完成，結(jié)構(gòu)的調(diào)整將會很難進(jìn)行而且有一定的風(fēng)險。1. 安裝操作系統(tǒng)
在運行hadoop服務(wù)的每臺設(shè)備上安裝linux操作系統(tǒng)。操作系統(tǒng)使用Centos6.5的64位操作系統(tǒng)。所有設(shè)備的操作系統(tǒng)要求一致。操作系統(tǒng)安裝完成后，對設(shè)備進(jìn)行網(wǎng)絡(luò)配置，使得各個設(shè)備之間的網(wǎng)絡(luò)通暢。使用IPv4的IP地址格式。在設(shè)備上掛載磁盤。在DataNode設(shè)備上掛載大容量的磁盤，最好一個設(shè)備上掛載多塊磁盤。最好能夠在NameNode、SecondaryNameNode設(shè)備掛載NFS磁盤系統(tǒng)。管理監(jiān)控服務(wù)也許一定的磁盤空間，大約需要50G的磁盤空間。
操作系統(tǒng)的介質(zhì)包需要部署人員去下載，介質(zhì)包是：2. 設(shè)置主機名稱
Hadoop服務(wù)是通過主機名稱進(jìn)行網(wǎng)絡(luò)通訊的。安裝hadoop服務(wù)的設(shè)備都需要設(shè)置主機名稱。 編輯/etc/sysconfig/network文件的HOSTNAME設(shè)置主機名。
3. 時鐘同步設(shè)置
hadoop服務(wù)的設(shè)備之間要保持時間一致。設(shè)置統(tǒng)一時鐘同步服務(wù)。每個設(shè)備上要啟動ntpd服務(wù)，啟動ntpd之前，每個設(shè)備先做一次手動的同步操作。
4. 關(guān)閉防火墻
hadoop服務(wù)安裝的所有設(shè)備上都要關(guān)閉防火墻設(shè)置。service iptables stop
chgconfig iptables off
5. 關(guān)閉SeLinux
hadoop服務(wù)的所有設(shè)備上關(guān)閉SeLinux。
6. 設(shè)置主機路由
在hadoop服務(wù)的設(shè)備上設(shè)置主機名與IP地址路由，確保任意兩個設(shè)置之間能夠通過主機名能夠進(jìn)行訪問。或者可以選擇設(shè)置設(shè)備的DNS為指定的DNS Server。建議使用DNS Server設(shè)置設(shè)備的DNS路由。
7. 設(shè)置root密碼
安裝過程中使用root用戶安裝，需要設(shè)置所有設(shè)備root用戶的密碼為相同的密碼。該密碼是在安裝的過程中使用，如果結(jié)束后可以修改該密碼。
8. 設(shè)置自定義YUM軟件源服務(wù)
在安裝服務(wù)器上設(shè)置自定義YUM軟件源。以下操作在安裝服務(wù)器上進(jìn)行：
- 安裝系統(tǒng)組件：createrepo。在操作系統(tǒng)安裝介質(zhì)中的Packages目錄下找到createrepo-0.9.9-18.el6.noarch安裝包使用rpm命令安裝。
- 將安裝介質(zhì)中的cdh5目錄復(fù)制到設(shè)備的/var/www/html目錄下面。
- 將安裝介質(zhì)中的cmd5目錄復(fù)制到設(shè)備的/var/www/html目錄下面。
- 將操作系統(tǒng)安裝介質(zhì)的Packages目錄復(fù)制到/var/www/html/os目錄下面。Packages目錄是操作系統(tǒng)的介質(zhì)包CentOS-6.5-x86_64-bin-DVD1.iso 中的Packages：
- 進(jìn)入/var/www/html/cdh5目錄，執(zhí)行命令
- 進(jìn)入/var/www/html/cm5目錄，執(zhí)行命令
- 進(jìn)入/var/www/html/os目錄，執(zhí)行命令
- 啟動http服務(wù)：service httpd start
9. 設(shè)置自定義YUM軟件源
在hadoop所有服務(wù)設(shè)備上設(shè)置安裝服務(wù)器為自定義YUM軟件源。1）進(jìn)入/etc/yum.repos.d目錄，創(chuàng)建hadoop.repo文件，編輯該文件：2）將/etc/yum.repos.d目錄中的其它的.repo文件（hadoop.repo之外的文件）刪除或者后綴名改為.bak
10. 重啟設(shè)備
將所有進(jìn)行設(shè)置的設(shè)備重新啟動，讓設(shè)置生效。如果安裝服務(wù)器上的http服務(wù)沒有設(shè)置開機啟動，還需要在安裝服務(wù)器上啟動http服務(wù)：service httpd start1. 安裝Cloudera Manager
將介質(zhì)中cloudera-manager-installer.bin文件復(fù)制到安裝監(jiān)控服務(wù)器的/opt目錄中，然后執(zhí)行下面的命令：./cloudera-manager-installer.bin --skip_repo_package=1
執(zhí)行命令后，會出現(xiàn)Cloudera Manager的安裝向?qū)В?/span>Cloudera Manager安裝結(jié)束后，出現(xiàn)提示界面。記下提示中的URL。2. 安裝部署CDH
在瀏覽器地址欄中輸入Cloudera Manager提示界面中的URL：http://192.168.XX.35:7180使用admin用戶登錄Cloudera Manager，admin用戶的初始密碼為：admin選擇Cloudera Express，繼續(xù)。指定集群中hadoop使用的所有主機。輸入主機名或者IP地址，每行一個，然后點擊搜索：- CDH版本：自定義存儲庫，輸入自定義YUM軟件源的cdh的url。
- Clouera Manager Agent：自定義存儲庫，輸入自定義YUM軟件源的cm的url。
使用root用戶安裝，所有主機的root用戶接受相同密碼，輸入root用戶的密碼。介質(zhì)的安裝階段，時間較長需要等待一段時間。選擇安裝的服務(wù)類型。自定義服務(wù)中選擇HDFS和YARN。選擇主機設(shè)備將被安裝的服務(wù)。根據(jù)前期的部署規(guī)劃將hadoop服務(wù)安裝在對應(yīng)的主機設(shè)備中。其中Cloudera Management Service安裝在安裝監(jiān)控服務(wù)器中。使用嵌入式數(shù)據(jù)庫，用來存儲Cloudera Manager的元數(shù)據(jù)。集群配置的Cloudera Management Service的配置使用默認(rèn)即可。HDFS和YARN配置：
- DataNode數(shù)據(jù)目錄：配置數(shù)據(jù)的存儲目錄。如果是多個磁盤，配置多個路徑。路徑之間使用逗號（,）分隔。
- NameNode數(shù)據(jù)目錄：是NameNode的元數(shù)據(jù)的保存目錄，可以是多個目錄。每個目錄中寫入相同的數(shù)據(jù)用于備份。多個目錄路勁使用逗號分隔。多個目錄中最好有一個是NFS系統(tǒng)的目錄用于備份。
- HDFS檢查點目錄：是SecondaryNameNode用戶合并元數(shù)據(jù)的工作目錄。也可以是多個目錄，多個目錄路徑是有逗號分隔。
- NodeManager本地目錄列表：MapReduce計算的中間結(jié)果的存儲目錄?？梢耘渲枚鄠€目錄多個目錄路徑是有逗號分隔。
注意：上述配置的路徑會在多個設(shè)備上創(chuàng)建相同的目錄，需要先在每個設(shè)備上創(chuàng)建相同目錄，而且創(chuàng)建的目錄能夠掛載到存儲。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/129357.html
