常用操作托管Hadoop集群 UHadoop

ernest.wang 發(fā)布于2022-07-12 17:05 / 1862人閱讀

摘要：查看上的歷史日志查看上的歷史日志任務(wù)的日志在任務(wù)運行結(jié)束之后會上傳到上，當日志文件過大無法通過來查看時，可以通過將日志文件從上下載下來查看。掛載在允許的主機上執(zhí)行

常用操作

本篇目錄

應用的Web接口

Hadoop 提供了基于 Web 的用戶界面，可通過它查看您的 Hadoop 集群。Web 服務(wù)會在主節(jié)點上運行（Active NameNode或者Active ResourceManager），綁定外網(wǎng)IP,開放對應應用防火墻端口后可以查看。

web hdfs

可以通過在瀏覽器地址欄中輸入 http://外網(wǎng)ip:50070 來查看hdfs的基本信息。

web yarn

可以通過 http://外網(wǎng)IP:23188/cluster 查看yarn resource manager 信息。

注解：由于resource manager可以動態(tài)切換，當節(jié)點轉(zhuǎn)換為StandBy節(jié)點時，webyarn服務(wù)無法切換到active節(jié)點。

web hbase

可以通過 http://外網(wǎng)IP:60010/master-status 查看hbase的基本信息。

查看日志

1.查看節(jié)點上的日志

可在產(chǎn)品界面選擇服務(wù)管理，查看相應服務(wù)運行的節(jié)點位置，登陸對應節(jié)點后進入查看所啟動服務(wù)的服務(wù)日志。

各服務(wù)日志所在位置如下所示：

位置說明/var/log/hadoop-hdfshdfs服務(wù)相關(guān)日志/var/log/hadoop-yarnyarn服務(wù)日志/var/log/hadoop-yarnyarn服務(wù)日志/var/log/hbasehbase服務(wù)日志/var/log/hivehive服務(wù)日志/var/log/huehue服務(wù)日志/var/log/zookeeperzookeeper服務(wù)日志 2.提交到y(tǒng)arn的任務(wù)日志

用戶可以在web yarn頁面查看提交到y(tǒng)arn上的任務(wù)日志詳情。由于任務(wù)日志界面需支持能訪問集群各個節(jié)點，故可在UCloud云平臺中的任意一臺綁定外網(wǎng)IP的云主機或UHadoop的Master節(jié)點上，配置代理或者VPN，以便能夠訪問到集群中的每個節(jié)點。

a.配置vpn

可參考配置openvpn文檔配置vpn。

注解：配置完成后，可在訪問端加上集群節(jié)點中最新的host文件即可（登陸集群中任意節(jié)點，查看/etc/hosts）。

b.配置Nginx反向代理服務(wù)端配置

安裝Nginx

yum install nginx -y

修改配置

新建/etc/nginx/conf.d/proxy.conf 文件中添加如下配置

         server {
             listen   8889;
             client_body_timeout 60000;
             client_max_body_size 1024m;
             send_timeout   60000;
             client_header_buffer_size 16k;
             large_client_header_buffers 4 64k;
             proxy_headers_hash_bucket_size 1024;
             proxy_headers_hash_max_size 4096;
             proxy_read_timeout 60000;
             proxy_send_timeout 60000;
             location / {
             resolver 127.0.0.1;
             proxy_pass http://$http_host$request_uri;
             }
         }

3.啟動nginx服務(wù)

service nginx restart

4.啟動域名服務(wù)

service dnsmasq restart

集群節(jié)點發(fā)生變化時，需要重新啟動這個服務(wù)。

訪問端配置

1.在訪問的網(wǎng)頁端配置代理

2.配置hosts

需要在hosts中添加代理服務(wù)器的/etc/hosts文件中節(jié)點的host信息。

例如：

10.19.43.21 uhadoop-wpmitd-master1
10.19.20.134 uhadoop-wpmitd-core1
10.19.133.58 uhadoop-wpmitd-master2

用戶登錄web yarn頁面可通過任務(wù)id 來搜索對應任務(wù)，查看任務(wù)狀態(tài)，并點擊任務(wù)，獲取任務(wù)日志，查看詳情進行分析。

3.查看hdfs上的歷史日志

yarn任務(wù)的日志在任務(wù)運行結(jié)束之后會上傳到hdfs上，當日志文件過大無法通過web來查看時，可以通過將日志文件從hdfs上下載下來查看。

日志文件的目錄是：`hdfs://Ucluster/var/log/hadoop-yarn/apps/$SUBMITUSER/logs`

注解：$SUBMITUSER是當前提交用戶的名。

配置NFS掛載hdfs到本地

1.修改配置

修改master節(jié)點下下面兩個配置。

core-site.xml

    <property>
        <name>hadoop.proxyuser.nfsserver.groupsname>
        <value>*value>
        <description>nfsserver有哪些group的權(quán)限description>
    property>
    <property>
        <name>hadoop.proxyuser.nfsserver.hostsname>
        <value>hostnamevalue>
        <description>允許啟動nfsserver的主機名description>
    property>

修改hdfs-site.xml

    <property>
        <name>nfs.dump.dirname>
        <value>/tmp/.hdfs-nfsvalue>
    property>
    <property>
        <name>nfs.rtmaxname>
        <value>1048576value>
        <description>單次讀請求最大字節(jié)數(shù)description>
    property>
    <property>
        <name>nfs.wtmaxname>
        <value>65536value>
        <description>單次寫訪問最大字節(jié)數(shù) description>
    property>
    <property>
        <name>nfs.exports.allowed.hostsname>
        <value>* rwvalue>
        <description>配置掛載主機對文件的訪問權(quán)限，例如”192.168.0.0/22 rw ; host.*.example.com ; host1.test.org ro;”description>
    property>

2.啟動nfs，在1中配置的允許啟動nfs的主機上執(zhí)行下面操作

    ${HADOOP_HOME}/sbin/hadoop-daemon.sh start portmap
    *一定是root用戶才有權(quán)限綁定端口。
    ${HADOOP_HOME}/sbin/hadoop-daemon.sh start nfs3
    *一定是hadoop用戶啟動，才有所有文件的訪問權(quán)限。
    showmount -e hostname
    Export list for hostname:
    / *

3.掛載

在nfs.exports.allowed.hosts允許的主機上執(zhí)行

    mkdir -p /data/hdfsnfs
    mount -t nfs -o vers=3,proto=tcp,nolock,noacl hostname:/ /data/hdfsnfs

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/126770.html

發(fā)表評論

登陸后可評論

0條評論

ernest.wang

男|高級講師

我要關(guān)注我要私信

TA的文章

DeepSeek R1系列模型一鍵部署教程，支持云端免費體驗！

閱讀 836·2025-02-07 13:29
特朗普勝任，將對跨境電商賣家產(chǎn)生哪些影響？

閱讀 644·2024-11-07 18:25
幻獸帕魯常見問題匯總

閱讀 131094·2024-02-01 10:43
在Linux和Windows上部署帕魯?shù)膮^(qū)別？

閱讀 1060·2024-01-31 14:58
怎么重啟幻獸帕魯云服務(wù)器？

閱讀 1022·2024-01-31 14:54
幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

閱讀 83215·2024-01-29 17:11
小白必讀教程，幻獸帕魯服務(wù)器手動部署教程 - Windows篇

閱讀 3497·2024-01-25 14:55
A800GPU租用-A800顯卡

閱讀 2217·2023-06-02 13:36

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

常用操作托管Hadoop集群 UHadoop

常用操作

本篇目錄

應用的Web接口

查看日志

配置NFS掛載hdfs到本地

相關(guān)文章

**托管Hadoop集群快速上手 UHadoop**

**Python開發(fā)指南托管Hadoop集群 UHadoop**

**元數(shù)據(jù)管理托管Hadoop集群 UHadoop**

**基本操作托管Hadoop集群 UHadoop**

**配置openvpn 托管Hadoop集群 UHadoop**

發(fā)表評論

0條評論

ernest.wang

男|高級講師

TA的文章

DeepSeek R1系列模型一鍵部署教程，支持云端免費體驗！

特朗普勝任，將對跨境電商賣家產(chǎn)生哪些影響？

幻獸帕魯常見問題匯總

在Linux和Windows上部署帕魯?shù)膮^(qū)別？

怎么重啟幻獸帕魯云服務(wù)器？

幻獸帕魯自建服務(wù)器存檔備份及回檔 - windows篇

小白必讀教程，幻獸帕魯服務(wù)器手動部署教程 - Windows篇

A800GPU租用-A800顯卡

最新活動

資訊專欄INFORMATION COLUMN

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

常用操作 托管Hadoop集群 UHadoop

本篇目錄

相關(guān)文章

發(fā)表評論

0條評論

男|高級講師

TA的文章

最新活動

上云采購季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺、長期優(yōu)惠，快來選購！

常用操作托管Hadoop集群 UHadoop