成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

HDFS配置Ranger 智能大數(shù)據(jù)平臺 USDP

ernest.wang / 2123人閱讀

摘要：填入規(guī)則如下圖所示配置代理參數(shù)配置代理參數(shù)在下方中配置代理參數(shù)如下配置完成后如下圖所示然后點擊按鈕，如果得到如下圖所示樣例，則表示成功。配置信息，如下圖所示配置權(quán)限類型配置權(quán)限類型配置權(quán)限可以分為兩種類別允許的權(quán)限拒絕的權(quán)限。

HDFS配置Ranger

本篇目錄

啟用 HDFS-Ranger 插件配置權(quán)限添加測試用戶編輯權(quán)限驗證權(quán)限配置

HDFS 作為底層存儲，本章節(jié)將以 HDFS 為例，進(jìn)行說明。

啟用 HDFS-Ranger 插件

1. 登陸NameNode所在集群節(jié)點并完成下述操作

首先需要分別在兩臺 NameNode 節(jié)點上開啟 HDFS Ranger 插件，并重啟集群，命令如下：

/srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/enable-hdfs-plugin.sh

注：可通過 USDP 控制臺查看 HDFS 相關(guān)組件中，NameNode1、NameNode2 分別運行在集群的哪些節(jié)點上。

此時會在當(dāng)前節(jié)點的如下目錄自動生成相關(guān)權(quán)限配置：

/srv/udp/1.0.0.0/hdfs/etc/hadoop/hdfs-site.xml
<property>
    <name>dfs.permissions.enabledname>
    <value>truevalue>
property>
<property>
    <name>dfs.permissionsname>
    <value>truevalue>
property>
<property>
    <name>dfs.namenode.inode.attributes.provider.classname>
    <value>org.apache.ranger.authorization.hadoop.RangerHdfsAuthorizervalue>
property>

并自動在該目錄下生成軟鏈接：

/srv/udp/1.0.0.0/hdfs/share/hadoop/hdfs/lib
ranger-hdfs-plugin-impl -> /srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/lib/ranger-hdfs-plugin-impl
ranger-hdfs-plugin-shim-1.2.0.jar -> /srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/lib/ranger-hdfs-plugin-shim-1.2.0.jar
ranger-plugin-classloader-1.2.0.jar -> /srv/udp/1.0.0.0/hdfs/ranger-hdfs-plugin/lib/ranger-plugin-classloader-1.2.0.jar

注意：此時，需要通過 USDP 控制臺重啟兩個NameNode

2. 在USDP控制臺完成兩個NameNode服務(wù)重啟

進(jìn)入左側(cè)導(dǎo)航欄 “服務(wù)管理”-“存儲類”-“HDFS” 中，點擊 “組件管理”，尋找到 “NameNode1”、“NameNode2” 組件后，點擊 “NameNode1”、“NameNode2” 組件對應(yīng)的 “操作” 欄 重啟 按鈕。

ranger-202011241002151124

配置權(quán)限

1. 訪問 Ranger Web UI 頁面

請在云端內(nèi)網(wǎng)環(huán)境中使用瀏覽器訪問 Ranger Web UI頁面。

2. 添加 HDFS-Service

在Service Manager頁面的 HDFS 條目中，點擊 + 按鈕進(jìn)行創(chuàng)建 Service，如下圖所示：

ranger-20201106131208683

進(jìn)入Create Service服務(wù)配置頁面，在 Service Name 輸入框中填入如下值：

ranger-hdfs-service

注意: 此處必須填寫此值！

ranger-20201106131359431

3. 配置 HDFS-Service 用戶名密碼

填入用戶名密碼為如下：

Username：hadoop
Password：hadoop
4. 配置 NameNode HA 參數(shù)

在 NameNode URL 中填入如下配置：

hdfs://usdp-xxx-master1:8020,hdfs://usdp-xxx-master2:8020

注意：請?zhí)鎿Q示例中主機(jī)名字符串中的“xxx”為正確的主機(jī)名字符串。

填入規(guī)則如下圖所示：

ranger-20201106131634840

5. 配置代理參數(shù)

在下方 Add New Configuration 中配置代理參數(shù)如下：

policy.download.auth.users: hadoop

配置完成后如下圖所示：

ranger-20201106131950006

然后點擊 Test Connection 按鈕，如果得到如下圖所示樣例，則表示成功。

ranger-20201106132041822

然后，點擊 Add 按鈕，此時Ranger Web UI的Service Manager頁面顯示如下：

ranger-202011242k385d789

添加測試用戶

1. 添加用戶

在 Ranger Web UI 中，點擊頂部導(dǎo)航欄 “Settings” 菜單，選擇“Users”標(biāo)簽頁，點擊頁面右側(cè)的 Add New User 添加測試用戶，如下圖所示：

ranger-20201106133930992

編輯內(nèi)容，完成后點擊 Save 按鈕保存，如下圖所示：

ranger-20201106134013185

注：Select Role 中，選擇 User 類型，而非 Admin 類型。

2. 在 Linux 中添加用戶

通過 ssh 在集群節(jié)點上，添加與上述配置相同的用戶test1，命令如下：

useradd test1
3. 驗證用戶當(dāng)前權(quán)限

使用如下命令，驗證剛添加的 test1 用戶是否擁有對應(yīng)權(quán)限：

su -s /bin/bash test1 -c "/srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -ls /"

返回結(jié)果如下：

drwxrwxr-x   - hadoop supergroup          0 2020-11-06 11:28 /flink-completed-jobs
drwxr-xr-x   - hadoop supergroup          0 2020-11-06 11:30 /hbase
drwxr-xr-x   - hadoop supergroup          0 2020-11-06 11:29 /kylin
drwxrwxr-x   - hadoop supergroup          0 2020-11-06 11:28 /spark-logs
drwxr-xr-x   - hadoop supergroup          0 2020-11-06 11:27 /tez
drwxrwx---   - hadoop supergroup          0 2020-11-06 11:28 /tmp
drwxr-xr-x   - hadoop supergroup          0 2020-11-06 11:28 /user

此時證明 test1 用戶對HDFS的根目錄擁有訪問權(quán)限。

編輯權(quán)限

接下來，以配置拒絕 test1 用戶訪問 HDFS 為例，進(jìn)行示例說明。

1. 進(jìn)入編輯頁面

如下圖所示，進(jìn)入HDFS條目的“ranger-hdfs-service”策略編輯頁面：

ranger-20201106132157001

2. 刪除默認(rèn)規(guī)則

首先，刪除Ranger默認(rèn)的權(quán)限策略，如下圖所示：

ranger-20201106132231930

3. 添加自定義規(guī)則

點擊右上角的 Add New Policy 即可添加自定義權(quán)限策略規(guī)則，如下圖所示：

ranger-20201106132317649

4. 配置 Policy Details

在 Policy Name 屬性中，建議鍵入比較有標(biāo)識度的規(guī)則名稱，例如：deny_test1_all，即，拒絕 test1 用戶所有對 HDFS 的操作。

同時，在 Resource Path 中輸入HDFS的根目錄：/ 并鍵入回車，同時，要確保 recursive 滑塊處于開啟狀態(tài)。

配置信息，如下圖所示：

ranger-20201106134404122

5. 配置權(quán)限類型

配置權(quán)限可以分為兩種類別：允許的權(quán)限、拒絕的權(quán)限。

本例中，以配置拒絕的權(quán)限為例進(jìn)行說明，即拒絕 test1 用戶對 HDFS 根目錄及其子目錄下的所有操作。參考如下 “配置拒絕權(quán)限” 所示進(jìn)行配置操作。

配置允許的權(quán)限，如下圖所示：

ranger-20201106132922759

配置拒絕的權(quán)限，如下圖所示：

ranger-20201106134453012

6. 查看配置完成的權(quán)限

完成上述配置項填寫后，點擊 Add 按鈕保存，即已完成添加自定義策略配置，并回到權(quán)限策略概覽頁面，如下圖所示：

ranger-20201106134520978

注：權(quán)限添加后，大約需要 1 分鐘左右即會生效。

驗證權(quán)限配置

接下來，通過 ssh 訪問集群中安裝了 HDFS 服務(wù)組件的“任意”節(jié)點，進(jìn)行 shell 操作來驗證權(quán)限是否生效。

試驗命令如下：

su -s /bin/bash test1 -c "/srv/udp/1.0.0.0/hdfs/bin/hdfs dfs -ls /"

若返回如下信息，說明當(dāng)前節(jié)點本地?zé)o“test1”用戶

su: user test2 does not exist

參見1.3.2節(jié)，執(zhí)行 “useradd test1”添加test1用戶后再重試上述命令，返回結(jié)果如下：

ls: Permission denied: user=test1, access=EXECUTE, inode="/"

此時證明權(quán)限配置已生效，test1用戶已無權(quán)訪問HDFS的任何目錄了。

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/127017.html

相關(guān)文章

  • 集群創(chuàng)建 智能大數(shù)據(jù)平臺 USDP

    摘要：點擊創(chuàng)建集群按鈕開始創(chuàng)建集群資源點擊創(chuàng)建集群按鈕開始創(chuàng)建集群資源創(chuàng)建集群創(chuàng)建集群設(shè)置地域和可用區(qū)信息設(shè)置地域和可用區(qū)信息請根據(jù)您的需要，在創(chuàng)建集群向?qū)е性O(shè)置新集群所歸屬的地域及可用區(qū)信息。 集群創(chuàng)建本篇目錄開始創(chuàng)建集群資源開始部署集群服務(wù)和組件智能大數(shù)據(jù)平臺USDP集群的創(chuàng)建過程，分為兩個部分，即在公有云控制臺中，創(chuàng)建USDP的集群資源，待創(chuàng)建完成后，進(jìn)入您獨享的USDP管理服務(wù)開始規(guī)劃并創(chuàng)...

    ernest.wang 評論1 收藏3013

  • UCloud一站式智能大數(shù)據(jù)平臺USDP免費版正式發(fā)布！

    摘要：企業(yè)微信截圖企業(yè)微信截圖兼容最廣的一站式智能大數(shù)據(jù)平臺涵蓋了等眾多開源大數(shù)據(jù)組件，支持對這些組件進(jìn)行運維中臺建設(shè)數(shù)據(jù)開發(fā)業(yè)務(wù)可視化等全棧式大數(shù)據(jù)開發(fā)運維管理。通過一站式智能大數(shù)據(jù)平臺支持的等分布式運算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開發(fā)。背景在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲進(jìn)行擴(kuò)展的，目前開源的主流存儲技術(shù)棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含...

    Tecode 評論0 收藏0

  • UCloud發(fā)布一站式智能大數(shù)據(jù)平臺USDP免費版附USDP資源下載地址

    摘要：機(jī)器學(xué)習(xí)機(jī)器學(xué)習(xí)通過算法對大量數(shù)據(jù)進(jìn)行分析，挖掘出其中蘊含的規(guī)律，并用于事物預(yù)測或者分類，有大量的計算需求。通過一站式智能大數(shù)據(jù)平臺支持的等分布式運算框架，可以高效的進(jìn)行機(jī)器學(xué)習(xí)應(yīng)用開發(fā)。在大數(shù)據(jù)業(yè)務(wù)系統(tǒng)中，所有技術(shù)棧生態(tài)均是圍繞著存儲進(jìn)行擴(kuò)展的，目前開源的主流存儲技術(shù)棧主要包含如下 3 種類型：· HDFS：Hadoop 系列套件，包含 Hive、Hbase、Phoenix 等；· Ela...

    Tecode 評論0 收藏0

  • UCloud智能大數(shù)據(jù)平臺USDP上線，助力企業(yè)快速構(gòu)建大數(shù)據(jù)服務(wù)

    在互聯(lián)網(wǎng)市場的頭部效應(yīng)下，企業(yè)所面臨的競爭壓力越來越大，如何有效解決獲客成本高、用戶黏性低、變現(xiàn)能力弱等問題，正是越來越多的企業(yè)開始構(gòu)建大數(shù)據(jù)平臺的初衷。但由于大數(shù)據(jù)解決方案所涉及的組件錯綜復(fù)雜、技術(shù)門檻較高，且初期投入的資源和后期的維護(hù)成本較大，十分考驗企業(yè)的大數(shù)據(jù)平臺組建和運維能力。因此，UCloud大數(shù)據(jù)團(tuán)隊于近期上線了大數(shù)據(jù)智能平臺（UCloud Smart Data Platform，下...

    Tecode 評論0 收藏0

  • 功能簡介 智能大數(shù)據(jù)平臺 USDP

    摘要：功能簡介功能簡介功能簡介本篇目錄一功能點概述一功能點概述二支持的大數(shù)據(jù)生態(tài)服務(wù)二支持的大數(shù)據(jù)生態(tài)服務(wù)一功能點概述一功能點概述一功能點概述支持友好的瀏覽器管理控制臺支持集群節(jié)點管理，如節(jié)點監(jiān)控資源使用率節(jié)點狀態(tài)等支持集群大數(shù)據(jù)服務(wù)的服 功能簡介本篇目錄一、功能點概述二、支持的大數(shù)據(jù)生態(tài)服務(wù)一、功能點概述支持友好的Web瀏覽器管理控制臺；支持集群節(jié)點管理，如節(jié)點監(jiān)控、資源使用率、節(jié)點狀態(tài)等；支持...

    ernest.wang 評論0 收藏2278

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<