成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

oozie創(chuàng)建工作流，手動配置和使用Hue配置

fasss / 1863人閱讀

摘要：創(chuàng)建工作流工作流的執(zhí)行命令參考博客，也可以鍵入查看幫助手動配置的文件，存放文件可能用到的一些參數(shù)注意變量名不要包含特殊字符，否則在中會出現(xiàn)無法解析變量名的問題的路徑必須在上，因為整個集群要訪問如果為，表示只是測試當(dāng)前的，并不具體記錄

oozie創(chuàng)建工作流

工作流的執(zhí)行命令參考博客：https://www.jianshu.com/p/6cb3a4b78556，也可以鍵入oozie help查看幫助

手動配置oozie的workflow

job.properties文件，存放workflow.xml文件可能用到的一些參數(shù)
job.properties

# 注意變量名不要包含特殊字符，否則在 spark 中會出現(xiàn)無法解析變量名的問題
# oozie.wf.application.path的路徑必須在hdfs上，因為整個集群要訪問

nameNode=hdfs://txz-data0:9820
resourceManager=txz-data0:8032
oozie.use.system.libpath=true
oozie.libpath=${nameNode}/share/lib/spark2/jars/,${nameNode}/share/lib/spark2/python/lib/,${nameNode}/share/lib/spark2/hive-site.xml
oozie.wf.application.path=${nameNode}/workflow/data-factory/download_report_voice_and_upload/Workflow
oozie.action.sharelib.for.spark=spark2

archive=${nameNode}/envs/py3.tar.gz#py

# 如果 dryrun 為 true，表示只是測試當(dāng)前的 workflow，并不具體記錄相應(yīng) job
dryrun=false

sparkMaster=yarn-cluster
sparkMode=cluster
scriptRoot=/workflow/data-factory/download_report_voice_and_upload/Python
sparkScriptBasename=download_parquet_from_data0_upload_online.py
sparkScript=${scriptRoot}/${sparkScriptBasename}
pysparkPath=py/py3/bin/python3

workflow.xml文件





    
        ${resourceManager}
        ${nameNode}
    

    

    
        
            ${sparkMaster}
            ${sparkMode}
            report_voice_download_pyspark
            ${sparkScriptBasename}
            
                --conf spark.yarn.appMasterEnv.PYSPARK_PYTHON=${pysparkPath}
            
            ${sparkScript}#${sparkScriptBasename}
            ${archive}
        

        
        
    

    
        
            Workflow failed, error
            message[${wf:errorMessage(wf:lastErrorNode())}]

將這兩個文件放在本地磁盤上面，例如放在文件夾/home/workflow/中

運行命令oozie job -oozie http://txz-data0:11000/oozie -config /home/workflow/job.properties -run即可運行這個workflow

這樣手寫配置的話，在Hue上面是不可見的，所以后面都是在Hue上面配置workflow，然后再配置Schedule。具體配置見博客https://blog.csdn.net/qq_22918243/article/details/89204111

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/43803.html

相關(guān)文章

  • Hue開發(fā)指南 托管Hadoop集群 UHadoop

    摘要：創(chuàng)建任務(wù)創(chuàng)建任務(wù)選擇這個標(biāo)簽拖動到中。頁面權(quán)限控制頁面權(quán)限控制頁面權(quán)限控制點擊管理用戶組選擇要修改的組名稱，設(shè)置相應(yīng)權(quán)限并保存 Hue開發(fā)指南本篇目錄1. 配置工作流2. Hue頁面權(quán)限控制Hue是面向 Hadoop 的開源用戶界面，可以讓您更輕松地運行和開發(fā) Hive 查詢、管理 HDFS 中的文件、運行和開發(fā) Pig 腳本以及管理表。服務(wù)默認(rèn)已經(jīng)啟動，用戶只需要配置外網(wǎng)IP，在防火墻中配...

    ernest.wang 評論0 收藏1340

  • 集群創(chuàng)建 智能大數(shù)據(jù)平臺 USDP

    摘要：點擊創(chuàng)建集群按鈕開始創(chuàng)建集群資源點擊創(chuàng)建集群按鈕開始創(chuàng)建集群資源創(chuàng)建集群創(chuàng)建集群設(shè)置地域和可用區(qū)信息設(shè)置地域和可用區(qū)信息請根據(jù)您的需要，在創(chuàng)建集群向?qū)е性O(shè)置新集群所歸屬的地域及可用區(qū)信息。 集群創(chuàng)建本篇目錄開始創(chuàng)建集群資源開始部署集群服務(wù)和組件智能大數(shù)據(jù)平臺USDP集群的創(chuàng)建過程，分為兩個部分，即在公有云控制臺中，創(chuàng)建USDP的集群資源，待創(chuàng)建完成后，進(jìn)入您獨享的USDP管理服務(wù)開始規(guī)劃并創(chuàng)...

    ernest.wang 評論1 收藏3013

  • Oozie開發(fā)指南 托管Hadoop集群 UHadoop

    摘要：開發(fā)指南開發(fā)指南開發(fā)指南本篇目錄運行運行定義定義定義工作流，為將多個按照一定的順序組織起來，按照既定的路徑運行的一個整體。配置將定時調(diào)度頻率改為分鐘。一個會創(chuàng)建并執(zhí)行。例如，，，，則時間為動作的實際創(chuàng)建時間。 Oozie開發(fā)指南本篇目錄1. 運行Coordinator Job2. Coordinator Action3. Coordinator Application4. Coordinat...

    ernest.wang 評論0 收藏2923

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<