資訊專欄INFORMATION COLUMN
Azkaba內(nèi)置的任務(wù)類型支持command、java
root@leco:/home/leco# cat foo.job type=command command=echo foo root@leco:/home/leco# zip foo.zip foo.job updating: foo.job (deflated 13%)
我們把job的資源文件可以打包成為zip格式的。然后通過(guò)azkaban的web管理平臺(tái)創(chuàng)建project并上傳job壓縮包即可。
操作步驟如下：
2：多依賴任務(wù)
創(chuàng)建有依賴關(guān)系的多個(gè)job描述,第一個(gè)job：foo.job
root@leco:/home/leco/cc# cat foo.job type=command command=echo foo
將所有job資源文件打到一個(gè)zip包中
root@leco:/home/leco/cc# ls foobar.zip foobar.zip
通過(guò)azkaban 在hdfs上創(chuàng)建以azkaban為名的目錄。
root@leco:/home/leco/cc# ls bar.job foobar.zip foo.job foo.zip hdfs.job root@leco:/home/leco/cc# zip hdfs.zip hdfs.job adding: hdfs.job (deflated 12%) root@leco:/home/leco/cc# cat hdfs.job type=command command=/usr/local/hadoop-2.6.5/bin/hadoop fs -mkdir /azkaban
開(kāi)始之前檢查hdfs
[root@master server]# hadoop fs -ls /|grep azkaban [root@master server]#
開(kāi)始之前hdfs沒(méi)有azkaban目錄
查看結(jié)果
[root@master server]# hadoop fs -ls /|grep azkaban drwxr-xr-x - root supergroup 0 2019-08-13 15:55 /azkaban
??Mr任務(wù)依然可以使用command的job類型來(lái)執(zhí)行
準(zhǔn)備數(shù)據(jù)
[root@master hadoop]# hadoop fs -mkdir /azkaban_demo [root@master hadoop]# hadoop fs -put /etc/passwd /azkaban_demo [root@master hadoop]# hadoop fs -ls /azkaban_demo/ Found 1 items -rw-r--r-- 3 root supergroup 1159 2019-08-13 16:06 /azkaban_demo/passwd
mrwc
root@leco:/home/leco/cc# cat mrwc.job type=command command=/usr/local/hadoop/bin/hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /azkaban_demo /azkaban_out root@leco:/home/leco/cc# ls mrwc* mrwc.job mrwc.zip
檢查
[root@master hadoop]# hadoop fs -ls /azkaban_out ls: `/azkaban_out': No such file or directory
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/127556.html
摘要：否則沒(méi)有配置環(huán)境會(huì)報(bào)錯(cuò)。重新編譯打包就可以 azkaban azkaban 是一個(gè)用Java開(kāi)發(fā)的開(kāi)源調(diào)度工具workflow,同類型的工具有用Python開(kāi)發(fā)的 airflow 和 luigi. build 在我的windows上無(wú)法build成功，我在CentOS上build成功了 git clone https://github.com/azkaban/azkaban.git c...
第一步：包準(zhǔn)備?首先我們先將Azkaban Web服務(wù)器、Azkaban執(zhí)行服務(wù)器和MySQL統(tǒng)一拷貝到虛擬機(jī)/usr/local/src/azkaban目錄下，具體的命令如下：[root@masterzkaban]#ll|awk'{print$NF}' 98600 azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script...
摘要：使用建立一個(gè)簡(jiǎn)單的任務(wù)調(diào)度系統(tǒng)可以作為任務(wù)的調(diào)度工具，也可以作為任務(wù)和任務(wù)的調(diào)度工具。更加方便，只要在中增加一個(gè)方法，返回對(duì)象，然后任務(wù)可以直接在初始化的中讀取到這個(gè)參數(shù)。 使用azkaban 建立一個(gè)簡(jiǎn)單的任務(wù)調(diào)度系統(tǒng) azkaban 可以作為hadoop 任務(wù)的調(diào)度工具，也可以作為shell任務(wù)和java任務(wù)的調(diào)度工具。安裝過(guò)程有點(diǎn)繁瑣，見(jiàn)安裝文檔。 Job Type 見(jiàn)鏈接 ht...
工作流調(diào)度系統(tǒng)一個(gè)完整的數(shù)據(jù)分析系統(tǒng)大都是由海量的任務(wù)單元組成shell腳本程序，java，mapreduce程序、hive腳本等等組成，非常復(fù)雜，各任務(wù)單元之間存在時(shí)間先后及前后依賴關(guān)系。為了很好地組織起這樣的復(fù)雜系統(tǒng)，能夠按照計(jì)劃執(zhí)行，就必須要一個(gè)工作流調(diào)度系統(tǒng)來(lái)調(diào)度執(zhí)行。例如，某個(gè)業(yè)務(wù)系統(tǒng)可能每天產(chǎn)生20G原始數(shù)據(jù)，我們每天都要對(duì)其進(jìn)行處理。具體處理步驟如下所示：1. 通過(guò)Hadoop先將原...
摘要：項(xiàng)目地址前言大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖大數(shù)據(jù)常用軟件安裝指南一分布式文件存儲(chǔ)系統(tǒng)分布式計(jì)算框架集群資源管理器單機(jī)偽集群環(huán)境搭建集群環(huán)境搭建常用命令的使用基于搭建高可用集群二簡(jiǎn)介及核心概念環(huán)境下的安裝部署和命令行的基本使用常用操作分區(qū)表和分桶表視圖 項(xiàng)目GitHub地址：https://github.com/heibaiying... 前 言 大數(shù)據(jù)技術(shù)棧思維導(dǎo)圖 大數(shù)據(jù)常用軟件安裝指...
閱讀 1232·2023-02-24 11:21
閱讀 1432·2023-02-24 10:55
閱讀 2458·2023-02-24 10:47
閱讀 3157·2023-02-24 10:44
閱讀 904·2023-02-24 10:38
閱讀 631·2022-12-25 19:44
閱讀 769·2022-12-25 19:39
閱讀 886·2022-12-25 19:36
