azkaban 部署-azkaban 的部署和應(yīng)用

白馬嘯西風(fēng) 發(fā)布于2022-09-06 18:40 / 771人閱讀

第一步：包準(zhǔn)備

?首先我們先將Azkaban Web服務(wù)器、Azkaban執(zhí)行服務(wù)器和MySQL統(tǒng)一拷貝到虛擬機(jī)/usr/local/src/azkaban目錄下，

具體的命令如下：

[root@master zkaban]# ll|awk '{print $NF}'
98600
azkaban-executor-server-2.5.0.tar.gz
azkaban-sql-script-2.5.0.tar.gz
azkaban-web-server-2.5.0.tar.gz
mysql-libs.zip
[root@master zkaban]# pwd
/usr/local/src/zkaban

數(shù)據(jù)庫(kù)準(zhǔn)備?

??當(dāng)前azkaban只支持 mysql，不支持其它的非關(guān)系型數(shù)據(jù)庫(kù)，我們需安裝mysql服務(wù)器，本文檔中的演示情況是默認(rèn)已安裝好mysql服務(wù)器，并建立了 root用戶，密碼 root，如果沒(méi)安裝的需要自己安裝一下。

第二步：安裝azkaban?

快速命令

cd /usr/local/azkaban/
mkdir -p /usr/local/azkaban/
tar xf azkaban-web-server-2.5.0.tar.gz -C /usr/local/azkaban/
tar xf azkaban-executor-server-2.5.0.tar.gz -C /usr/local/azkaban/
tar xf azkaban-sql-script-2.5.0.tar.gz -C /usr/local/azkaban/
cd /usr/local/azkaban/
ln -sf azkaban-web-2.5.0 server
ln -sf azkaban-executor-2.5.0 executor

詳細(xì)過(guò)程

[root@master src]# cd zkaban/
[root@master zkaban]# ls
azkaban-executor-server-2.5.0.tar.gz  azkaban-sql-script-2.5.0.tar.gz  azkaban-web-server-2.5.0.tar.gz  mysql-libs.zip
[root@master zkaban]# ll
total 98600
-rw-r--r-- 1 root root 11157302 Feb 16  2017 azkaban-executor-server-2.5.0.tar.gz
-rw-r--r-- 1 root root     1928 Feb 16  2017 azkaban-sql-script-2.5.0.tar.gz
-rw-r--r-- 1 root root 11989669 Feb 16  2017 azkaban-web-server-2.5.0.tar.gz
-rw-r--r-- 1 root root 77807942 Mar  3  2017 mysql-libs.zip
[root@master zkaban]# mkdir -p /usr/local/azkaban
[root@master zkaban]# tar -zxvf azkaban-web-server-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master zkaban]# tar -xf azkaban-executor-server-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master zkaban]# tar -xf azkaban-sql-script-2.5.0.tar.gz -C /usr/local/azkaban/
[root@master zkaban]# cd /usr/local/azkaban/
[root@master azkaban]# ln -sf azkaban-web-2.5.0 server
[root@master azkaban]# ln -sf azkaban-executor-2.5.0 executor

數(shù)據(jù)導(dǎo)入?

azkaban腳本導(dǎo)入，進(jìn)入mysql，創(chuàng)建azkaban數(shù)據(jù)庫(kù)，并將解壓的腳本導(dǎo)入到azkaban數(shù)據(jù)庫(kù)。

快速部署

source /usr/local/azkaban/server/create-all-sql-2.5.0.sql

詳細(xì)操作

[root@master azkaban]# pwd
/usr/local/azkaban
[root@master azkaban]# ls /usr/local/azkaban/server/create-all-sql-2.5.0.sql 
/usr/local/azkaban/server/create-all-sql-2.5.0.sql
[root@master azkaban]# mysql -uroot -proot
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 751
Server version: 5.7.26 MySQL Community Server (GPL)

Copyright (c) 2000, 2019, Oracle and/or its affiliates. All rights reserved.

Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> create database azkaban;
Query OK, 1 row affected (0.02 sec)

mysql> use azkaban;
Database changed
mysql> source /usr/local/azkaban/server/create-all-sql-2.5.0.sql
Query OK, 0 rows affected (0.07 sec)

Query OK, 0 rows affected (0.02 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.02 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.00 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)

Query OK, 0 rows affected (0.01 sec)
Records: 0  Duplicates: 0  Warnings: 0

Query OK, 0 rows affected (0.01 sec)

mysql> show tables;
+------------------------+
| Tables_in_azkaban      |
+------------------------+
| active_executing_flows |
| active_sla             |
| execution_flows        |
| execution_jobs         |
| execution_logs         |
| project_events         |
| project_files          |
| project_flows          |
| project_permissions    |
| project_properties     |
| project_versions       |
| projects               |
| properties             |
| schedules              |
| triggers               |
+------------------------+
15 rows in set (0.00 sec)
mysql> exit
Bye

2.3 證書(shū)制作?

[root@master server]# cd
[root@master ~]# cd /usr/local/azkaban/server/
[root@master server]# keytool -keystore keystore -alias jetty -genkey -keyalg RSA
Enter keystore password:          <---- 輸入一個(gè)密碼[推薦000000，后面配置文件會(huì)用到]
Re-enter new password:            <---- 重復(fù)輸入
What is your first and last name?
  [Unknown]:    <----  回車(chē)
What is the name of your organizational unit?
  [Unknown]:    <----  回車(chē)
What is the name of your organization?
  [Unknown]:    <----  回車(chē)
What is the name of your City or Locality?
  [Unknown]:    <----  回車(chē)
What is the name of your State or Province?
  [Unknown]:    <----  回車(chē)
What is the two-letter country code for this unit?
  [Unknown]:    <----  回車(chē)
Is CN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=Unknown correct?
  [no]:  y      <----  輸入y回車(chē)

Enter key password for <jetty>
    (RETURN if same as keystore password):   <----  輸入之前密碼 000000
Re-enter new password:                       <----  再次輸入密碼 000000

Warning:
keystore keystore -destkeystore keystore -deststoretype pkcs12".
[root@master server]# ls
azkaban.version  bin  conf  extlib  keystore  lib  plugins  web
[root@master server]# ecll
-bash: ecll: command not found
[root@master server]# ll
total 12
-rw-r--r-- 1 root root  105 Apr 22  2014 azkaban.version
drwxr-xr-x 2 root root  112 Apr 22  2014 bin
drwxr-xr-x 2 root root   57 Aug 13 11:14 conf
drwxr-xr-x 2 root root    6 Apr 22  2014 extlib
-rw-r--r-- 1 root root 2244 Aug 13 11:16 keystore
drwxr-xr-x 2 root root 4096 Aug 13 11:14 lib
drwxr-xr-x 2 root root    6 Apr 22  2014 plugins
drwxr-xr-x 6 root root   73 Aug 13 11:14 web
[root@master server]# du -sh keystore 
4.0K    keystore

cd /usr/local/azkaban/server/
keytool -keystore keystore -alias jetty -genkey -keyalg RSA

2.4 時(shí)間同步?

?? 所有機(jī)器時(shí)間都要同步一致。省略，因?yàn)槲倚聶C(jī)器優(yōu)化，已經(jīng)配置過(guò)了。

2.5 配置文件修改?

2.5.1 Web服務(wù)器配置?

[root@master server]# cd ..
[root@master azkaban]# ls
azkaban-2.5.0  azkaban-executor-2.5.0  azkaban-web-2.5.0  executor  server
[root@master azkaban]# cd server/
[root@master server]# ll
total 16
-rw-r--r-- 1 root root  105 Apr 22  2014 azkaban.version
drwxr-xr-x 3 root root  179 Aug 13 11:40 bin
drwxr-xr-x 2 root root   57 Aug 13 11:34 conf
-rw-r--r-- 1 root root    7 Aug 13 11:40 currentpid
drwxr-xr-x 2 root root    6 Apr 22  2014 extlib
-rw-r--r-- 1 root root 2244 Aug 13 11:16 keystore
drwxr-xr-x 2 root root 4096 Aug 13 11:14 lib
drwxr-xr-x 2 root root    6 Apr 22  2014 plugins
drwxr-xr-x 6 root root   73 Aug 13 11:14 web
[root@master server]# cd conf/
[root@master conf]# ls
azkaban.properties  azkaban-users.xml

2.5.2 執(zhí)行服務(wù)器配置?

修改解釋如下:

[root@master conf]# cat azkaban-users.xml 
<azkaban-users>
    <user username="azkaban" password="azkaban" roles="admin" groups="azkaban" />
    <user username="metrics" password="metrics" roles="metrics"/>
    <user username="admin" password="admin" roles="admin,metrics" />    
    <role name="admin" permissions="ADMIN" />
    <role name="metrics" permissions="METRICS"/>
</azkaban-users>

<user username="admin" password="admin" roles="admin,metrics" /> 用戶名和密碼都會(huì)admin

[root@master conf]# egrep -v '#|^$' azkaban.properties 
azkaban.name=Test                           # 服務(wù)器UI名稱(chēng)，用于服務(wù)器上方顯示的名字
azkaban.label=My Local Azkaban              # 描述
azkaban.default.servlet.path=/index
web.resource.dir=/usr/local/azkaban/server/web/   # 默認(rèn)web 目錄
default.timezone.id=Asia/Shanghai                 # 時(shí)區(qū)
user.manager.class=azkaban.user.XmlUserManager    # 用戶權(quán)限管理默認(rèn)類(lèi)
user.manager.xml.file=/usr/local/azkaban/server/conf/azkaban-users.xml  # 配置文件[要使用絕對(duì)路徑]
executor.global.properties=/usr/local/azkaban/server/conf/global.properties # 配置文件[要使用絕對(duì)路徑]
azkaban.project.dir=projects
database.type=mysql      # 數(shù)據(jù)庫(kù)類(lèi)型(目前只支持mysql)
mysql.port=3306          # mysql 端口
mysql.host=master        # mysql的ip/域名
mysql.database=azkaban   # mysql創(chuàng)建的庫(kù)
mysql.user=root          # 鏈接mysql 用戶
mysql.password=root      # 鏈接mysql 密碼
mysql.numconnections=100 # 最大鏈接數(shù)
velocity.dev.mode=false
jetty.maxThreads=25
jetty.ssl.port=8443      # web端口
jetty.port=8081
jetty.keystore=/usr/local/azkaban/server/keystore   # 證書(shū)地址[要使用絕對(duì)路徑]
jetty.password=000000    # 制作證書(shū)的密碼
jetty.keypassword=000000 # 制作證書(shū)的密碼
jetty.truststore=/usr/local/azkaban/server/keystore # 證書(shū)地址[要使用絕對(duì)路徑]
jetty.trustpassword=000000 # 制作證書(shū)的密碼
executor.port=12321
mail.sender=
mail.host=
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache

可以配置smtp郵箱，可以發(fā)郵件

2.6 啟動(dòng)?

啟動(dòng)web服務(wù)器

啟動(dòng)執(zhí)行服務(wù)器

cd /usr/local/azkaban/executor/bin/
./azkaban-executor-start.sh

查詢(xún)

[root@master bin]# jps
37828 ResourceManager
109029 Jps
37670 SecondaryNameNode
37481 NameNode
26334 Master
68879 QuorumPeerMain
99967 AzkabanExecutorServer
100126 AzkabanWebServer

注意啟動(dòng)順序

2.7 登錄?

??啟動(dòng)完成后，在瀏覽器(建議使用谷歌瀏覽器)中輸入https://服務(wù)器IP地址:8443，即可訪問(wèn)azkaban服務(wù)了。在登錄中輸入剛才新的戶用名及密碼，點(diǎn)擊 login。

圖片.png

GPU云服務(wù)器云服務(wù)器 azkaban 私有云部署和本地部署的對(duì)比云服務(wù)器上部署應(yīng)用的優(yōu)勢(shì) 公司云服務(wù)器的使用和部署

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/127491.html

發(fā)表評(píng)論

登陸后可評(píng)論

0條評(píng)論

白馬嘯西風(fēng)

男|高級(jí)講師

我要關(guān)注我要私信

TA的文章

超融合虛擬化

閱讀 1232·2023-02-24 11:21
超融合服務(wù)器價(jià)格

閱讀 1432·2023-02-24 10:55
超融合架構(gòu)的優(yōu)缺點(diǎn)

閱讀 2458·2023-02-24 10:47
超融合是什么意思

閱讀 3156·2023-02-24 10:44
揭秘超融合解決方案,讓IT更簡(jiǎn)單!

閱讀 904·2023-02-24 10:38
購(gòu)買(mǎi)服務(wù)器托管

閱讀 631·2022-12-25 19:44
成都服務(wù)器托管多少錢(qián)

閱讀 769·2022-12-25 19:39
minecraft服務(wù)器托管

閱讀 886·2022-12-25 19:36

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

azkaban 部署-azkaban 的部署和應(yīng)用

第一步：包準(zhǔn)備

數(shù)據(jù)庫(kù)準(zhǔn)備?

第二步：安裝azkaban?

數(shù)據(jù)導(dǎo)入?

azkaban腳本導(dǎo)入，進(jìn)入mysql，創(chuàng)建azkaban數(shù)據(jù)庫(kù)，并將解壓的腳本導(dǎo)入到azkaban數(shù)據(jù)庫(kù)。

2.3 證書(shū)制作?

2.4 時(shí)間同步?

2.5 配置文件修改?

2.5.1 Web服務(wù)器配置?

2.5.2 執(zhí)行服務(wù)器配置?

2.6 啟動(dòng)?

2.7 登錄?

相關(guān)文章

cdhazkaban-cdhazkaban介紹、安裝和使用

大數(shù)據(jù)入門(mén)指南（GitHub開(kāi)源項(xiàng)目）

azkaban 安裝

azkaban的使用方法

**使用azkaban 建立一個(gè)簡(jiǎn)單的任務(wù)調(diào)度系統(tǒng)**

發(fā)表評(píng)論

0條評(píng)論

白馬嘯西風(fēng)

男|高級(jí)講師

TA的文章

超融合虛擬化

超融合服務(wù)器價(jià)格

超融合架構(gòu)的優(yōu)缺點(diǎn)

超融合是什么意思

揭秘超融合解決方案,讓IT更簡(jiǎn)單!

購(gòu)買(mǎi)服務(wù)器托管

成都服務(wù)器托管多少錢(qián)

minecraft服務(wù)器托管

最新活動(dòng)

資訊專(zhuān)欄INFORMATION COLUMN

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

azkaban 部署-azkaban 的部署和應(yīng)用

第一步：包準(zhǔn)備

數(shù)據(jù)庫(kù)準(zhǔn)備?

第二步：安裝azkaban?

數(shù)據(jù)導(dǎo)入?

azkaban腳本導(dǎo)入，進(jìn)入mysql，創(chuàng)建azkaban數(shù)據(jù)庫(kù)，并將解壓的腳本導(dǎo)入到azkaban數(shù)據(jù)庫(kù)。

2.3 證書(shū)制作?

2.4 時(shí)間同步?

2.5 配置文件修改?

2.5.1 Web服務(wù)器配置?

2.5.2 執(zhí)行服務(wù)器配置?

2.6 啟動(dòng)?

2.7 登錄?

相關(guān)文章

發(fā)表評(píng)論

0條評(píng)論

男|高級(jí)講師

TA的文章

最新活動(dòng)

上云采購(gòu)季！| 2核2G4M爆款云服務(wù)器低至59元/年，更有多臺(tái)、長(zhǎng)期優(yōu)惠，快來(lái)選購(gòu)！

azkaban腳本導(dǎo)入，進(jìn)入mysql，創(chuàng)建azkaban數(shù)據(jù)庫(kù)，并將解壓的腳本導(dǎo)入到azkaban數(shù)據(jù)庫(kù)。