成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

[原]數(shù)據(jù)科學(xué)教程：如何使用Airflow調(diào)度數(shù)據(jù)科學(xué)工作流

v1 / 2547人閱讀

摘要：概述是一個(gè)我們正在用的工作流調(diào)度器，相對(duì)于傳統(tǒng)的任務(wù)管理，很好的為我們理清了復(fù)雜的任務(wù)依賴(lài)關(guān)系監(jiān)控任務(wù)執(zhí)行的情況。步驟三修改默認(rèn)數(shù)據(jù)庫(kù)找到配置文件修改配置注意到，之前使用的的方式是行不通的。微信號(hào)商業(yè)使用請(qǐng)聯(lián)系作者。

概述

Airflow 是一個(gè)我們正在用的工作流調(diào)度器，相對(duì)于傳統(tǒng)的crontab任務(wù)管理，Airflow很好的為我們理清了復(fù)雜的任務(wù)依賴(lài)關(guān)系、監(jiān)控任務(wù)執(zhí)行的情況。我們喜歡它是因?yàn)樗鼘?xiě)代碼太容易了，也便于調(diào)試、維護(hù)和繼承重用，而不是像xml那樣的配置文件用來(lái)描述DAG。

通過(guò)SQL和HQL的臨時(shí)查詢(xún)，我們還可以快速生成前端圖表，而且順帶連數(shù)據(jù)的API接口也都生成了，這幾乎要讓的Web開(kāi)發(fā)工程師失業(yè)了。

當(dāng)然Airflow還支持移動(dòng)端顯示，只要收藏頁(yè)面，我們就可以實(shí)現(xiàn)"移動(dòng)監(jiān)控"。

功能總覽 1. 任務(wù)調(diào)度系統(tǒng)：DAGs

強(qiáng)大的任務(wù)調(diào)度與管理


調(diào)度代碼一覽無(wú)余

2. 數(shù)據(jù)剖析

配置 SQL 語(yǔ)句，以及作圖的option

圖表自動(dòng)生成

API數(shù)據(jù)自動(dòng)生成

將當(dāng)前的圖表地址 http://localhost:8080/admin/airflow/chart?chart_id=2&iteration_no=40
替換成 http://localhost:8080/admin/airflow/chart_data?chart_id=2&iteration_no=40即可返回json數(shù)據(jù)

如果對(duì) API數(shù)據(jù)自動(dòng)生成不夠滿意，還可以輕松地對(duì)源代碼自行定制。

3. 監(jiān)控管理

任務(wù)日志

任務(wù)監(jiān)控

調(diào)度配置化

4. 權(quán)限管理

系統(tǒng)配置

用戶(hù)管理

數(shù)據(jù)源管理

實(shí)戰(zhàn) 步驟一：安裝Airflow

如果通過(guò) docker

docker pull airflow

如果通過(guò) pip

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple airflow
步驟二：修改默認(rèn)路徑

這里如果不修改路徑，默認(rèn)的配置就是 ~/airflow

臨時(shí)修改 AIRFLOW_HOME 環(huán)境變量, 這里的 /home/airflow 可以替換成你想要的文件夾目錄

export AIRFLOW_HOME=/home/airflow

永久修改環(huán)境變量

echo "export AIRFLOW_HOME=/home/airflow" >> /etc/profile
source /etc/profile

系統(tǒng)默認(rèn)的配置文件是從 airflow包的configuration.py文件中獲取的，在設(shè)置了路徑和airflow.cfg之后，配置將由airflow.cfg所替代。

步驟三：修改默認(rèn)數(shù)據(jù)庫(kù)

找到配置文件

vi /home/airflow/airflow.cfg

修改sql配置

sql_alchemy_conn = mysql://root:FinanceR@localhost:3306/airflow

注意到，之前使用的 mysql+driver://root:FinanceR@localhost:3306/airflow的方式是行不通的。

初始化服務(wù)器的數(shù)據(jù)庫(kù)

airflow initdb
airflow webserver

就可以開(kāi)啟后臺(tái)管理界面，默認(rèn)訪問(wèn)localhost:8080即可。

步驟四：修改數(shù)據(jù)源配置

通過(guò)create按鈕，添加相應(yīng)的參數(shù)

步驟五：解決中文字符集顯示問(wèn)題

注意到 airflow 的所有.py文件都聲明了 utf-8 字符集

# -*- coding: utf-8 -*-

如果需要顯示中文，需要在extra選項(xiàng)中添加
{"charset":"utf8"}的配置

參考資料

Airflow 源碼

解密 Airbnb 的數(shù)據(jù)流編程神器：Airflow 中的技巧和陷阱

Airflow實(shí)戰(zhàn)

Advanced Airflow

CSDN: airflow詳解

Work Flow Management for Big Data: Guide to Airflow

Airflow agari

Agari使用Airbnb的Airflow實(shí)現(xiàn)更智能計(jì)劃任務(wù)的實(shí)踐

工作流調(diào)研 oozie vs azkaban

Oozie Demo WorkFlow

招聘廣告

mobike 招聘 BI數(shù)據(jù)產(chǎn)品經(jīng)理

mobike 招聘 Data Scienctist

mobike 招聘 大數(shù)據(jù)平臺(tái)架構(gòu)師 Data Architect

更優(yōu)閱讀體驗(yàn)可直接訪問(wèn)原文地址：https://segmentfault.com/a/11...
作為分享主義者(sharism)，本人所有互聯(lián)網(wǎng)發(fā)布的圖文均遵從CC版權(quán)，轉(zhuǎn)載請(qǐng)保留作者信息并注明作者 Harry Zhu 的 FinanceR專(zhuān)欄:https://segmentfault.com/blog...，如果涉及源代碼請(qǐng)注明GitHub地址：https://github.com/harryprince。微信號(hào): harryzhustudio
商業(yè)使用請(qǐng)聯(lián)系作者。

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/38048.html

相關(guān)文章

  • [譯] 解密 Airbnb 的數(shù)據(jù)流編程神器：Airflow 中的技巧和陷阱

    摘要：顯然，這單獨(dú)執(zhí)行不起作用這將通過(guò)子操作符被作為像是自己的調(diào)度任務(wù)中那樣運(yùn)行。子也必須有個(gè)可用調(diào)度即使子作為其父的一部分被觸發(fā)子也必須有一個(gè)調(diào)度如果他們的調(diào)度是設(shè)成，這個(gè)子操作符將不會(huì)觸發(fā)任何任務(wù)。這兩個(gè)例子都是緣起子操作符被當(dāng)做了回填工作。 showImg(https://segmentfault.com/img/remote/1460000006768714); 前言 Airbnb的...

    zsy888 評(píng)論0 收藏0

  • 數(shù)據(jù)科學(xué)部門(mén)如何使用Python和R組合完成任務(wù)

    摘要：數(shù)據(jù)科學(xué)項(xiàng)目的完整流程通常是這樣的五步驟需求定義數(shù)據(jù)獲取數(shù)據(jù)治理數(shù)據(jù)分析數(shù)據(jù)可視化一需求定義需求定義是數(shù)據(jù)科學(xué)項(xiàng)目和數(shù)據(jù)科學(xué)比賽的最大不同之處，在真實(shí)情景下，我們往往對(duì)目標(biāo)函數(shù)自變量約束條件都并不清晰。 概述 和那些數(shù)據(jù)科學(xué)比賽不同，在真實(shí)的數(shù)據(jù)科學(xué)中，我們可能更多的時(shí)間不是在做算法的開(kāi)發(fā)，而是對(duì)需求的定義和數(shù)據(jù)的治理。所以，如何更好的結(jié)合現(xiàn)實(shí)業(yè)務(wù)，讓數(shù)據(jù)真正產(chǎn)生價(jià)值成了一個(gè)更有意義的...

    Apollo 評(píng)論0 收藏0

  • [原] 深入對(duì)比數(shù)據(jù)科學(xué)工具箱：Python 和 R 的異常處理機(jī)制

    摘要：對(duì)于異常機(jī)制的合理運(yùn)用是直接關(guān)系到碼農(nóng)飯碗的事情所以，本文將具體介紹一下和的異常處理機(jī)制，闡明二者在異常處理機(jī)制上的異同。下面將具體介紹二者的異常處理機(jī)制。 概述 showImg(https://segmentfault.com/img/remote/1460000006760426); 異常處理，是編程語(yǔ)言或計(jì)算機(jī)硬件里的一種機(jī)制，用于處理軟件或信息系統(tǒng)中出現(xiàn)的異常狀況（即超出程序正...

    FreeZinG 評(píng)論0 收藏0

  • ApacheCN 學(xué)習(xí)資源匯總 2019.3

    摘要：主頁(yè)暫時(shí)下線社區(qū)暫時(shí)下線知識(shí)庫(kù)自媒體平臺(tái)微博知乎簡(jiǎn)書(shū)博客園合作侵權(quán)，請(qǐng)聯(lián)系請(qǐng)抄送一份到特色項(xiàng)目中文文檔和教程與機(jī)器學(xué)習(xí)實(shí)用指南人工智能機(jī)器學(xué)習(xí)數(shù)據(jù)科學(xué)比賽系列項(xiàng)目實(shí)戰(zhàn)教程文檔代碼視頻數(shù)據(jù)科學(xué)比賽收集平臺(tái)，，劍指，經(jīng)典算法實(shí)現(xiàn)系列課本課本描述 【主頁(yè)】 apachecn.org 【Github】@ApacheCN 暫時(shí)下線: 社區(qū) 暫時(shí)下線: cwiki 知識(shí)庫(kù) 自媒體平臺(tái) ...

    array_huang 評(píng)論0 收藏0

  • ApacheCN 學(xué)習(xí)資源匯總 2019.3

    摘要：主頁(yè)暫時(shí)下線社區(qū)暫時(shí)下線知識(shí)庫(kù)自媒體平臺(tái)微博知乎簡(jiǎn)書(shū)博客園合作侵權(quán)，請(qǐng)聯(lián)系請(qǐng)抄送一份到特色項(xiàng)目中文文檔和教程與機(jī)器學(xué)習(xí)實(shí)用指南人工智能機(jī)器學(xué)習(xí)數(shù)據(jù)科學(xué)比賽系列項(xiàng)目實(shí)戰(zhàn)教程文檔代碼視頻數(shù)據(jù)科學(xué)比賽收集平臺(tái)，，劍指，經(jīng)典算法實(shí)現(xiàn)系列課本課本描述 【主頁(yè)】 apachecn.org 【Github】@ApacheCN 暫時(shí)下線: 社區(qū) 暫時(shí)下線: cwiki 知識(shí)庫(kù) 自媒體平臺(tái) ...

    Prasanta 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<