資訊專欄INFORMATION COLUMN
摘要：有了自己的系統(tǒng)我覺得就很安心了，以后能夠做數(shù)據(jù)處理和機(jī)器學(xué)習(xí)方面就相對方便一些。隆重推薦的工具是我很喜歡的公司，他們有很多開源的工具，我覺得是最實(shí)用的代表。是，在很多機(jī)器學(xué)習(xí)里有應(yīng)用，也就是所謂的有向非循環(huán)。
最近在Prettyyes一直想建立起非常專業(yè)的data pipeline系統(tǒng)，然后沒有很多時間，這幾個禮拜正好app上線，有時間開始建立自己的 data pipeline，能夠很好的做每天的數(shù)據(jù)導(dǎo)入，數(shù)據(jù)收集，以及數(shù)據(jù)分析。
什么是ETLETL 是常用的數(shù)據(jù)處理，在以前的公司里，ETL 差不多是數(shù)據(jù)處理的基礎(chǔ)，要求非常穩(wěn)定，容錯率高，而且能夠很好的監(jiān)控。ETL的全稱是 Extract，Transform，Load， 一般情況下是將亂七八糟的數(shù)據(jù)進(jìn)行預(yù)處理，然后放到儲存空間上?？梢允荢QL的也可以是NOSQL的，還可以直接存成file的模式。
一開始我的設(shè)計(jì)思路是，用幾個cron job和celery來handle所有的處理，然后將我們的log文件存在hdfs，還有一些數(shù)據(jù)存在mysql，大概每天跑一次。核心是能夠scale，穩(wěn)定，容錯，roll back。我們的data warehouse就放在云上，就簡單處理了。
有了自己的ETL系統(tǒng)我覺得就很安心了，以后能夠做數(shù)據(jù)處理和機(jī)器學(xué)習(xí)方面就相對方便一些。
問題來了一開始我設(shè)計(jì)的思路和Uber一開始的ETL很像，因?yàn)槲矣X得很方便。但是我發(fā)覺一個很嚴(yán)重的問題，我一個人忙不過來。首先，要至少寫個前端UI來監(jiān)控cron job，但是市面上的都很差。其次，容錯的autorestart寫起來很費(fèi)勁，可能是我自己沒有找到一個好的處理方法。最后部署的時候相當(dāng)麻煩，如果要寫好這些東西，我一個人的話要至少一個月的時間，可能還不是特別robust。在嘗試寫了2兩天的一些碎片處理的腳本之后我發(fā)覺時間拖了實(shí)在太久了。
隆重推薦的工具airbnb是我很喜歡的公司，他們有很多開源的工具，airflow我覺得是最實(shí)用的代表。airflow 是能進(jìn)行數(shù)據(jù)pipeline的管理，甚至是可以當(dāng)做更高級的cron job 來使用。現(xiàn)在一般的大廠都說自己的數(shù)據(jù)處理是ETL，美其名曰 data pipeline，可能跟google倡導(dǎo)的有關(guān)。airbnb的airflow是用python寫的，它能進(jìn)行工作流的調(diào)度，提供更可靠的流程，而且它還有自帶的UI（可能是跟airbnb設(shè)計(jì)主導(dǎo)有關(guān)）。話不多說，先放兩張截圖：
airflow里最重要的一個概念是DAG。
DAG是directed asyclic graph，在很多機(jī)器學(xué)習(xí)里有應(yīng)用，也就是所謂的有向非循環(huán)。但是在airflow里你可以看做是一個小的工程，小的流程，因?yàn)槊總€小的工程里可以有很多“有向”的task，最終達(dá)到某種目的。在官網(wǎng)中的介紹里說dag的特點(diǎn)：
Scheduled: each job should run at a certain scheduled interval
Mission critical: if some of the jobs aren’t running, we are in trouble
Evolving: as the company and the data team matures, so does the data processing
Heterogenous: the stack for modern analytics is changing quickly, and most companies run multiple systems that need to be glued together
YEAH! It"s awesome, right? After reading all of these, I found it"s perfectly fit Prettyyes.
如何安裝安裝airflow超級簡單，使用pip就可以，現(xiàn)在airflow的版本是1.6.1，但是有個小的bug，這個之后會告訴大家如何修改。
pip install airflow
這里有個坑，因?yàn)閍irflow涉及到很到數(shù)據(jù)處理的包，所以會安裝pandas和numpy（這個Data Scientist應(yīng)該都很熟悉）但是國內(nèi)pip install 安裝非常慢，用douban的源也有一些小的問題。我的解決方案是，直接先用豆瓣的源安裝numpy 和 pandas，然后再安裝airflow，自動化部署的時候可以在requirements.txt 里調(diào)整順序就行了
如何運(yùn)行摘自官方網(wǎng)站
# airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME=~/airflow # install from pypi using pip pip install airflow # initialize the database airflow initdb # start the web server, default port is 8080 airflow webserver -p 8080
然后你就可以上web ui查看所有的dags，來監(jiān)控你的進(jìn)程。
如何導(dǎo)入dag一般第一次運(yùn)行之后，airflow會在默認(rèn)文件夾下生成airflow文件夾，然后你只要在里面新建一個文件dag就可以了。我這邊部署在阿里云上的文件tree大概是這個樣子的。
以下是我自己寫的我們公司prettyyes里需要每天處理log的其中一個小的dag：
from airflow import DAG
from airflow.operators import BashOperator
from datetime import datetime, timedelta
import ConfigParser
config = ConfigParser.ConfigParser()
config.read("/etc/conf.ini")
WORK_DIR = config.get("dir_conf", "work_dir")
OUTPUT_DIR = config.get("dir_conf", "log_output")
PYTHON_ENV = config.get("dir_conf", "python_env")
default_args = {
"owner": "airflow",
"depends_on_past": False,
"start_date": datetime.today() - timedelta(days=1),
"retries": 2,
"retry_delay": timedelta(minutes=15),
}
dag = DAG("daily_process", default_args=default_args, schedule_interval=timedelta(days=1))
templated_command = "echo "single" | {python_env}/python {work_dir}/mr/LogMR.py"
.format(python_env=PYTHON_ENV, work_dir=WORK_DIR) + " --start_date {{ ds }}"
task = BashOperator(
task_id="process_log",
bash_command=templated_command,
dag=dag
)
寫好之后，只要將這個dag放入之前建立好的dag文件夾，然后運(yùn)行：
python
來確保沒有語法錯誤。在測試?yán)锬憧梢钥吹轿业?/p>
schedule_interval=timedelta(days=1)
這樣我們的數(shù)據(jù)處理的任務(wù)就相當(dāng)于每天跑一次。更重要的是，airflow還提供處理bash處理的接口外還有hadoop的很多接口?？梢詾橐院筮B接hadoop系統(tǒng)提供便利。很多具體的功能可以看官方文檔。
其中的一個小的bugairflow 1.6.1有一個網(wǎng)站的小的bug，安裝成功后，點(diǎn)擊dag里的log會出現(xiàn)以下頁面：
這個只要將
airflow/www/utils.py
文件替換成最新的airflow github上的utils.py文件就行，具體的問題在這個：
fixes datetime issue when persisting logs
使用supervisord進(jìn)行deamonairflow本身沒有deamon模式，所以直接用supervisord就ok了，我們只要寫4行代碼。
[program:airflow_web] command=/home/kimi/env/athena/bin/airflow webserver -p 8080 [program:airflow_scheduler] command=/home/kimi/env/athena/bin/airflow scheduler
我覺得airflow特別適合小的團(tuán)隊(duì)，他的功能強(qiáng)大，而且真的部署方便。和hadoop，mrjob又可以無縫連接，對我們的業(yè)務(wù)有很大的提升。
Prettyyes 不以貌取人最膚淺
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/37685.html
摘要：下面我想介紹另一種學(xué)習(xí)思路，自頂向下的學(xué)習(xí)。是通過虛擬機(jī)創(chuàng)建集群，支持多種虛擬機(jī)，我這里用的。對內(nèi)或?qū)ν獗┞斗?wù)。和的控制器，通過配置的規(guī)則來管理。三個主要的命令行程序用了啟動集群。需要在所以節(jié)點(diǎn)上運(yùn)行，處理集群內(nèi)部通訊，類似。 之前就玩過docker，但是一直不知道怎么把容器運(yùn)用到生產(chǎn)上。構(gòu)建一個docker鏡像，把他run起來很簡單；難的是容器的部署（CICD），容器的網(wǎng)絡(luò)，數(shù)據(jù)持...
摘要：下面我想介紹另一種學(xué)習(xí)思路，自頂向下的學(xué)習(xí)。是通過虛擬機(jī)創(chuàng)建集群，支持多種虛擬機(jī)，我這里用的。對內(nèi)或?qū)ν獗┞斗?wù)。和的控制器，通過配置的規(guī)則來管理。三個主要的命令行程序用了啟動集群。需要在所以節(jié)點(diǎn)上運(yùn)行，處理集群內(nèi)部通訊，類似。 之前就玩過docker，但是一直不知道怎么把容器運(yùn)用到生產(chǎn)上。構(gòu)建一個docker鏡像，把他run起來很簡單；難的是容器的部署（CICD），容器的網(wǎng)絡(luò)，數(shù)據(jù)持...
摘要：下面我想介紹另一種學(xué)習(xí)思路，自頂向下的學(xué)習(xí)。是通過虛擬機(jī)創(chuàng)建集群，支持多種虛擬機(jī)，我這里用的。對內(nèi)或?qū)ν獗┞斗?wù)。和的控制器，通過配置的規(guī)則來管理。三個主要的命令行程序用了啟動集群。需要在所以節(jié)點(diǎn)上運(yùn)行，處理集群內(nèi)部通訊，類似。 之前就玩過docker，但是一直不知道怎么把容器運(yùn)用到生產(chǎn)上。構(gòu)建一個docker鏡像，把他run起來很簡單；難的是容器的部署（CICD），容器的網(wǎng)絡(luò)，數(shù)據(jù)持...
摘要：使用的公司能大大增加他們的應(yīng)用程序發(fā)行頻率。然而，這是戰(zhàn)略需求，將會提高交付速度，減少錯誤。我們的建議是，最好進(jìn)入流程定義，以實(shí)現(xiàn)零接觸持續(xù)部署的總體目標(biāo)。 在最好的時候創(chuàng)建用戶喜歡的高質(zhì)量應(yīng)用程序并不是件容易的事情。更何況，要怎樣做才能更快地創(chuàng)建用戶喜歡的高質(zhì)量應(yīng)用程序并且能夠不斷改進(jìn)它們呢？這就是需要引入持續(xù)集成和持續(xù)交付（CI / CD）的地方。 持續(xù)集成（CI） 什么是持續(xù)集成...
摘要：大部分小企業(yè)的運(yùn)維就是加一些腳本就可以搞定了。極端大型的企業(yè)，比如，比如騰訊，百度等，都有一套非常完善和復(fù)雜的運(yùn)維平臺。做一個這樣的運(yùn)維平臺是不容易的。 這是一個未經(jīng)驗(yàn)證的假設(shè)，just a dump of my current thought。 大部分小企業(yè)的運(yùn)維就是 ssh 加一些 fabric 腳本就可以搞定了。極端大型的企業(yè)，比如 google twitter，比如騰訊 SN...
閱讀 3558·2021-11-08 13:15
閱讀 2115·2019-08-30 14:20
閱讀 1396·2019-08-28 18:08
閱讀 989·2019-08-28 17:51
閱讀 1496·2019-08-26 18:26
閱讀 2998·2019-08-26 13:56
閱讀 1494·2019-08-26 11:46
閱讀 2594·2019-08-23 14:22
