摘要：雖然我們可以在網(wǎng)上參照各種模板項(xiàng)目文章博客等創(chuàng)建一個(gè)數(shù)據(jù)科學(xué)項(xiàng)目，但是目前也沒有教科書對(duì)這些知識(shí)做一個(gè)統(tǒng)一的回答。舉個(gè)例子來(lái)說，數(shù)據(jù)科學(xué)分析項(xiàng)目通常就不需要部署和監(jiān)控這兩個(gè)過程。創(chuàng)建文件描述源數(shù)據(jù)及位置。進(jìn)一步探索和報(bào)告在整個(gè)數(shù)據(jù)科學(xué)項(xiàng)目中

摘要：?在一個(gè)新的數(shù)據(jù)科學(xué)項(xiàng)目，你應(yīng)該如何組織你的項(xiàng)目流程？數(shù)據(jù)和代碼要放在那里？應(yīng)該使用什么工具？在對(duì)數(shù)據(jù)處理之前，需要考慮哪些方面？讀完本文，會(huì)讓你擁有一個(gè)更加科學(xué)的工作流程。

假如你想要開始一個(gè)新的數(shù)據(jù)科學(xué)項(xiàng)目，比如對(duì)數(shù)據(jù)集進(jìn)行簡(jiǎn)單的分析，或者是一個(gè)復(fù)雜的項(xiàng)目。你應(yīng)該如何組織你的項(xiàng)目流程？數(shù)據(jù)和代碼要放在那里？應(yīng)該使用什么工具？在對(duì)數(shù)據(jù)處理之前，需要考慮哪些方面？

數(shù)據(jù)科學(xué)是當(dāng)前一個(gè)不太成熟的行業(yè)，每個(gè)人都各成一家。雖然我們可以在網(wǎng)上參照各種模板項(xiàng)目、文章、博客等創(chuàng)建一個(gè)數(shù)據(jù)科學(xué)項(xiàng)目，但是目前也沒有教科書對(duì)這些知識(shí)做一個(gè)統(tǒng)一的回答。每個(gè)數(shù)據(jù)科學(xué)家都是從經(jīng)驗(yàn)和錯(cuò)誤中不斷的探索和學(xué)習(xí)。現(xiàn)在，我逐漸了解到什么是典型的“數(shù)據(jù)科學(xué)項(xiàng)目”，應(yīng)該如何構(gòu)建項(xiàng)目？需要使用什么工具？在這篇文章中，我希望把我的經(jīng)驗(yàn)分享給你。

工作流程

盡管數(shù)據(jù)科學(xué)項(xiàng)目的目標(biāo)、規(guī)模及技術(shù)所涉及的范圍很廣，但其基本流程大致如下：

如上圖所示，項(xiàng)目不同，其側(cè)重點(diǎn)也會(huì)有所不同：有些項(xiàng)目的某個(gè)過程可能特別復(fù)雜，而另一些項(xiàng)目可能就不需要某一過程。舉個(gè)例子來(lái)說，數(shù)據(jù)科學(xué)分析項(xiàng)目通常就不需要“部署”（Deployment）和“監(jiān)控”（Monitoring）這兩個(gè)過程。現(xiàn)在，我們逐一來(lái)細(xì)說各個(gè)過程。

源數(shù)據(jù)訪問

不管是你接觸到人類基因組還是iris.csv，通常都會(huì)有?“原始源數(shù)據(jù)”這一概念。數(shù)據(jù)有很多種形式，可以是固定的，也可以是動(dòng)態(tài)變化的，可以存儲(chǔ)在本地或云端。其第一步都是對(duì)源數(shù)據(jù)訪問，如下所示：

源數(shù)據(jù)是*.csv文件集合。使用Cookiecutter工具在項(xiàng)目的根文件夾中創(chuàng)建一個(gè)data/raw/子目錄，并將所有的文件存儲(chǔ)在這里；創(chuàng)建docs/data.rst文件描述源數(shù)據(jù)的含義。

源數(shù)據(jù)是*.csv文件集合。啟動(dòng)SQL服務(wù)器，創(chuàng)建一個(gè)raw表，將所有的CSV文件作為多帶帶的表導(dǎo)入。創(chuàng)建docs/data.rst文件描述源數(shù)據(jù)及SQL Server位置。

源數(shù)據(jù)是基因組序列文件、患者記錄、excel及word文檔組合等，后續(xù)還會(huì)以不可預(yù)測(cè)的方式增長(zhǎng)。這樣可以在云服務(wù)器中創(chuàng)建SQL數(shù)據(jù)庫(kù)，將表導(dǎo)入。你可以在data/raw/目錄存儲(chǔ)特別大的基因組序列，在data/raw/unprocessed目錄存儲(chǔ)excel和word文件；還可以使用DVC創(chuàng)建Amazon S3存儲(chǔ)器，并將data/raw/目錄推送過去；也可以創(chuàng)建一個(gè)Python包來(lái)訪問外部網(wǎng)站；創(chuàng)建docs/data.rst目錄，指定SQL服務(wù)器、S3存儲(chǔ)器和外部網(wǎng)站。

源數(shù)據(jù)中包含不斷更新的網(wǎng)站日志。可以使用ELK stack?并配置網(wǎng)站以流式傳輸新日志。

源數(shù)據(jù)包含10萬(wàn)張大小為128128像素的彩色圖像，所有圖像的大小則為100,0001281283，將其保存在HDF5文件images.h5中。創(chuàng)建一個(gè)Quilt數(shù)據(jù)包并將其推送給自己的私人Quilt存儲(chǔ)庫(kù)；創(chuàng)建/docs/data.rst文件，為了使用數(shù)據(jù)，必須首先使用quilt install mypkg/images導(dǎo)入工作區(qū)，然后再使用?from quilt.data.mypkg import images導(dǎo)入到代碼中。

源數(shù)據(jù)是模擬數(shù)據(jù)集。將數(shù)據(jù)集生成實(shí)現(xiàn)為Python類，并在README.txt文件中記錄其使用。

通常來(lái)說，在設(shè)置數(shù)據(jù)源的時(shí)候可以遵循以下規(guī)則：

存儲(chǔ)數(shù)據(jù)的方式有意義，另外還要方便查詢、索引。

保證數(shù)據(jù)易于共享，可以使用NFS分區(qū)、Amazon S3存儲(chǔ)器、Git-LFS存儲(chǔ)器、Quilt包等。

確保源數(shù)據(jù)是只讀狀態(tài)，且要備份副本。

花一定的時(shí)間，記錄下所有數(shù)據(jù)的含義、位置及訪問過程。

上面這個(gè)步驟很重要。后續(xù)項(xiàng)目會(huì)你可能會(huì)犯任何錯(cuò)誤，比如源文件無(wú)效、誤用方法等等，如果沒有記住數(shù)據(jù)的含義、位置及訪問過程，那將很麻煩。

數(shù)據(jù)處理

數(shù)據(jù)處理的目的是將數(shù)據(jù)轉(zhuǎn)化為“干凈”的數(shù)據(jù)，以便建模。在多數(shù)情況下，這種“干凈”的形式就是一個(gè)特征表，因此，“數(shù)據(jù)處理”通常歸結(jié)為各種形式的特征工程（feature engineering），其核心要求是：確保特征工程的邏輯可維護(hù)，目標(biāo)數(shù)據(jù)集可重現(xiàn)，整個(gè)管道可以追溯到源數(shù)據(jù)表述。計(jì)算圖（computation graph）即滿足以上要求。具體例子如下：

根據(jù)cookiecutter-data-science規(guī)則，使用Makefile來(lái)描述計(jì)算圖。通過腳本實(shí)現(xiàn)每個(gè)步驟，該腳本將一些數(shù)據(jù)文件作為輸入，然后輸出一個(gè)新的數(shù)據(jù)文件并存儲(chǔ)在項(xiàng)目的data/interim或data/processed目錄中?？梢允褂?make -j 命令進(jìn)行并行運(yùn)算。

使用DVC來(lái)描述和執(zhí)行計(jì)算圖，其過程與上面類似，此外還有共享生成文件等功能。

還可以使用Luigi、Airflow或其他專用工作流管理系統(tǒng)來(lái)描述和執(zhí)行計(jì)算圖。除此之外，還可以在基于web的精美儀表板上查看計(jì)算進(jìn)度。

所有源數(shù)據(jù)都以表的形式存儲(chǔ)在SQL數(shù)據(jù)庫(kù)中，在SQL視圖中實(shí)現(xiàn)所有的特征提取邏輯。此外，還可以使用SQL視圖來(lái)描述對(duì)象的樣本。然后，你可以根據(jù)這些特征和樣本視圖創(chuàng)建最終的模型數(shù)據(jù)集。

首先，允許用戶輕松的跟蹤當(dāng)前所定義的特征，而不用存儲(chǔ)在大型數(shù)據(jù)表中。特征定義僅在代碼運(yùn)行期間有效；其次，模型從部署到生產(chǎn)非常簡(jiǎn)單，假設(shè)實(shí)時(shí)數(shù)據(jù)庫(kù)使用相同的模式，你就只需要復(fù)制相應(yīng)的視圖。此外，還可以使用CTE語(yǔ)句將所有的特征定義編譯為模型最終預(yù)測(cè)的單個(gè)查詢語(yǔ)句。

在進(jìn)行數(shù)據(jù)處理時(shí)，請(qǐng)注意一下問題：

1.重復(fù)以計(jì)算圖的形式處理數(shù)據(jù)。

2.考慮計(jì)算基礎(chǔ)架構(gòu)。是否進(jìn)行長(zhǎng)時(shí)間計(jì)算？是否需要并行計(jì)算還是聚類？是否可以從具有跟蹤任務(wù)執(zhí)行的管理UI作業(yè)中獲益？

3.如果想要將模型部署到生產(chǎn)環(huán)境中，請(qǐng)確保系統(tǒng)支持該用例。如果正在開發(fā)一個(gè)包含JAVA Android應(yīng)用程序模型，但是還是想用Python開發(fā)，為了避免不必要的麻煩，就可以使用一個(gè)專門設(shè)計(jì)的DSL，然后將這個(gè)DSL轉(zhuǎn)換為Java或PMML之類的中間格式。

4.考慮存儲(chǔ)特征或臨時(shí)計(jì)算的元數(shù)據(jù)?？梢詫⒚總€(gè)特征列保存在多帶帶的文件中，或使用Python函數(shù)注釋。

建模

完成數(shù)據(jù)處理和特征設(shè)計(jì)后即可開始進(jìn)行建模。在一些數(shù)據(jù)科學(xué)項(xiàng)目中，建?？梢詺w結(jié)為單個(gè)m.fit（X，y）或某個(gè)按鈕；而在其他項(xiàng)目中則可能會(huì)涉及數(shù)周的迭代和實(shí)驗(yàn)。通常來(lái)說，你可以從“特征工程”建模開始，當(dāng)模型的輸出構(gòu)成了很多特征時(shí)，數(shù)據(jù)處理和建模這兩個(gè)過程并沒有明確的界限，它們都涉及到計(jì)算。盡管如此，將建模多帶帶列出來(lái)作為一個(gè)步驟，仍然很有意義，因?yàn)檫@往往會(huì)涉及到一個(gè)特殊的需求：實(shí)驗(yàn)管理（experiment management）。具體例子如下：

如果你正在訓(xùn)練一個(gè)模型，用于在iris.csv數(shù)據(jù)集中對(duì)Irises進(jìn)行分類。你需要嘗試十個(gè)左右的標(biāo)準(zhǔn)sklearn模型，每個(gè)模型都有多個(gè)不同的參數(shù)值，并且測(cè)試不同的特征子集。

如果你正在設(shè)計(jì)一個(gè)基于神經(jīng)網(wǎng)絡(luò)的圖像分類模型。你可以使用ModelDB（或其他實(shí)驗(yàn)管理工具，如TensorBoard，Sacred，F(xiàn)GLab，Hyperdash，F(xiàn)loydHub，Comet.ML，DatMo，MLFlow，...）來(lái)記錄學(xué)習(xí)曲線和實(shí)驗(yàn)結(jié)果，以便選擇最佳的模型。

使用Makefile（或DVC、工作流引擎）實(shí)現(xiàn)整個(gè)管道。模型訓(xùn)練只是計(jì)算圖中的一個(gè)步驟，它輸出model-.pkl?文件，將模型最終AUC值附加到CSV文件，并創(chuàng)建?model-.html報(bào)告，還有一堆用于評(píng)估的模型性能報(bào)告。

實(shí)驗(yàn)管理/模型版本控制的UI外觀如下：

模型部署

在實(shí)際應(yīng)用中，模型最終都要部署到生產(chǎn)環(huán)境中，一定要有一個(gè)有效的計(jì)劃，下面有些例子：

建模管道輸出一個(gè)訓(xùn)練過模型的pickle文件。所有的數(shù)據(jù)訪問和特征工程代碼都是由一系列Python函數(shù)實(shí)現(xiàn)。你需要做的就是將模型部署到Python應(yīng)用程序中，創(chuàng)建一個(gè)包含必要函數(shù)和模型pickle文件的Python包。

管建模道輸出一個(gè)訓(xùn)練過的模型的pickle文件。部署模型需要使用Flask創(chuàng)建一個(gè)REST服務(wù)將其打包為一個(gè)docker容器，并通過公司的Kubernetes云服務(wù)器提供服務(wù)。

訓(xùn)練管道生成TensorFlow模型?？梢詫ensorFlow服務(wù)當(dāng)做REST服務(wù)。每次更新模型時(shí)，都要?jiǎng)?chuàng)建測(cè)試并運(yùn)行。

訓(xùn)練管道生成PMML文件。你可以用Java中的JPMML庫(kù)來(lái)讀取，一定要確保PMML導(dǎo)出器中要有模型測(cè)試。

訓(xùn)練管道將模型編譯為SQL查詢，將SQL查詢編碼到應(yīng)用程序中。

我們對(duì)模型部署做一下總結(jié)：

1.模型部署的方式有很多種。在部署之前一定要了解實(shí)際情況，并提前做計(jì)劃：是否需要將模型部署到其他語(yǔ)言編寫的代碼庫(kù)中？如果使用REST服務(wù)，服務(wù)的負(fù)載時(shí)多少？能否進(jìn)行批量預(yù)測(cè)？如果打算購(gòu)買服務(wù)，費(fèi)用是多少？如果決定使用PMML，那么就要確保它能夠支持你的預(yù)期預(yù)處理邏輯。如果在訓(xùn)練期間使用第三方數(shù)據(jù)源，那么就要考慮是否在生產(chǎn)中能夠與它們集成，以及如何在管道導(dǎo)出模型中對(duì)訪問信息進(jìn)行編碼。

2.模型一旦部署到生產(chǎn)環(huán)境，它就轉(zhuǎn)變?yōu)橐恍行袑?shí)際的代碼，所以也要滿足所有需求，因此，這就需要測(cè)試。在理想情況下，部署管道應(yīng)該產(chǎn)生用于部署的模型包以及測(cè)試時(shí)需要的所有內(nèi)容。

模型監(jiān)控

將模型成功部署到生產(chǎn)環(huán)境，也許訓(xùn)練集中的輸入分布與現(xiàn)實(shí)不同，模型需要重新練或重新校準(zhǔn)；也許系統(tǒng)性能沒有達(dá)到預(yù)期。因此，你需要收集模型性能的數(shù)據(jù)并對(duì)其進(jìn)行監(jiān)控。這就需要你設(shè)置一個(gè)可視化儀表板，具體事例如下：

將模型的輸入和輸出保存在logstash或數(shù)據(jù)表中，設(shè)置Metabase（或Tableau，MyDBR，Grafana等）并創(chuàng)建可視化模型性能和校準(zhǔn)指標(biāo)報(bào)告。

進(jìn)一步探索和報(bào)告

在整個(gè)數(shù)據(jù)科學(xué)項(xiàng)目中，你還需要嘗試不同的假設(shè)，以生成圖標(biāo)和報(bào)告。這些任務(wù)與構(gòu)建管道有所不同，主要體現(xiàn)在兩個(gè)方面：

首先，大部分任務(wù)不需要可再現(xiàn)性，即不用包含在計(jì)算圖中。另外，也沒必要使用模型的可重復(fù)性，在Jupyter中手動(dòng)繪制圖即可。

其次，這些“進(jìn)一步探索”的問題往往具有不可預(yù)測(cè)性：可能需要分析性能監(jiān)控日志中的一個(gè)異常值；或者測(cè)試一個(gè)新的算法。這些探索會(huì)塞滿你的筆記本中，團(tuán)隊(duì)中的其他人可能看不懂你的記錄。因此按照日期排列子項(xiàng)目很重要。

在項(xiàng)目中創(chuàng)建project目錄，子文件夾命名格式為：projects/YYYY-MM-DD -項(xiàng)目名稱。如下所示：

./2017-01-19 - Training prototype/
??????????????? (README, unsorted files)
./2017-01-25 - Planning slides/
??????????????? (README, slides, images, notebook)
./2017-02-03 - LTV estimates/
???????????????? README
???????????????? tasks/
?????????????????? (another set of?
??????????????????? date-ordered subfolders)
./2017-02-10 - Cleanup script/
?????????????? ??README
???????????????? script.py
./... 50 folders more ...

注意，你可以根據(jù)需要自由組織每個(gè)子項(xiàng)目的內(nèi)部目錄，因?yàn)槊總€(gè)子項(xiàng)目很可能也是一個(gè)“數(shù)據(jù)科學(xué)項(xiàng)目”。在任何情況下，在每個(gè)子項(xiàng)目中都要有個(gè)README文件夾或README.txt文件，簡(jiǎn)要列出每個(gè)子項(xiàng)目目錄的信息。

如果項(xiàng)目列表太長(zhǎng)，你需要重新組織項(xiàng)目目錄，比如壓縮一部分文件移動(dòng)到存檔文件夾中?！疤剿餍浴钡娜蝿?wù)有兩種形式，即一次性分析和可重復(fù)性使用的代碼，這時(shí)候建立一些約定很有必要。

服務(wù)清單

數(shù)據(jù)科學(xué)項(xiàng)目可能會(huì)依賴一些服務(wù)，可以指定提供以下9個(gè)關(guān)鍵服務(wù)，來(lái)描述期望：

1.文件存儲(chǔ)。任何一個(gè)數(shù)據(jù)科學(xué)項(xiàng)目都必須有個(gè)存儲(chǔ)項(xiàng)目的地方，且需要整個(gè)團(tuán)隊(duì)共享。它是網(wǎng)絡(luò)驅(qū)動(dòng)器上的一個(gè)文件夾？還是Git存儲(chǔ)庫(kù)中的一個(gè)文件夾？

2.數(shù)據(jù)服務(wù)。如何存儲(chǔ)和訪問數(shù)據(jù)？這里的“數(shù)據(jù)”指的是計(jì)算機(jī)讀取或輸出的所有內(nèi)容，包括源數(shù)據(jù)、中間結(jié)果及第三方數(shù)據(jù)集訪問、元數(shù)據(jù)、模型及報(bào)告等。

3.版本。代碼、數(shù)據(jù)、模型、報(bào)告和文檔都需要有版本控制，另外一定要備份！

4.元數(shù)據(jù)和文檔。如何記錄項(xiàng)目及子項(xiàng)目？是否有任何機(jī)器都可讀的特征、腳本、數(shù)據(jù)集或模型的元數(shù)據(jù)？

5.交互式計(jì)算。在交互式計(jì)算中，你選擇JupyterLab、RStudio、ROOT、Octave還是Matlab？您是否為交互式并行計(jì)算設(shè)置了一個(gè)聚類（如ipyparallel或dask）？

6.作業(yè)隊(duì)列和調(diào)度程序。代碼如何運(yùn)行？是否需要安排定期維護(hù)？

7.計(jì)算圖。如何描述計(jì)算圖并建立可重復(fù)性？

8.實(shí)驗(yàn)管理。如何收集、查看和分析模型培訓(xùn)進(jìn)度和結(jié)果？使用?ModelDB、Hyperdash還是?FloydHub？

9.監(jiān)控儀表板。如何收集和跟蹤模型在生產(chǎn)環(huán)境中的具體表現(xiàn)？使用元數(shù)據(jù)庫(kù)、Tableau、?PowerBI還是Grafana？

最后，我總結(jié)了一個(gè)電子表格，包含了本文提到的所有工具，可自行下載使用。

閱讀原文

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。