摘要：自從年月開源以來，我們做了一些重大改進(jìn)?，F(xiàn)在，讓我們?cè)倩氐竭@個(gè)項(xiàng)目開始的地方，回顧我們的進(jìn)展過程，并分享我們下一步的方向。

自從2016年2月 TensorFlow Serving 開源以來，我們做了一些重大改進(jìn)?，F(xiàn)在，讓我們?cè)倩氐竭@個(gè)項(xiàng)目開始的地方，回顧我們的進(jìn)展過程，并分享我們下一步的方向。

在 TensorFlow Serving 啟動(dòng)之前，谷歌公司內(nèi)的 TensorFlow 用戶也必須從頭開始創(chuàng)建自己的服務(wù)系統(tǒng)。雖然一開始服務(wù)看起來很容易，但一次性服務(wù)解決方案很快就會(huì)變得更復(fù)雜。機(jī)器學(xué)習(xí)（ML）服務(wù)系統(tǒng)需要支持模型版本控制（對(duì)于具有回滾選項(xiàng)的模型更新）和多個(gè)模型（通過A/B測(cè)試進(jìn)行試驗(yàn)），同時(shí)確保并發(fā)模型在硬件加速器（GPU和TPU）上實(shí)現(xiàn)高吞吐量和低延遲。因此，我們開始創(chuàng)建一個(gè)獨(dú)立、通用的 TensorFlow Serving 軟件棧。

我們從一開始據(jù)決定將其開源，開發(fā)工作是從2015年9月開始。幾個(gè)月后，我們創(chuàng)建了最初的端到端工作系統(tǒng)，并在2016年2月釋出第一個(gè)開源版本。

在過去一年半的時(shí)間里，在我們的用戶和公司內(nèi)外的合作伙伴的幫助下，TensorFlow Serving 得以提供先進(jìn)的性能、較佳的實(shí)踐和標(biāo)準(zhǔn):

開箱即用的優(yōu)化服務(wù)和可定制性：我們現(xiàn)在提供一個(gè)預(yù)構(gòu)建的規(guī)范服務(wù)二進(jìn)制文件，針對(duì)帶 AVX 的現(xiàn)代CPU進(jìn)行了優(yōu)化，因此開發(fā)人員不需要從我們的庫中自己組裝二進(jìn)制文件，除非他們有特殊需求。同時(shí)，我們添加了一個(gè)基于注冊(cè)表的框架，允許我們的庫被用于定制（甚至是非TensorFlow）的服務(wù)場(chǎng)景。

多模型服務(wù)：從一個(gè)模型擴(kuò)展到多個(gè)并行服務(wù)的模型，會(huì)出現(xiàn)一些性能上的阻礙。我們通過（1）在隔離的線程池中加載多個(gè)模型，以避免在其他模型中出現(xiàn)延遲峰值；（2）在服務(wù)器啟動(dòng)時(shí)，并行加速所有模型的初始加載；（3）多模型批交錯(cuò)以復(fù)用硬件加速器（GPU/TPU）。

標(biāo)準(zhǔn)化模型格式：我們將 SavedModel 添加到 TensorFlow 1.0，為社區(qū)提供了一種單一標(biāo)準(zhǔn)的模型格式，可以跨訓(xùn)練和服務(wù)工作。

易于使用的推理API：我們?yōu)槌Ｒ姷耐评砣蝿?wù)（分類、回歸）發(fā)布了易于使用的API，這些API適用于廣泛的應(yīng)用程序。為了支持更高級(jí)的用例，我們支持一個(gè)較低級(jí)的基于 tensor 的API（預(yù)測(cè)）和一個(gè)允許多任務(wù)建模的新的多重推理API。

我們的所有工作都通過與以下各方的密切合作實(shí)現(xiàn)的：（a）谷歌的 ML SRE 團(tuán)隊(duì)確保了我們團(tuán)隊(duì)的強(qiáng)壯并滿足內(nèi)部SLA; （b）谷歌其他機(jī)器學(xué)習(xí)基礎(chǔ)架構(gòu)團(tuán)隊(duì)，包括廣告服務(wù)和TFX; （c）Google Play等應(yīng)用程序的團(tuán)隊(duì)；（d）我們?cè)诩又荽髮W(xué)伯克利分校RISE實(shí)驗(yàn)室的合作伙伴，他們研究與Clipper服務(wù)系統(tǒng)互補(bǔ)的問題; （e）我們的開源用戶群和貢獻(xiàn)者。

TensorFlow Serving 目前正在為1100多個(gè)我們自己的項(xiàng)目，包括谷歌云的ML預(yù)測(cè)，每秒處理數(shù)千萬次的推理任務(wù)。核心服務(wù)代碼可以通過開源版本獲得：https://github.com/tensorflow/serving/releases

展望未來，我們的工作還遠(yuǎn)未完成，我們正在探索一些創(chuàng)新的途徑。今天，我們很高興在兩個(gè)實(shí)驗(yàn)領(lǐng)域分享早期進(jìn)展：

Granular batching：我們?cè)趯Ｓ糜布℅PU和TPU）上實(shí)現(xiàn)高吞吐量的關(guān)鍵技術(shù)是“批處理”（batching）：聯(lián)合處理多個(gè)樣本以實(shí)現(xiàn)高效。我們正在開發(fā)技術(shù)和較佳實(shí)踐來改進(jìn)批處理：（a）使批處理能夠僅針對(duì)計(jì)算的GPU / TPU部分，以獲得較高效率; （b）允許在遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行batching，用于處理序列數(shù)據(jù)，例如文本和事件序列。我們正在嘗試使用Batch/Unbatch對(duì)任意子圖進(jìn)行batching。

分布式模型服務(wù)：我們將模型分片（model sharding）技術(shù)作為處理模型的一種方法，這些模型由于太大而無法適應(yīng)一個(gè)服務(wù)器節(jié)點(diǎn)，或者不能以節(jié)省內(nèi)存的方式共享子模型。我們最近在生產(chǎn)中推出了一個(gè)1TB+的模型，并取得了良好的效果，希望很快開源。

再次感謝我們所有的用戶和合作伙伴，他們提供了反饋、代碼和想法。參加項(xiàng)目：github.com/tensorflow/serving

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754