摘要：團隊昨天發(fā)布的一個模型學(xué)會一切論文背后，有一個用來訓(xùn)練模型的模塊化多任務(wù)訓(xùn)練庫。模塊化的多任務(wù)訓(xùn)練庫利用工具來開發(fā)，定義了一個深度學(xué)習(xí)系統(tǒng)中需要的多個部分?jǐn)?shù)據(jù)集模型架構(gòu)優(yōu)化工具學(xué)習(xí)速率衰減計劃，以及超參數(shù)等等。

Google Brain團隊昨天發(fā)布的“一個模型學(xué)會一切”論文背后，有一個用來訓(xùn)練MultiModel模型的模塊化多任務(wù)訓(xùn)練庫：Tensor2Tensor。

今天，Google Brain高級研究員?ukasz Kaiser就在官方博客上發(fā)文，詳細介紹了新開源的T2T庫。

以下內(nèi)容編譯自Google Research的官方博客：

深度學(xué)習(xí)推動了許多技術(shù)的快速發(fā)展，例如機器翻譯、語音識別和對象檢測。在科研領(lǐng)域，人們可以查找作者開源的代碼，從而復(fù)現(xiàn)他們的研究成果，推動深度學(xué)習(xí)技術(shù)的進一步發(fā)展。

然而，這些深度學(xué)習(xí)系統(tǒng)大部分都采用了獨特配置，需要大量的工程開發(fā)，并且可能只適用于特定的問題或架構(gòu)，導(dǎo)致很難嘗試新的實驗并比較結(jié)果。

今天，我們很高興發(fā)布Tensor2Tensor (T2T)，一個用于在TensorFlow中訓(xùn)練深度學(xué)習(xí)模型的開源系統(tǒng)。

T2T有助于開發(fā)頂尖水平的模型，并適用各類機器學(xué)習(xí)應(yīng)用，例如翻譯、分析和圖像標(biāo)注等。這意味著，對各種不同想法的探索要比以往快得多。

此次發(fā)布的這個版本還提供了由數(shù)據(jù)集和模型構(gòu)成的庫文件，包括近期幾篇論文中最優(yōu)秀的模型(文末列舉了這幾篇論文)，從而推動你自己的深度學(xué)習(xí)研究。

為了證明T2T可以帶來的改進，我們將庫文件應(yīng)用于機器翻譯。正如上表所顯示的，兩個不同的T2T模型，SliceNet和Transformer，超過了此前表現(xiàn)較好的系統(tǒng)GNMT+MoE。

我們最優(yōu)秀的T2T模型Transformer，比標(biāo)準(zhǔn)GNMT模型高出3.8分，而GNMT自身要比作為基準(zhǔn)的翻譯系統(tǒng)MOSES高出4分。

值得注意的是，通過T2T，你可以使用單個GPU，在一天時間里獲得此前最漂亮的結(jié)果：小規(guī)模Transformer模型基于單個GPU在一天的訓(xùn)練后獲得了24.9 BLEU。

目前，所有擁有GPU的研究者都可以自行探索最強大的翻譯模型。我們在Github上介紹了如何去做。

模塊化的多任務(wù)訓(xùn)練

T2T庫利用TensorFlow工具來開發(fā)，定義了一個深度學(xué)習(xí)系統(tǒng)中需要的多個部分：數(shù)據(jù)集、模型架構(gòu)、優(yōu)化工具、學(xué)習(xí)速率衰減計劃，以及超參數(shù)等等。

最重要的是，T2T在所有這些部分之間實現(xiàn)了標(biāo)準(zhǔn)接口，并配置了當(dāng)前機器學(xué)習(xí)的較佳行為方式。

因此，你可以選擇任意數(shù)據(jù)集、模型、優(yōu)化工具，以及一套超參數(shù)，隨后運行訓(xùn)練，看看效果如何。

我們實現(xiàn)了架構(gòu)的模塊化，因此輸入數(shù)據(jù)和預(yù)期輸出結(jié)果之間所有部分都是張量到張量的函數(shù)。

如果你對模型的架構(gòu)有新想法，那么不需要替換所有設(shè)置。你可以保留嵌入的部分，用自己的函數(shù)來替換模型體。這樣的函數(shù)以張量為輸入，并返回張量。

這意味著T2T很靈活，訓(xùn)練不再局限于特定模型或數(shù)據(jù)集。

這也非常簡單，例如知名的LSTM序列到序列模型可以用幾十行代碼來定義。你也可以用不同類型的多任務(wù)來訓(xùn)練單個模型。在一定的限制下，單個模型甚至可以使用所有數(shù)據(jù)集來訓(xùn)練。

例如，我們的MultiModel模型用這種方式在T2T中進行了訓(xùn)練，在許多任務(wù)中取得了良好的結(jié)果。這一模型使用的訓(xùn)練數(shù)據(jù)集包括ImageNet(圖像分類)、MS COCO(圖像標(biāo)注)、WSJ(語音識別)、WMT(翻譯)，以及Penn Treebank分析語料庫。

這是首次證明，單個模型能同時執(zhí)行所有這些任務(wù)。

內(nèi)置的較佳行為方式

在最初版本中，我們還提供了腳本，用于生成在研究領(lǐng)域廣泛使用的數(shù)據(jù)集，少量模型，大量的超參數(shù)配置，以及其他一些技巧的配置。

考慮一下這樣的任務(wù)：將英語語句解析為語法選區(qū)樹。這個問題的研究已有幾十年歷史，并誕生了許多有競爭力的解決辦法。這可以被視為一個序列到序列問題，并使用神經(jīng)網(wǎng)絡(luò)來解決。不過，這需要大量的調(diào)節(jié)優(yōu)化。通過T2T，我們只需幾天時間，就可以添加解析數(shù)據(jù)集生成器，并調(diào)整我們的注意力轉(zhuǎn)換模型，針對這個問題來訓(xùn)練。驚喜的是，我們在一周時間里就取得了很好的結(jié)果。

相關(guān)資源

Tensor2Tensor GitHub：

https://github.com/tensorflow/tensor2tensor

Google Research Blog原文：

https://research.googleblog.com/2017/06/accelerating-deep-learning-research.html

文中提到“近期幾篇論文中最優(yōu)秀的模型”，這幾篇論文分別是：

Attention Is All You Need

https://arxiv.org/abs/1706.03762

Depthwise Separable Convolutions for Neural Machine Translation

https://arxiv.org/abs/1706.03059

One Model to Learn Them All

https://arxiv.org/abs/1706.05137

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754