摘要：谷歌表示，在一些情況下，系統(tǒng)的翻譯準(zhǔn)確度能夠接近人類(lèi)翻譯水平。年月，谷歌推出了新型的翻譯系統(tǒng)。因此，相比以往任何翻譯系統(tǒng)，谷歌的新型翻譯系統(tǒng)更加接近人類(lèi)大腦的翻譯方式。

作為全球 AI 語(yǔ)言翻譯服務(wù)的領(lǐng)先者之一，2016年9月，谷歌推出了新型的翻譯系統(tǒng)，Google Neural Machine Translation（GNMT），能讓翻譯系統(tǒng)不再像以往那樣逐字逐字地翻譯，而是從整體上分析句子，大幅提升了機(jī)器翻譯的質(zhì)量。谷歌表示，在一些情況下，GNMT 系統(tǒng)的翻譯準(zhǔn)確度能夠接近人類(lèi)翻譯水平。本篇文章分析了 google 新型翻譯系統(tǒng)的技術(shù)實(shí)現(xiàn)。

2016年9月，谷歌推出了新型的翻譯系統(tǒng)。自此，翻譯系統(tǒng)獲得了諸多有意思的發(fā)展。本篇文章將用盡可能簡(jiǎn)潔的語(yǔ)句為大家介紹該新型翻譯系統(tǒng)。

早期版本的翻譯系統(tǒng)是基于短語(yǔ)的機(jī)器翻譯，即 PBMT（Phrase-based Machine Translation）。PBMT 會(huì)將輸入的句子分成一組單詞或者短語(yǔ)，并將其多帶帶翻譯。這顯然不是較佳的翻譯策略，完全忽略了整個(gè)語(yǔ)句的上下文之間的聯(lián)系。而新型翻譯系統(tǒng)使用的是谷歌神經(jīng)機(jī)器翻譯，即 GNMT（Google Neural Machine Translation）。該模型改進(jìn)了傳統(tǒng)的 NMT。接下來(lái)，讓我們看看 GNMT 是如何工作的。

編碼器

在理解編碼器之前，我們必須先了解一下 LSTM（Long-Short-Term-Memory） 單元。簡(jiǎn)單來(lái)說(shuō)，LSTM 單元就是一個(gè)具有記憶概念的神經(jīng)網(wǎng)絡(luò)。LSTM 通常用于“學(xué)習(xí)”時(shí)間序列或者時(shí)間數(shù)據(jù)中的某些模式。在任意指定的點(diǎn)，LSTM 都能接受新的向量輸入，并且使用“新的輸入+上下文之間的聯(lián)系”這樣的組合生成預(yù)期的輸出結(jié)果：

上圖中，xt 表示在時(shí)間點(diǎn) t 時(shí)的輸入數(shù)據(jù)，ht-1 表示從時(shí)間點(diǎn) t-1 傳過(guò)來(lái)的上下文信息。如果 xt 的維度是 d，那么 ht-1 的維度就是 2d，ht-1 是以下兩個(gè)向量的級(jí)聯(lián)：

在最后一個(gè)時(shí)間步長(zhǎng) t-1（短期記憶），相同 LSTM 的預(yù)期輸出；

另外一個(gè)編碼長(zhǎng)期記憶的 d 維度向量——也稱(chēng)為單元狀態(tài)。

第二部分通常不用于架構(gòu)中的下一個(gè)組件。相反，它在下一個(gè)步驟中會(huì)被相同的 LSTM 所使用。通常，在伴有預(yù)期輸出的同時(shí)，我們會(huì)使用大量帶標(biāo)簽的序列數(shù)據(jù)來(lái)訓(xùn)練 LSTM 模型。這會(huì)讓我們知道應(yīng)該重新訓(xùn)練或者保留輸入哪些部分，以及如何用數(shù)學(xué)表達(dá)處理 xt 和 ht-1 ，進(jìn)而得出 ht。如果你想更好地了解 ?LSTM，那么我推薦 Christopher Olah 寫(xiě)的這篇博客：

http://colah.github.io/posts/2015-08-Understanding-LSTMs/。

LSTM 也可以按下圖方式展開(kāi)：

不要擔(dān)心，上圖中均為同一個(gè) LSTM 單元的副本（因此采用相同的訓(xùn)練方式），每個(gè)單元的輸出會(huì)反饋到下一個(gè)輸入。這允許我們可以一次性地輸入整個(gè)向量集合（實(shí)際上，是一整個(gè)時(shí)間序列），而不用分次多帶帶向 LSTM 的副本中輸入。

GNMT 的編碼器網(wǎng)絡(luò)本質(zhì)上是一個(gè)堆棧 LSTM。

所有水平方向的粉紅色/綠色框都是“展開(kāi)的” LSTM。因此，上圖中的模型具有8個(gè)堆疊的 LSTM。整個(gè)架構(gòu)的輸入是一個(gè)句子中的有序集標(biāo)記，每個(gè)都以向量的形式表示。請(qǐng)注意，我說(shuō)的是標(biāo)記，而不是一個(gè)詞。在預(yù)處理過(guò)程中，GNMT 負(fù)責(zé)將所有的詞分解成標(biāo)記或者片段，然后將這些標(biāo)記或者片段輸入到神經(jīng)網(wǎng)絡(luò)中。這會(huì)使框架（至少部分地）能夠理解某些沒(méi)見(jiàn)過(guò)的復(fù)雜詞匯。

以“Pteromerhanophobia”詞為例，即使你可能并不知道它是什么意思，但是卻可以知道這個(gè)詞具有恐懼的意思，因?yàn)樗腔凇皃hobia”標(biāo)記的。谷歌將這種方法稱(chēng)為 Wordpiece 建模，在其訓(xùn)練階段，需要從巨大的詞庫(kù)中分解詞匯，依據(jù)的是統(tǒng)計(jì)學(xué)習(xí)。

在使用堆棧 LSTM 的時(shí)候，每一層都會(huì)根據(jù)上一層反饋給它的時(shí)間序列得出一個(gè)模式。越往上層，越能看到更多的抽象模式，上層的模式是從下層學(xué)到的。例如，最底層看到的可能是一組點(diǎn)，接下來(lái)的一層將會(huì)是一條線(xiàn)，其下一層看到的將是由線(xiàn)條組成的諸個(gè)多邊形，再接下來(lái)，你會(huì)看到從多邊形中學(xué)習(xí)得到的一個(gè)對(duì)象……當(dāng)然，這是有限制的，取決于使用堆棧 LSTM 的數(shù)量和使用方法。并不是 LSTM 越多越好，因?yàn)樽罱K你會(huì)發(fā)現(xiàn)訓(xùn)練這個(gè)模型太慢了，而且非常困難。

除了堆棧 LSTM，上面的這種架構(gòu)還有一些有趣的方面。

你會(huì)看到底部的第二層是綠色的。這是因?yàn)榧^——即句子中的標(biāo)記順序，在這一層是相反的。這意味著，第二個(gè) LSTM 會(huì)以相反的順序看到整個(gè)句子。這樣做的原因很簡(jiǎn)單：當(dāng)你把某個(gè)句子看作整體時(shí)，其中任意一個(gè)單詞的“語(yǔ)境”都將包含其前面和其后面的單詞。兩個(gè)最底層的 LSTM 都將原始的句子作為輸入，但是兩者的方向是不同的。第三個(gè) LSTM 層從前面兩個(gè)層獲得雙向輸入——基本上，覆蓋了給定句子的正向和逆向語(yǔ)境。之后的每一層，都是如此，從上一層句子中的上下文關(guān)系，學(xué)習(xí)更高級(jí)的模式。

你可能已經(jīng)注意到了，從第五層開(kāi)始出現(xiàn)了“+”號(hào)。這是一種殘差學(xué)習(xí)的形式。殘差學(xué)習(xí)從第五層開(kāi)始發(fā)生：對(duì)于第 N+1 層，其輸入數(shù)據(jù)是第 N 層和第 N-1 層輸出的疊加產(chǎn)物。在深度學(xué)習(xí)的許多應(yīng)用問(wèn)題中，殘差學(xué)習(xí)已經(jīng)被證明可以提高準(zhǔn)確性并減少梯度消失（http://neuralnetworksanddeeplearning.com/chap5.html）等問(wèn)題。直觀地說(shuō)，你可以認(rèn)為殘差學(xué)習(xí)是一種跨層保存信息的方法。如果你想更好地理解殘差學(xué)習(xí)，那么你可以閱讀以下鏈接中 Quora 問(wèn)題的答案（https://www.quora.com/What-is-an-intuitive-explanation-of-Deep-Residual-Networks）。

最后，你可以在編碼器輸入的末尾看到額外的<2es>和字符。表示“輸入結(jié)束”。另一方面，<2es>字符表示的是目標(biāo)語(yǔ)言——在本次實(shí)例中，表示的是西班牙語(yǔ)。把目標(biāo)語(yǔ)言作為框架的輸入，是 GNMT 一個(gè)獨(dú)特之處。這樣做的好處是可以提高翻譯的質(zhì)量。

注意模塊和解碼器

編碼器產(chǎn)生一組有序輸出向量（每個(gè)輸入標(biāo)記對(duì)應(yīng)一個(gè)輸出向量）。然后將這些有序向量輸入到注意模塊和解碼器的框架中。在很大程度上，解碼器的設(shè)計(jì)和編碼器的設(shè)計(jì)非常相似，都是堆棧 LSTM 和殘差鏈接。接下來(lái)，讓我們討論一下解碼器和編碼器的不同之處。

我已經(jīng)提到，GNMT 是將整個(gè)句子作為輸入。然而，直覺(jué)上卻認(rèn)為，對(duì)于解碼器即將產(chǎn)生的所有標(biāo)記，不應(yīng)該對(duì)輸入語(yǔ)句中所有向量（標(biāo)記）都賦予相等的權(quán)重。例如，當(dāng)你寫(xiě)出故事的一部分時(shí)，你的焦點(diǎn)應(yīng)該緩慢漂移到其余的部分。在 GNMT 中，這項(xiàng)工作由注意模塊完成。注意模塊獲得的輸入是編碼器的完整輸出和解碼器的向量。這使得它可以“理解”已經(jīng)翻譯了哪些部分，然后指示解碼器將注意力轉(zhuǎn)移到編碼器輸出向量的其他部分。

堆棧 LSTM 解碼器會(huì)根據(jù)編碼器的輸入信息和注意模塊的相關(guān)命令不斷輸出向量。這些向量會(huì)被輸入到 softmax 層中。在這里，你可以將 softmax 層看作是一個(gè)概率分布生成器。基于來(lái)自最頂層 LSTM 的輸入向量，softmax 層為每個(gè)可能的輸出標(biāo)記分配概率（請(qǐng)注意，因?yàn)槟繕?biāo)語(yǔ)言已經(jīng)提供給了編碼器，因此信息已經(jīng)被傳播了）。最后輸出獲得較大概率的標(biāo)記。

一旦解碼器 softmax 層決定當(dāng)前標(biāo)記是 （或句末），那么整個(gè)過(guò)程將會(huì)停止。請(qǐng)注意，解碼器解碼的步驟數(shù)不必完全等同于編碼器編碼的步驟數(shù)，因?yàn)樵诿總€(gè)計(jì)算步驟上都傾注了很多精力。

總的來(lái)說(shuō)，這就是你能看到的完整的翻譯過(guò)程：

訓(xùn)練和 Zero-Shot 翻譯

通過(guò)大量的（輸入、目標(biāo)語(yǔ)言）句子集合來(lái)訓(xùn)練完整的框架（編碼器+注意+解碼器）。在某種意義上，在將標(biāo)記從輸入句子轉(zhuǎn)換成適當(dāng)?shù)南蛄扛袷綍r(shí)，體系結(jié)構(gòu)“知道”輸入的是什么語(yǔ)言。并且，目標(biāo)語(yǔ)言也是輸入?yún)?shù)的一部分。深度 ?LSTM 的高度在于，神經(jīng)網(wǎng)絡(luò)會(huì)通過(guò)一種稱(chēng)為反向傳播/梯度下降（Backpropagation/GradientDescent，https://codesachin.wordpress.com/2015/12/06/backpropagation-for-dummies/）的算法，來(lái)訓(xùn)練這些數(shù)據(jù)：

GNMT 團(tuán)隊(duì)還發(fā)現(xiàn)了另外一個(gè)驚人的現(xiàn)象：如果只是向框架中輸入目標(biāo)語(yǔ)言，就能實(shí)現(xiàn) Zero-Shot 翻譯！這意味著：在訓(xùn)練期間，如果我們提供英語(yǔ)→日語(yǔ)和英語(yǔ)→韓語(yǔ)翻譯，那么 GNMT 可以自動(dòng)地實(shí)現(xiàn)日語(yǔ)→韓語(yǔ)的翻譯，并且完成得非常好！事實(shí)上，這也是 GNMT 項(xiàng)目的較大成就。從直覺(jué)上來(lái)說(shuō)，編碼器產(chǎn)生的是一種通用語(yǔ)言形式。不管我用何種語(yǔ)言來(lái)表達(dá)“狗”這個(gè)單詞，最終你都會(huì)聯(lián)想到一只友好的狗狗——從本質(zhì)上來(lái)說(shuō)，是概念意義上的“狗”。這個(gè)“概念”是由編碼器產(chǎn)生的，不會(huì)考慮語(yǔ)言的限制。事實(shí)上，有些文章甚至認(rèn)為，谷歌的 ?AI 發(fā)明出了一個(gè)獨(dú)特的語(yǔ)言系統(tǒng)。

將目標(biāo)語(yǔ)言作為輸入，這可以讓 GNMT 較為容易地使用相同的神經(jīng)網(wǎng)絡(luò)利用任意語(yǔ)言對(duì)進(jìn)行訓(xùn)練，同時(shí)也使得 Zero-Shot 翻譯成為可能。因此，相比以往任何翻譯系統(tǒng)，谷歌的新型翻譯系統(tǒng)更加接近人類(lèi)大腦的翻譯方式。

如果想對(duì)該領(lǐng)域有進(jìn)一步的了解，可以閱讀以下文章：

First blog post about GNMT onthe Google Research Blog. (Corresponding Research Paper)

https://research.googleblog.com/2016/09/a-neural-network-for-machine.html

https://arxiv.org/pdf/1609.08144v2.pdf

Second blog post aboutZero-Shot Translations. This one made the biggest splash. (CorrespondingResearch Paper)

https://research.googleblog.com/2016/11/zero-shot-translation-with-googles.html

https://arxiv.org/pdf/1611.04558v1.pdf

A great NYTimes article thattells the story behind this Google Translate.

https://www.nytimes.com/2016/12/14/magazine/the-great-ai-awakening.html?_r=0

本文作者 Sachin Joglekar 是 Google 的一位軟件工程師，目前是一名機(jī)器學(xué)習(xí)愛(ài)好者。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754