摘要：在過(guò)去幾年中，深度學(xué)習(xí)改變了整個(gè)人工智能的發(fā)展。在本文中，我將介紹年深度學(xué)習(xí)的一些主要進(jìn)展，與年深度學(xué)習(xí)進(jìn)展版本一樣，我沒有辦法進(jìn)行詳盡的審查。最后的想法與去年的情況一樣，年深度學(xué)習(xí)技術(shù)的使用持續(xù)增加。

在過(guò)去幾年中，深度學(xué)習(xí)改變了整個(gè)人工智能的發(fā)展。深度學(xué)習(xí)技術(shù)已經(jīng)開始在醫(yī)療保健，金融，人力資源，零售，地震檢測(cè)和自動(dòng)駕駛汽車等領(lǐng)域的應(yīng)用程序中出現(xiàn)。至于現(xiàn)有的成果表現(xiàn)也一直在穩(wěn)步提高。

在學(xué)術(shù)層面，機(jī)器學(xué)習(xí)領(lǐng)域已經(jīng)變得非常重要了，以至于每20分鐘就會(huì)出現(xiàn)一篇新的科學(xué)文章。

在本文中，我將介紹2018年深度學(xué)習(xí)的一些主要進(jìn)展，與2017年深度學(xué)習(xí)進(jìn)展版本一樣，我沒有辦法進(jìn)行詳盡的審查。我只想分享一些給我留下最深刻印象的領(lǐng)域成就。

語(yǔ)言模型：Google的BERT

在自然語(yǔ)言處理（NLP）中，語(yǔ)言模型是可以估計(jì)一組語(yǔ)言單元（通常是單詞序列）的概率分布的模型。在該領(lǐng)域有很多有趣的模型，因?yàn)樗鼈兛梢砸院艿偷某杀緲?gòu)建，并且顯著改進(jìn)了幾個(gè)NLP任務(wù)，例如機(jī)器翻譯，語(yǔ)音識(shí)別和內(nèi)容解析。

歷史上，最著名的方法之一是基于馬爾可夫模型和n-gram。隨著深度學(xué)習(xí)的出現(xiàn)，出現(xiàn)了基于長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）更強(qiáng)大的模型。雖然高效，但現(xiàn)有模型通常是單向的，這意味著只有單詞的上下文才會(huì)被考慮。

去年10月，Google AI語(yǔ)言團(tuán)隊(duì)發(fā)表了一篇引起社區(qū)轟動(dòng)的論文。BERT是一種新的雙向語(yǔ)言模型，它已經(jīng)實(shí)現(xiàn)了11項(xiàng)復(fù)雜NLP任務(wù)的結(jié)果，包括情感分析、問(wèn)答和復(fù)述檢測(cè)#Paraphrase_recognition)。

預(yù)訓(xùn)練BERT的策略不同于傳統(tǒng)的從左到右或從右到左的選項(xiàng)。新穎性包括：

隨機(jī)屏蔽一定比例的輸入詞，然后預(yù)測(cè)那些被屏蔽的詞;這可以在多層次的背景下保持間接“看到自己”的詞語(yǔ)。

構(gòu)建二元分類任務(wù)以預(yù)測(cè)句子B之后是否緊跟句子A，這允許模型確定句子之間的關(guān)系，這種現(xiàn)象不是由經(jīng)典語(yǔ)言建模直接捕獲的。

至于實(shí)施，Google AI開源了他們的論文代碼，該代碼基于TensorFlow。其中一些在PyTorch也能實(shí)現(xiàn)，例如Thomas Wolf和Junseong Kim的實(shí)現(xiàn)。

BERT對(duì)業(yè)務(wù)應(yīng)用程序的影響很大，因?yàn)檫@種改進(jìn)會(huì)影響NLP的各個(gè)方面。這可以在機(jī)器翻譯，聊天機(jī)器人行為，自動(dòng)電子郵件響應(yīng)和客戶審查分析中獲得更準(zhǔn)確的結(jié)果。

視頻到視頻合成

我們通常習(xí)慣由圖形引擎創(chuàng)建的模擬器和視頻游戲進(jìn)行環(huán)境交互。雖然令人印象深刻，但經(jīng)典方法的成本很高，因?yàn)楸仨毦闹付▓?chǎng)景幾何、材料、照明和其他參數(shù)。一個(gè)很好的問(wèn)題是：是否可以使用例如深度學(xué)習(xí)技術(shù)自動(dòng)構(gòu)建這些環(huán)境。

在他們的視頻到視頻合成論文中，NVIDIA的研究人員解決了這個(gè)問(wèn)題。他們的目標(biāo)是在源視頻和輸出視頻之間提供映射功能，較精確描繪輸入內(nèi)容。作者將其建模為分布匹配問(wèn)題，其目標(biāo)是使自動(dòng)創(chuàng)建視頻的條件分布盡可能接近實(shí)際視頻的條件分布。為實(shí)現(xiàn)這一目標(biāo)，他們建立了一個(gè)基于生成對(duì)抗網(wǎng)絡(luò)（GAN）的模型。在GAN框架內(nèi)的關(guān)鍵思想是，生成器試圖產(chǎn)生真實(shí)的合成數(shù)據(jù)，使得鑒別器無(wú)法區(qū)分真實(shí)數(shù)據(jù)和合成數(shù)據(jù)。他們定義了一個(gè)時(shí)空學(xué)習(xí)目標(biāo)，旨在實(shí)現(xiàn)暫時(shí)連貫的視頻。

結(jié)果非常驚人，如下面的圖片所示：

輸入視頻位于左上象限，它是來(lái)自Cityscapes數(shù)據(jù)集的街道場(chǎng)景視頻的分段圖。作者將他們的結(jié)果（右下）與兩個(gè)基線進(jìn)行比較：pix2pixHD（右上）和COVST（左下）。

這種方法甚至可以用于執(zhí)行未來(lái)的視頻預(yù)測(cè)。由于NVIDIA開源vid2vid代碼（基于PyTorch），你可以嘗試執(zhí)行它。

改進(jìn)詞嵌入

去年，我寫了關(guān)于字嵌入在NLP中的重要性，并且相信這是一個(gè)在不久的將來(lái)會(huì)得到更多關(guān)注的研究課題。任何使用過(guò)詞嵌入的人都知道，一旦通過(guò)組合性檢查的興奮（即King-Man+Woman=Queen）已經(jīng)過(guò)去，因?yàn)樵趯?shí)踐中仍有一些限制。也許最重要的是對(duì)多義不敏感，無(wú)法表征詞之間確切建立的關(guān)系。到底同義詞Hyperonyms？另一個(gè)限制涉及形態(tài)關(guān)系：詞嵌入模型通常無(wú)法確定諸如駕駛員和駕駛之類的單詞在形態(tài)上是相關(guān)的。

在題為“深度語(yǔ)境化詞語(yǔ)表示”（被認(rèn)為是NAACL 2018年的優(yōu)秀論文）的論文中，來(lái)自艾倫人工智能研究所和Paul G. Allen計(jì)算機(jī)科學(xué)與工程學(xué)院的研究人員提出了一種新的深層語(yǔ)境化詞匯表示方法。同時(shí)模擬單詞使用的復(fù)雜特征（例如語(yǔ)法和語(yǔ)義）以及這些用途如何在語(yǔ)言環(huán)境（即多義詞）中變化。

他們的提議的中心主題，稱為語(yǔ)言模型嵌入（ELMo），是使用它的整個(gè)上下文或整個(gè)句子來(lái)對(duì)每個(gè)單詞進(jìn)行矢量化。為了實(shí)現(xiàn)這一目標(biāo)，作者使用了深度雙向語(yǔ)言模型（biLM），該模型在大量文本上進(jìn)行了預(yù)訓(xùn)練。另外，由于表示基于字符，因此可以捕獲單詞之間的形態(tài)句法關(guān)系。因此，當(dāng)處理訓(xùn)練中未見的單詞（即詞匯外單詞）時(shí)，該模型表現(xiàn)得相當(dāng)好。

作者表明，通過(guò)簡(jiǎn)單地將ELMo添加到現(xiàn)有的較先進(jìn)解決方案中，結(jié)果可以顯著改善難以處理的NLK任務(wù)，例如文本解釋，共指解析和問(wèn)答，與Google的BERT表示一樣，ELMo是該領(lǐng)域的重要貢獻(xiàn)，也有望對(duì)業(yè)務(wù)應(yīng)用程序產(chǎn)生重大影響。

視覺任務(wù)空間結(jié)構(gòu)的建模

視覺任務(wù)是否相關(guān)？這是斯坦福大學(xué)和加州大學(xué)伯克利分校的研究人員在題為“Taskonomy：Disentangling Task Transfer Learning”的論文中提出的問(wèn)題，該論文獲得了2018年CVPR的較佳論文獎(jiǎng)。

可以合理地認(rèn)為某些視覺任務(wù)之間存在某種聯(lián)系。例如，知道表面法線可以幫助估計(jì)圖像的深度。在這種情況下，遷移學(xué)習(xí)技術(shù)-或重用監(jiān)督學(xué)習(xí)結(jié)果的可能性將極大的提高。

作者提出了一種計(jì)算方法，通過(guò)在26個(gè)常見的視覺任務(wù)中找到轉(zhuǎn)移學(xué)習(xí)依賴關(guān)系來(lái)對(duì)該結(jié)構(gòu)進(jìn)行建模，包括對(duì)象識(shí)別、邊緣檢測(cè)和深度估計(jì)。輸出是用于任務(wù)轉(zhuǎn)移學(xué)習(xí)的計(jì)算分類圖。

上圖顯示了計(jì)算分類法任務(wù)發(fā)現(xiàn)的示例任務(wù)結(jié)構(gòu)。在該示例中，該方法告知我們?nèi)绻M合了表面法線估計(jì)器和遮擋邊緣檢測(cè)器的學(xué)習(xí)特征，則可以用很少的標(biāo)記數(shù)據(jù)快速訓(xùn)練用于重新整形和點(diǎn)匹配的模型。

減少對(duì)標(biāo)簽數(shù)據(jù)的需求是這項(xiàng)工作的主要關(guān)注點(diǎn)之一。作者表明，可以通過(guò)粗略地減小求解一組10個(gè)任務(wù)所需的標(biāo)記的數(shù)據(jù)點(diǎn)的總數(shù)2/3（具有獨(dú)立訓(xùn)練相比），同時(shí)保持幾乎相同的性能。這是對(duì)實(shí)際用例的重要發(fā)現(xiàn)，因此有望對(duì)業(yè)務(wù)應(yīng)用程序產(chǎn)生重大影響。

微調(diào)通用語(yǔ)言模型以進(jìn)行文本分類

深度學(xué)習(xí)模型為NLP領(lǐng)域做出了重大貢獻(xiàn)，為一些常見任務(wù)提供了較先進(jìn)的結(jié)果。但是，模型通常從頭開始訓(xùn)練，這需要大量數(shù)據(jù)并且需要相當(dāng)長(zhǎng)的時(shí)間。

Howard和Ruder提出了一種歸納遷移學(xué)習(xí)方法，稱為通用語(yǔ)言模型微調(diào)（ULMFiT）。主要思想是微調(diào)預(yù)訓(xùn)練的語(yǔ)言模型，以使其適應(yīng)特定的NLP任務(wù)。這是一種精明的方法，使我們能夠處理我們沒有大量數(shù)據(jù)的特定任務(wù)。

他們的方法優(yōu)于六個(gè)文本分類任務(wù)的結(jié)果，將錯(cuò)誤率降低了18-24％。關(guān)于訓(xùn)練數(shù)據(jù)的數(shù)量，結(jié)果也非常驚人：只有100個(gè)標(biāo)記樣本和50K未標(biāo)記樣本，該方法實(shí)現(xiàn)了與10K標(biāo)記樣本從頭開始訓(xùn)練的模型相同的性能。

同樣，這些結(jié)果證明遷移學(xué)習(xí)是該領(lǐng)域的關(guān)鍵概念。你可以在這里查看他們的代碼和預(yù)訓(xùn)練模型。

最后的想法

與去年的情況一樣，2018年深度學(xué)習(xí)技術(shù)的使用持續(xù)增加。特別是，今年的特點(diǎn)是遷移學(xué)習(xí)技術(shù)越來(lái)越受到關(guān)注。從戰(zhàn)略角度來(lái)看，這可能是我認(rèn)為今年較好的結(jié)果，我希望這種趨勢(shì)在將來(lái)可以繼續(xù)下去。

我在這篇文章中沒有探討的其他一些進(jìn)展同樣引人注目。例如，強(qiáng)化學(xué)習(xí)的進(jìn)步，例如能夠擊敗Dota 2的職業(yè)玩家的驚人的OpenAI Five機(jī)器人。另外，我認(rèn)為現(xiàn)在球CNN，特別有效的分析球面圖像，以及PatternNet和PatternAttribution，這兩種技術(shù)所面臨的神經(jīng)網(wǎng)絡(luò)的一個(gè)主要缺點(diǎn)：解釋深層網(wǎng)絡(luò)的能力。

上述所有技術(shù)發(fā)展對(duì)業(yè)務(wù)應(yīng)用程序的影響是巨大的，因?yàn)樗鼈冇绊懥薔LP和計(jì)算機(jī)視覺的許多領(lǐng)域。我們可能會(huì)在機(jī)器翻譯、醫(yī)療診斷、聊天機(jī)器人、倉(cāng)庫(kù)庫(kù)存管理、自動(dòng)電子郵件響應(yīng)、面部識(shí)別和客戶審查分析等方面觀察到改進(jìn)的結(jié)果。

從科學(xué)的角度來(lái)看，我喜歡Gary Marcus撰寫的深度學(xué)習(xí)評(píng)論。他清楚地指出了當(dāng)前深度學(xué)習(xí)方法的局限性，并表明如果深度學(xué)習(xí)方法得到其他學(xué)科和技術(shù)的見解（如認(rèn)知和發(fā)展心理學(xué)、符號(hào)操作和混合建模）的補(bǔ)充，人工智能領(lǐng)域?qū)@得相當(dāng)大的收益。無(wú)論你是否同意他，我認(rèn)為值得閱讀他的論文。

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754