摘要：摘要本文主要講了神經(jīng)進(jìn)化是深度學(xué)習(xí)的未來(lái)，以及如何用進(jìn)化計(jì)算方法優(yōu)化深度學(xué)習(xí)。揭示了神經(jīng)進(jìn)化的突破性研究深度學(xué)習(xí)的大部分取決于網(wǎng)絡(luò)的規(guī)模和復(fù)雜性。在這三個(gè)例子中，使用神經(jīng)進(jìn)化成功地超越了最先進(jìn)的基準(zhǔn)。

摘要： 本文主要講了神經(jīng)進(jìn)化是深度學(xué)習(xí)的未來(lái)，以及如何用進(jìn)化計(jì)算方法（EC）優(yōu)化深度學(xué)習(xí)（DL）。

過(guò)去幾年時(shí)間里，我們有一個(gè)完整的團(tuán)隊(duì)致力于人工智能研究和實(shí)驗(yàn)。該團(tuán)隊(duì)專注于開(kāi)發(fā)新的進(jìn)化計(jì)算方法（EC），包括設(shè)計(jì)人工神經(jīng)網(wǎng)絡(luò)架構(gòu)、構(gòu)建商業(yè)應(yīng)用程序，以及使用由自然進(jìn)化激發(fā)的方法來(lái)解決具有挑戰(zhàn)性的計(jì)算問(wèn)題。這一領(lǐng)域的發(fā)展勢(shì)頭非常強(qiáng)勁。我們相信進(jìn)化計(jì)算很可能是人工智能技術(shù)的下一個(gè)重大課題。

EC與Deep Learning（DL）一樣都是幾十年前引入的，EC也能夠從可用的計(jì)算和大數(shù)據(jù)中得到提升。然而，它解決了一個(gè)截然不同的需求：我們都知道DL側(cè)重于建模我們已知的知識(shí)，而EC則專注于創(chuàng)建新的知識(shí)。從這個(gè)意義上講，它是DL的下個(gè)步驟：DL能夠在熟悉的類別中識(shí)別對(duì)象和語(yǔ)音，而EC使我們能夠發(fā)現(xiàn)全新的對(duì)象和行為-最大化特定目標(biāo)的對(duì)象和行為。因此，EC使許多新的應(yīng)用成為可能：為機(jī)器人和虛擬代理設(shè)計(jì)更有效的行為，創(chuàng)造更有效和更廉價(jià)的衛(wèi)生干預(yù)措施，促進(jìn)農(nóng)業(yè)機(jī)械化發(fā)展和生物過(guò)程。

前不久，我們發(fā)布了5篇論文來(lái)報(bào)告在這一領(lǐng)域上取得了顯著的進(jìn)展，報(bào)告主要集中在三個(gè)方面：

（1）DL架構(gòu)在三個(gè)標(biāo)準(zhǔn)機(jī)器學(xué)習(xí)基準(zhǔn)測(cè)試中已達(dá)到了最新技術(shù)水平。
（2）開(kāi)發(fā)技術(shù)用于提高實(shí)際應(yīng)用發(fā)展的性能和可靠性。
（3）在非常困難的計(jì)算問(wèn)題上證明了進(jìn)化問(wèn)題的解決。

本文將重點(diǎn)介紹里面的第一個(gè)領(lǐng)域，即用EC優(yōu)化DL架構(gòu)。

深度學(xué)習(xí)的大部分取決于網(wǎng)絡(luò)的規(guī)模和復(fù)雜性。隨著神經(jīng)進(jìn)化，DL體系結(jié)構(gòu)（即網(wǎng)絡(luò)拓?fù)?、模塊和超參數(shù)）可以在人類能力之外進(jìn)行優(yōu)化。我們將在本文中介紹三個(gè)示例：Omni Draw、Celeb Match和Music Maker（語(yǔ)言建模）。在這三個(gè)例子中，Sentient使用神經(jīng)進(jìn)化成功地超越了最先進(jìn)的DL基準(zhǔn)。

音樂(lè)制作（語(yǔ)言建模）

在語(yǔ)言建模領(lǐng)域，系統(tǒng)被訓(xùn)練用來(lái)預(yù)測(cè)“語(yǔ)言庫(kù)”中的下一個(gè)單詞，例如《華爾街日?qǐng)?bào)》幾年內(nèi)的大量文本集合，在網(wǎng)絡(luò)做出預(yù)測(cè)結(jié)果后，這個(gè)輸入還可以被循環(huán)輸入，從而網(wǎng)絡(luò)可以生成一個(gè)完整的單詞序列。有趣的是，同樣的技術(shù)同樣適用于音樂(lè)序列，以下為一個(gè)演示。用戶輸入一些初始音符，然后系統(tǒng)根據(jù)該起始點(diǎn)即興創(chuàng)作一首完整的旋律。通過(guò)神經(jīng)元進(jìn)化，Sentient優(yōu)化了門(mén)控周期性（長(zhǎng)期短期記憶或LSTM）節(jié)點(diǎn)（即網(wǎng)絡(luò)的“記憶”結(jié)構(gòu)）的設(shè)計(jì)，使模型在預(yù)測(cè)下一個(gè)音符時(shí)更加準(zhǔn)確。

在語(yǔ)言建模領(lǐng)域（在一個(gè)叫Penn Tree Bank的語(yǔ)言語(yǔ)料庫(kù)中預(yù)測(cè)下一個(gè)詞），基準(zhǔn)是由困惑點(diǎn)定義的，用來(lái)度量概率模型如何預(yù)測(cè)真實(shí)樣本。當(dāng)然，數(shù)字越低越好，因?yàn)槲覀兿ＭＰ驮陬A(yù)測(cè)下一個(gè)單詞時(shí)“困惑”越少越好。在這種情況下，感知器以10.8的困惑點(diǎn)擊敗了標(biāo)準(zhǔn)的LSTM結(jié)構(gòu)。值得注意的是，在過(guò)去25年內(nèi)，盡管人類設(shè)計(jì)了一些LSTM變體，LSTM的性能仍然沒(méi)有得到改善。事實(shí)上，我們的神經(jīng)進(jìn)化實(shí)驗(yàn)表明，LSTM可以通過(guò)增加復(fù)雜性，即記憶細(xì)胞和更多的非線性、平行的途徑來(lái)顯著改善性能。

為什么這個(gè)突破很重要？語(yǔ)言是人類強(qiáng)大而復(fù)雜的智能構(gòu)造。語(yǔ)言建模，即預(yù)測(cè)文本中的下一個(gè)單詞，是衡量機(jī)器學(xué)習(xí)方法如何學(xué)習(xí)語(yǔ)言結(jié)構(gòu)的基準(zhǔn)。因此，它是構(gòu)建自然語(yǔ)言處理系統(tǒng)的代理，包括語(yǔ)音和語(yǔ)言接口、機(jī)器翻譯，甚至包括DNA序列和心率診斷等醫(yī)學(xué)數(shù)據(jù)。而在語(yǔ)言建?；鶞?zhǔn)測(cè)試中我們可以做得更好，可以使用相同的技術(shù)建立更好的語(yǔ)言處理系統(tǒng)。

Omni Draw

Omniglot是一種可以識(shí)別50種不同字母字符的手寫(xiě)字符識(shí)別基準(zhǔn)，包括像西里爾語(yǔ)（書(shū)面俄語(yǔ)）、日語(yǔ)和希伯來(lái)語(yǔ)等真實(shí)語(yǔ)言，以及諸如Tengwar（《指環(huán)王》中的書(shū)面語(yǔ)言）等人工語(yǔ)音。

上圖示例展示了多任務(wù)學(xué)習(xí)，模型可以同時(shí)學(xué)習(xí)所有語(yǔ)言，并利用不同語(yǔ)言中字符之間的關(guān)系。例如，用戶輸入圖像，系統(tǒng)根據(jù)匹配輸出不同語(yǔ)言的含義，“這將是拉丁語(yǔ)中的X，日語(yǔ)中的Y以及Tengwar中的Z等等”——利用日本、Tengwar和拉丁語(yǔ)之間的關(guān)系找出哪些角色是最好的匹配。這與單一任務(wù)學(xué)習(xí)環(huán)境不同，單一環(huán)境下模型只對(duì)一種語(yǔ)言進(jìn)行訓(xùn)練，并且不能在語(yǔ)言數(shù)據(jù)集上建立相同的連接。

雖然Omniglot是一個(gè)數(shù)據(jù)集的例子，但每個(gè)語(yǔ)言的數(shù)據(jù)相對(duì)較少。例如它可能只有幾個(gè)希臘字母，但很多都是日語(yǔ)。它能夠利用語(yǔ)言之間關(guān)系的知識(shí)來(lái)尋找解決方案。為什么這個(gè)很重要？對(duì)于許多實(shí)際應(yīng)用程序來(lái)說(shuō)，標(biāo)記數(shù)據(jù)的獲取是非常昂貴或危險(xiǎn)的（例如醫(yī)療應(yīng)用程序、農(nóng)業(yè)和機(jī)器人救援），因此可以利用與相似或相關(guān)數(shù)據(jù)集的關(guān)系自動(dòng)設(shè)計(jì)模型，在某種程度上可以替代丟失的數(shù)據(jù)集并提高研究能力。這也是神經(jīng)進(jìn)化能力的一個(gè)很好的證明：語(yǔ)言之間可以有很多的聯(lián)系方式，并且進(jìn)化發(fā)現(xiàn)了將他們的學(xué)習(xí)結(jié)合在一起的最佳方式。

Celeb Match

Celeb Match的demo同樣適用于多任務(wù)學(xué)習(xí)，但它使用的是大規(guī)模數(shù)據(jù)集。該demo是基于CelebA數(shù)據(jù)集，它由約20萬(wàn)張名人圖像組成，每張圖片的標(biāo)簽都由40個(gè)二進(jìn)制標(biāo)記屬性，如“男性與女性”、“有無(wú)胡子”等等。每個(gè)屬性都會(huì)產(chǎn)生一個(gè)“分類任務(wù)”，它會(huì)引導(dǎo)系統(tǒng)檢測(cè)和識(shí)別每個(gè)屬性。作為趣味附加組件，我們創(chuàng)建了一個(gè)demo來(lái)完成這項(xiàng)任務(wù)：用戶可以為每個(gè)屬性設(shè)置所需的程度，并且系統(tǒng)會(huì)根據(jù)進(jìn)化的多任務(wù)學(xué)習(xí)網(wǎng)絡(luò)來(lái)確定最接近的名人。例如，如果當(dāng)前的圖片為布拉德·皮特的形象，用戶可以增加“灰色頭發(fā)”屬性，已發(fā)現(xiàn)哪個(gè)名人與他相似但是頭發(fā)不同。

在CelebA多任務(wù)人臉?lè)诸愵I(lǐng)域，Sentient使用了演化計(jì)算來(lái)優(yōu)化這些檢測(cè)屬性的網(wǎng)絡(luò)，成功將總體三個(gè)模型的誤差從8%降到了7.94%。

這一技術(shù)使得人工智能在預(yù)測(cè)人類、地點(diǎn)和物質(zhì)世界各種屬性的能力上提升了一大步。與基于抽象，學(xué)習(xí)功能找到相似性的訓(xùn)練網(wǎng)絡(luò)不同，它使相似的語(yǔ)義和可解釋性也成為可能。

文章原標(biāo)題《Evolution is the New Deep Learning | Sentient Technologies》

作者：Risto Miikkulainen

詳細(xì)內(nèi)容請(qǐng)查看原文