摘要：無監(jiān)督式學(xué)習(xí)是突破困境的關(guān)鍵，采用無監(jiān)督學(xué)習(xí)的對(duì)抗訓(xùn)練讓擁有真正自我學(xué)習(xí)的能力。如何讓擁有人類的常識(shí)認(rèn)為要用無監(jiān)督式學(xué)習(xí)。強(qiáng)化學(xué)習(xí)是蛋糕上不可或缺的櫻桃，所需要資料量可能大約只有幾個(gè)，監(jiān)督式學(xué)習(xí)

6 月 29 日，臺(tái)灣大學(xué)。卷積神經(jīng)網(wǎng)絡(luò)之父、FacebookAI 研究院院長 Yann LeCun 以「Deep Learning and the Path to AI」為題，對(duì)深度學(xué)習(xí)目前的發(fā)展現(xiàn)狀和面臨的較大挑戰(zhàn)、以及應(yīng)對(duì)方法進(jìn)行了綜述和分析。新智元結(jié)合臺(tái)灣大學(xué)在 Facebook 上公布的視頻、臺(tái)灣科技媒體 iThome 的報(bào)道，以及 Yann LeCun 今年早些時(shí)候在愛丁堡大學(xué)的演講資料，為您綜合介紹。

深度學(xué)習(xí)的特點(diǎn)在于“整個(gè)程序都是可訓(xùn)練的”

演講從模式識(shí)別（Pattern Recognition）的起源說起。1957年，Perceptron 誕生，成為第一個(gè) LearningMachine。LeCun 說，目前的機(jī)器學(xué)習(xí)算法大多衍生自 Perceptron的概念。

從那時(shí)起，模式識(shí)別的標(biāo)準(zhǔn)模型就可以分為 3 步走：1.程序被輸入一張圖像，通過特征提取，將圖像特征轉(zhuǎn)換為多個(gè)向量；2. 輸入這些向量到可訓(xùn)練的分類器中；3.程序輸出識(shí)別結(jié)果。

?

他表示，機(jī)器學(xué)習(xí)算法其實(shí)就是誤差校正（Error correction），通過調(diào)整權(quán)重，來進(jìn)行特征提取。也就是說，如果輸入一張圖，算法識(shí)別后，結(jié)果值低于預(yù)期類別的值，工程師就將輸入的圖增加 Positive 的權(quán)重，減少 Negative 的權(quán)重，來校正誤差。

深度學(xué)習(xí)是當(dāng)今最廣泛使用的模式識(shí)別方法。LeCun 認(rèn)為深度學(xué)習(xí)的特點(diǎn)在于“整個(gè)程序都是可訓(xùn)練的”。他解釋，構(gòu)建深度學(xué)習(xí)的模型不是用手動(dòng)調(diào)整特征提取的參數(shù)來訓(xùn)練分類器，而是建立一群像小型瀑布般的可訓(xùn)練的模組。

?

當(dāng)開發(fā)人員將原始的影像輸入系統(tǒng)后，會(huì)先經(jīng)過初步的特征提取器，產(chǎn)生代表的數(shù)值，在這一個(gè)階段可能會(huì)先識(shí)別出一些基本的紋理，接下來這些紋理的組合會(huì)再被拿來識(shí)別更具體的特征，像是物件的形體或是類別，整個(gè)訓(xùn)練的過程就是不斷地經(jīng)過一層又一層這樣的模型，每一層都是可訓(xùn)練的，所以我們稱這個(gè)算法為深度學(xué)習(xí)或是端到端訓(xùn)練（End to End Running）。

LeCun 解釋，深度學(xué)習(xí)模型之所以工作良好，是因?yàn)楝F(xiàn)在的影像都是自然景象加上其他物體，也就是混合型的圖像，而每個(gè)物體又由不同的特征所組成，會(huì)有不同的輪廓和紋路，圖片的像素也是一個(gè)問題，因此，可以將影像分級(jí)成像素、邊緣、輪廓、元件和物件等，初級(jí)的特征提取會(huì)先偵測(cè)出影像中最基本的輪廓，比如明顯的紋路和色塊，進(jìn)一步的特征提取則是將上一層的結(jié)果組合再一起，拼成一個(gè)形體，最后再拼成一個(gè)物體。

這種分層式的組合架構(gòu)（Hierarchical Compositionality）其實(shí)不只適用于影像，LeCun說明，它對(duì)文字、語音、動(dòng)作或是任何自然的信號(hào)都適用，這種方式參考了人腦的運(yùn)作模式。大腦中的視覺中樞，也是用類似分層式的組合架構(gòu)來運(yùn)行，當(dāng)人類看到影像后，由視網(wǎng)膜進(jìn)入到視丘后方外側(cè)膝狀體，再到大腦中主要的視覺中樞，最后來到顳葉皮質(zhì)，人類看圖像也是由大腦經(jīng)過多層的結(jié)構(gòu)，在100毫秒內(nèi)就能識(shí)別圖片。

深度學(xué)習(xí)的問題在于如何訓(xùn)練，在1980年代中期，誤差反向傳播算法（Back Propagation Algorithm）開始流行，但其實(shí)誤差反向傳播算法很早就被提出來，只是當(dāng)時(shí)沒有受到重視。誤差反向傳播算法一開始先經(jīng)過簡單線性分類，再將這些結(jié)果帶到非線性的線性整流函數(shù)（Rectified Linear Unit，ReLU），線性整流函數(shù)就是找到要調(diào)整參數(shù)的方向，來減少錯(cuò)誤判斷，不過現(xiàn)在都已經(jīng)有可用的套件或是框架，像是Torch、TensorFlow 或是 Theano等，還有一些套件是可用來計(jì)算輸出結(jié)果和預(yù)期結(jié)果之間的誤差。

?

Yann LeCun認(rèn)為，現(xiàn)在要撰寫機(jī)器學(xué)習(xí)算法并不難，用 3 行 Python 就可以完成，不過這還停留在監(jiān)督式學(xué)習(xí)階段，所謂的監(jiān)督式學(xué)習(xí)就是輸入大量的訓(xùn)練樣本，每一套訓(xùn)練樣本都已經(jīng)經(jīng)過人工標(biāo)注出原始圖片和對(duì)應(yīng)的預(yù)期結(jié)果。以影像處理為例，訓(xùn)練集由多個(gè)(X,Y)參數(shù)組成，X就是影像的像素，Y則是預(yù)設(shè)的識(shí)別結(jié)果類別，像是車子、桌子等，之后再用大量的測(cè)試集來測(cè)試程序，若判斷結(jié)果正確，不用調(diào)整，若判斷有誤則調(diào)整程序中的參數(shù)。

監(jiān)督式機(jī)器學(xué)習(xí)存在二大問題

因此，Yann LeCun表示，監(jiān)督式的機(jī)器學(xué)習(xí)就是功能優(yōu)化（Function Optimization），資料輸入和輸出的關(guān)系通過可調(diào)整的參數(shù)來優(yōu)化，經(jīng)由調(diào)整參數(shù)的方式，將結(jié)果的錯(cuò)誤率降至較低，其中，調(diào)整參數(shù)的方式有很多種，很多人都會(huì)用梯度下降算法（Stochastic Gradient Descent），梯度下降算法可以找到最適合的回歸模型系數(shù)．即時(shí)地根據(jù)輸入的資料動(dòng)態(tài)調(diào)整模型。

身為「卷積神經(jīng)網(wǎng)絡(luò)之父」的 Yann LeCun 也介紹了卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN），卷積網(wǎng)絡(luò)就是將輸入的影像像素矩陣經(jīng)過一層過濾器，挑選出特征，再透過池化層（PoolingLayer），針對(duì)輸入特征矩陣壓縮，讓特征矩陣變小，降低計(jì)算的復(fù)雜度。CNN影像和語音識(shí)別都有很好的成效，不僅如此，還能識(shí)別街上移動(dòng)的路人、街景的物體，F(xiàn)acebook 也用 CNN 來識(shí)別 Facebook 用戶上傳的照片，他表示一天 Facebook 就有10億以上的照片，可以準(zhǔn)確地識(shí)別物體的類別，像是人還是狗、貓等，還能識(shí)別照片的主題，像是婚禮或是生日派對(duì)等。

不過，Yann LeCun提出，監(jiān)督式的機(jī)器學(xué)習(xí)有2大問題，第一是要如何建立復(fù)雜的算法來解決復(fù)雜的問題，第二則是手動(dòng)調(diào)整參數(shù)的知識(shí)和經(jīng)驗(yàn)都是來自于不同任務(wù)，許多工程師想要處理的領(lǐng)域，像是影像識(shí)別、語音識(shí)別都需要建置不同模型，因此，監(jiān)督式機(jī)器學(xué)習(xí)可以在訓(xùn)練過的專案上有很好的表現(xiàn)，但是沒有訓(xùn)練過的資料，程序就無法辨別，簡單來說，如果要程序識(shí)別椅子，不可能訓(xùn)練所有椅子的特征資料。

?

事實(shí)上，Yann LeCun 表示現(xiàn)實(shí)中有種機(jī)器具備數(shù)百萬的調(diào)整鈕（Knob），這些調(diào)整鈕就像機(jī)器學(xué)習(xí)中的參數(shù)和 Perceptron 的權(quán)重一樣，可以用上百萬的訓(xùn)練樣本來訓(xùn)練模型，最后分類出上千種的類別，但是，每一個(gè)特征的識(shí)別都必須經(jīng)過數(shù)十億次的操作，因此，可想而知，現(xiàn)今大家所使用的神經(jīng)網(wǎng)絡(luò)是非常復(fù)雜的，如此龐大的運(yùn)作不可能在一般的 CPU 上執(zhí)行，“我們面對(duì)的是非常大規(guī)模的優(yōu)化問題。”他說。

AI系統(tǒng)的架構(gòu)

AI系統(tǒng)的架構(gòu)大致上可以分為感知（Perception）、觸發(fā)器（Agent）和目標(biāo)（Objective）3個(gè)模組，先由感知器偵測(cè)真實(shí)世界的數(shù)據(jù)，像是影像、語音等，這些數(shù)據(jù)經(jīng)由觸發(fā)器，會(huì)依據(jù)狀態(tài)觸發(fā)目標(biāo)，執(zhí)行相對(duì)應(yīng)的程序并產(chǎn)生結(jié)果，其中觸發(fā)器就是AI 的精髓，觸發(fā)器必須要負(fù)責(zé)規(guī)劃、預(yù)測(cè)等智能工作，而目標(biāo)則是由本能和固定的兩個(gè)元件所組成，以視覺識(shí)別（VisualIdentity）系統(tǒng)為例，經(jīng)由感知收集影像數(shù)據(jù)，透過觸發(fā)器觸發(fā)分析情緒的程序，再判斷影片中的人是開心還是不開心。

?

AI 架構(gòu)中的觸發(fā)器（Agent）主要負(fù)責(zé)預(yù)測(cè)和規(guī)劃，運(yùn)作過程又可分為模擬器（Simulator）、執(zhí)行器（Actor）、回饋器（Critic），模擬器接收到狀態(tài)后，傳送給執(zhí)行器，執(zhí)行器就會(huì)啟動(dòng)相對(duì)應(yīng)的動(dòng)作，并同時(shí)對(duì)模擬器提出要求，啟動(dòng)相對(duì)應(yīng)的動(dòng)作之后送到回饋器，經(jīng)由回饋器分析要採取的動(dòng)作，決定后才送往目標(biāo)（Objective）執(zhí)行。

AI 較大局限是沒有人類的“常識(shí)”

市場(chǎng)上 AI 好像無所不能，但其實(shí)，Yann LeCun個(gè)人認(rèn)為，AI 還是有些局限，像是機(jī)器必須會(huì)觀察狀態(tài)、了解很多背景知識(shí)、世界運(yùn)行的定律，以及較精確地判斷、規(guī)劃等，其中，Yann LeCun 認(rèn)為 AI 較大的局限是無法擁有人類的「常識(shí)」。

?

由于目前比較好的AI應(yīng)用都是采用監(jiān)督式學(xué)習(xí)，能夠準(zhǔn)確識(shí)別人工標(biāo)示過的物體，也有些好的成果是用強(qiáng)化學(xué)習(xí)（Reinforcement Learning）的方式，但是強(qiáng)化學(xué)習(xí)需要大量地收集資料來訓(xùn)練模型，Yann LeCun表示，對(duì)應(yīng)到現(xiàn)實(shí)社會(huì)中的問題，監(jiān)督式學(xué)習(xí)不足以成為“真的”AI。

?

他指出，人類的學(xué)習(xí)是建立在與事物互動(dòng)的過程，許多都是人類自行體會(huì)、領(lǐng)悟出對(duì)事物的理解，不需要每件事都要教導(dǎo)，舉例來說，若有個(gè)物體被前面的物體擋住，人類會(huì)知道后面的物體依然存在的事實(shí)，或是物體沒有另一個(gè)物體支撐就會(huì)掉落的事實(shí)。

?

“人腦就是推理引擎！”他說明，人類靠著觀察建立內(nèi)部分析模型，當(dāng)人類遇到一件新的事物，就能用這些既有的模型來推測(cè)，因?yàn)樯钪腥祟惤佑|到大量的事物和知識(shí)，而建立了“常識(shí)”。這些常識(shí)可以帶領(lǐng)人類做出一些程序無法達(dá)到的能力，像是人類可以只看一半的臉就能想像另外一半臉，或是可以從過去的事件推測(cè)未來等。

?

他舉例，若人類看到一張戰(zhàn)利品放不下行李箱的圖片，再看到一個(gè)句子說：”這些戰(zhàn)利品放不下行李箱，因?yàn)樗×??！叭祟惸軌蚝芮宄刂馈八敝傅氖切欣钕洌祟愐惨驗(yàn)橹勒麄€(gè)社會(huì)和世界運(yùn)行的規(guī)則，當(dāng)沒有太多的信息時(shí)，人類可以依照因果關(guān)系自動(dòng)補(bǔ)足空白的信息。

無監(jiān)督式學(xué)習(xí)是突破 AI 困境的關(guān)鍵，采用無監(jiān)督學(xué)習(xí)的對(duì)抗訓(xùn)練讓 AI 擁有真正自我學(xué)習(xí)的能力。

如何讓 AI 擁有人類的常識(shí)？Yann LeCun認(rèn)為要用無監(jiān)督式學(xué)習(xí)。他又稱之為預(yù)測(cè)學(xué)習(xí)，他將現(xiàn)今機(jī)器學(xué)習(xí)的方式分為強(qiáng)化式、監(jiān)督式和無監(jiān)督式學(xué)習(xí)，并以黑森林蛋糕來比喻。

強(qiáng)化學(xué)習(xí)是蛋糕上不可或缺的櫻桃，所需要資料量可能大約只有幾個(gè)Bits，監(jiān)督式學(xué)習(xí)是蛋糕外部的糖衣，需要10到10,000個(gè)Bits的資料量，而無監(jiān)督學(xué)習(xí)則是需要數(shù)百萬個(gè)Bits，無監(jiān)督學(xué)習(xí)被他比喻為黑森林蛋糕，因?yàn)闊o監(jiān)督學(xué)習(xí)的預(yù)測(cè)能力像擁有黑魔法一樣神奇，不過，他也強(qiáng)調(diào)黑森林蛋糕必須搭配櫻桃，櫻桃不是可選擇的配料，而是必要的，意味著無監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)相輔相成，缺一不可。

?

Yann LeCun認(rèn)為，程序還是很難在不確定性的情況下，正確地預(yù)測(cè)，舉例來說，如果一只直立的筆，沒有支撐之后，程序可以判斷出筆會(huì)倒下，但是無法預(yù)測(cè)會(huì)倒向哪一個(gè)方向。

因此，他表示，對(duì)抗訓(xùn)練（Adversarial Training）是可以讓 AI 程序擁有自學(xué)能力的方法，他解釋，對(duì)抗訓(xùn)練就是讓兩個(gè)網(wǎng)絡(luò)相互博奕，由生成器（Generator）和判別器（Discriminator）組成，生成器隨機(jī)地從訓(xùn)練集中挑選真實(shí)數(shù)據(jù)和干擾噪音，產(chǎn)生新的訓(xùn)練樣本，判別器再用與真實(shí)數(shù)據(jù)比對(duì)的方式，判斷出數(shù)據(jù)的真實(shí)性，如此一來，生成器與判別器可以交互學(xué)習(xí)自動(dòng)優(yōu)化預(yù)測(cè)能力，創(chuàng)造較佳的預(yù)測(cè)模型。

視頻鏈接：https://www.facebook.com/816762428486534/videos/826164667546310/?fallback=1

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754