摘要：而這種舉一反三的能力在機(jī)器學(xué)習(xí)領(lǐng)域同樣適用，科學(xué)家將其稱之為遷移學(xué)習(xí)。與深度學(xué)習(xí)相比，我們技術(shù)較大優(yōu)點(diǎn)是具有可證明的性能保證。近幾年的人工智能熱潮中，深度學(xué)習(xí)是最主流的技術(shù)，以及之后的成功，更是使其幾乎成為的代名詞。

如今，人類將自己的未來(lái)放到了技術(shù)手里，無(wú)論是讓人工智能更像人類思考的算法，還是讓機(jī)器人大腦運(yùn)轉(zhuǎn)更快的芯片，都在向奇點(diǎn)靠近。谷歌工程總監(jiān)、《奇點(diǎn)臨近》的作者庫(kù)茲韋爾認(rèn)為，一旦智能機(jī)器跨過(guò)奇點(diǎn)，人工智能的發(fā)展將進(jìn)入加速噴發(fā)狀態(tài)，可以與人腦相媲美，甚至比人腦更具可塑性的“仿生大腦”終將出現(xiàn)。

究竟有哪些技術(shù)能夠推動(dòng)AI邁過(guò)這個(gè)奇點(diǎn)呢？在本期?？?，我們采訪了全球AI界的頂尖技術(shù)“大咖”：“德?lián)銩I之父”卡內(nèi)基梅隆大學(xué)教授托馬斯·桑德霍普，遷移學(xué)習(xí)“掌門人”香港科技大學(xué)教授、國(guó)際人工智能聯(lián)合會(huì)理事會(huì)主席楊強(qiáng)以及“膠囊網(wǎng)絡(luò)”較好的解讀者Aurélien Géron，試圖尋找能推動(dòng)AI邁過(guò)這個(gè)奇點(diǎn)的技術(shù)引擎。

源起

“玄學(xué)”深度學(xué)習(xí)之惑：

打不破的“煉丹爐”黑盒子?

2018年初，一個(gè)來(lái)自伯克利大學(xué)、阿姆斯特丹大學(xué)、MPI for Informatics以及Facebook的人工智能研究部門開(kāi)始向人工智能傳授自我判斷和解釋的能力，試圖讓“黑盒”變得透明。這已經(jīng)不是人類對(duì)深度學(xué)習(xí)黑盒子探索的首次嘗試，但至少說(shuō)明人類對(duì)黑盒子的解釋正在不斷努力。

黑盒子，顧名思義，就是內(nèi)部結(jié)構(gòu)不可探視的密閉空間。對(duì)于深度學(xué)習(xí)研究者來(lái)說(shuō)，層層疊加的神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)使程序在經(jīng)過(guò)幾千萬(wàn)個(gè)樣本訓(xùn)練以后，對(duì)輸出的結(jié)果無(wú)法解釋。也就是說(shuō)，一旦程序輸出結(jié)果有錯(cuò)，人們無(wú)法知曉是哪里出了錯(cuò)，應(yīng)該調(diào)整什么地方。

人工智能正處于初始階段，香港科技大學(xué)教授楊強(qiáng)告訴我們，因果關(guān)系非常重要。在很多實(shí)際領(lǐng)域中，如果一個(gè)計(jì)算機(jī)模型只給出結(jié)論，但人類并不知道這個(gè)結(jié)論如何得出，往往這個(gè)模型不會(huì)被實(shí)際使用。

楊強(qiáng)認(rèn)為，讓黑箱模型具有可解釋只是人工智能未來(lái)的一個(gè)方向。在未來(lái)，人工智能還身兼太多重任——讓機(jī)器學(xué)習(xí)更快速更可靠、使機(jī)器實(shí)現(xiàn)自動(dòng)推理、使預(yù)測(cè)更遠(yuǎn)更精準(zhǔn)，使機(jī)器能夠理解人，能夠觀看和收聽(tīng)影像……也就是說(shuō)，讓機(jī)器具有人的能力，在人不想做的領(lǐng)域都能超過(guò)人，但這個(gè)階段還有相當(dāng)長(zhǎng)的時(shí)間。

因此，在主流的深度學(xué)習(xí)和卷積神經(jīng)元網(wǎng)絡(luò)結(jié)構(gòu)之外，人工智能領(lǐng)域還在嘗試許多其他方向，科學(xué)家們希望通過(guò)不同的技術(shù)路徑，可以用更小的成本、更快的速度實(shí)現(xiàn)人工通用智能。當(dāng)這些源自不同“山頭”的技術(shù)匯聚成海時(shí)，或許技術(shù)爆炸的奇點(diǎn)就到來(lái)了。

遷移學(xué)習(xí)：

批量生產(chǎn)“小而美”的AI公司?

數(shù)據(jù)缺失、算力有限，很多公司在解決AI可移植問(wèn)題和普適性問(wèn)題。試想當(dāng)你學(xué)會(huì)中英文互譯，就可以將翻譯的法則同時(shí)運(yùn)用在中法互譯當(dāng)中；當(dāng)你學(xué)會(huì)騎自行車，也就同時(shí)具備了駕駛摩托車的技能……這就是遷移學(xué)習(xí)的初衷，利用更低成本實(shí)現(xiàn)更多功能。在大數(shù)據(jù)成本居高不下、小企業(yè)無(wú)力彎道超車的人工智能領(lǐng)域，遷移學(xué)習(xí)或?qū)⒊蔀轭嵏铂F(xiàn)有格局的下一個(gè)技術(shù)風(fēng)口。

讓機(jī)器學(xué)會(huì)舉一反三。

《論語(yǔ)·述而》曾有云：舉一隅不以三隅反，則不復(fù)也。正如物理學(xué)家開(kāi)爾文通過(guò)巴斯德高溫殺菌的發(fā)現(xiàn)，延伸出低溫存儲(chǔ)的“冷藏工藝”，舉一反三能夠幫助人類解決生活中各種各樣的問(wèn)題。而這種舉一反三的能力在機(jī)器學(xué)習(xí)領(lǐng)域同樣適用，科學(xué)家將其稱之為“遷移學(xué)習(xí)”。

2009年，新加坡南洋理工Sinno Jialin Pan 和香港科技大學(xué)教授楊強(qiáng)在一篇調(diào)查中首次提出人工智能領(lǐng)域“遷移學(xué)習(xí)”的概念。楊強(qiáng)是首位也是至今為止的AAAI（美國(guó)人工智能協(xié)會(huì)）華人執(zhí)委，同時(shí)也是第一位擔(dān)任IJCAI（國(guó)際人工智能聯(lián)合會(huì)議）理事會(huì)主席的華人科學(xué)家。這位AI牛人對(duì)“遷移學(xué)習(xí)”技術(shù)的研究直指人工智能發(fā)展的痛點(diǎn)——用于支持機(jī)器深度學(xué)習(xí)的基礎(chǔ)大數(shù)據(jù)往往未經(jīng)標(biāo)注，收集標(biāo)注數(shù)據(jù)或者從頭開(kāi)始構(gòu)建模型代價(jià)高昂且費(fèi)時(shí)。

機(jī)器學(xué)習(xí)是人工智能的核心，卡內(nèi)基梅隆大學(xué)人工智能教授Tom Mitchell曾定義機(jī)器學(xué)習(xí)為“對(duì)能通過(guò)經(jīng)驗(yàn)自動(dòng)改進(jìn)的計(jì)算機(jī)算法的研究”，即機(jī)器通過(guò)對(duì)大量數(shù)據(jù)和過(guò)往經(jīng)驗(yàn)的學(xué)習(xí)，提升計(jì)算機(jī)程序的性能。楊強(qiáng)說(shuō)，在這個(gè)過(guò)程中，機(jī)器內(nèi)置的模型往往已經(jīng)人為預(yù)測(cè)好，但是如果未來(lái)有所變化，這個(gè)模型就會(huì)無(wú)法擴(kuò)展，遷移學(xué)習(xí)意在使模型具備可擴(kuò)展性，增強(qiáng)其范化能力。也就是說(shuō)，遷移學(xué)習(xí)可以使機(jī)器學(xué)習(xí)通過(guò)更低廉的數(shù)據(jù)成本，解決更廣泛的問(wèn)題。

實(shí)現(xiàn)不同場(chǎng)景AI模型再利用?

遷移學(xué)習(xí)之于深度學(xué)習(xí)，就好比通過(guò)節(jié)約用紙保護(hù)森林。在人工智能領(lǐng)域，當(dāng)模型具備一定可擴(kuò)展性，就能反復(fù)被“回收利用”，減少不必要的數(shù)據(jù)成本?！盎厥绽谩钡南敕ㄊ终T人，而在現(xiàn)實(shí)應(yīng)用當(dāng)中，表現(xiàn)也并不遜色。

楊強(qiáng)說(shuō)，遷移學(xué)習(xí)已經(jīng)在現(xiàn)實(shí)中很多領(lǐng)域應(yīng)用廣泛：人類可以通過(guò)建立語(yǔ)音識(shí)別模型，將對(duì)普通話的深度學(xué)習(xí)模型遷移到方言；也可以建立起人臉識(shí)別模型，將光照很好狀態(tài)下的模型遷移到不同光照?qǐng)鼍埃簧踔量梢詫?shí)現(xiàn)不同領(lǐng)域、不同背景下的文本和輿情分析。

在大數(shù)據(jù)甚囂塵上的數(shù)字化時(shí)代，基于大數(shù)據(jù)深度學(xué)習(xí)下的人工智能并不能滿足所有細(xì)分場(chǎng)景，更何況“大數(shù)據(jù)”并非輕易得來(lái)。楊強(qiáng)認(rèn)為，如何用少量數(shù)據(jù)實(shí)現(xiàn)同樣預(yù)測(cè)效果，即“遷移學(xué)習(xí)”，將會(huì)是人工智能中一個(gè)未來(lái)的發(fā)展方向。而在遷移學(xué)習(xí)技術(shù)面前，中國(guó)平行于世界先進(jìn)水平，甚至走在世界的前端。

楊強(qiáng)在2017年7月CCF-GAIR（全球人工智能與機(jī)器人峰會(huì)）的演講中曾提到一個(gè)愿景——利用遷移學(xué)習(xí)，即使是自身沒(méi)有條件獲得大量訓(xùn)練數(shù)據(jù)的小公司，也可以按照自己的需要應(yīng)用大公司訓(xùn)練出來(lái)的模型，從而普及AI的應(yīng)用?；蛟S公司小而美，技術(shù)精而尖，將是人工智能公司的下一個(gè)發(fā)展方向。

冷撲大師：

玩一場(chǎng)不完美信息的游戲?

這是一場(chǎng)“不完美信息”的游戲。

2017年1月30日，AI機(jī)器人Libratus和四個(gè)全球較高級(jí)德州撲克玩家，用20天完成了一場(chǎng)人機(jī)大戰(zhàn)，Libratus（中文名：冷撲）大獲全勝，贏得了176萬(wàn)美元獎(jiǎng)金。

或許因?yàn)榈轮輷淇耸遣皝?lái)品，與Alpha Go大戰(zhàn)李世石相比，這場(chǎng)比賽并不太為中國(guó)大眾所知，但在人工智能圈里，冷撲和他的創(chuàng)建者美國(guó)卡內(nèi)基梅隆大學(xué)（CMU）的計(jì)算機(jī)系教授托馬斯·桑德霍姆（Tuomas Sandholm）和其研究生諾姆·布朗（Noam Brown）卻是2017年最閃亮的明星。在全球AI較高級(jí)峰會(huì)2017 NIPS上，他倆合寫的論文《不完美信息游戲中安全內(nèi)嵌的殘局計(jì)算法》在3240篇投稿論文中脫穎而出，被評(píng)為最優(yōu)秀論文，桑德霍姆也被稱為德州撲克AI之父。

它學(xué)會(huì)了“詐唬”對(duì)手。

“與深度學(xué)習(xí)相比，我們技術(shù)較大優(yōu)點(diǎn)是具有可證明的性能保證?！?月13日，桑德霍姆表示。

近幾年的人工智能熱潮中，深度學(xué)習(xí)是最主流的技術(shù)，Alpha Go以及之后Alpha Zero的成功，更是使其幾乎成為AI的代名詞。然而，盡管Alpha Zero成為全棋類冠軍，但這些游戲都屬于所謂“完美信息游戲”，也就是說(shuō)，交戰(zhàn)雙方清楚每一時(shí)刻棋面上的全部情況。

德州撲克是典型的不完美信息博弈，除了牌面信息，對(duì)手有什么牌？對(duì)手會(huì)怎么出牌？下一張翻出的公共牌會(huì)是什么？通常這種博弈會(huì)出現(xiàn)納什均衡的局面。所謂納什均衡，是指在博弈中，每個(gè)人都在猜測(cè)對(duì)手會(huì)出什么牌，每個(gè)人的策略都是對(duì)其他人策略的最優(yōu)反應(yīng)。

和完美博弈不同，不完美信息博弈不能通過(guò)將博弈分解為可獨(dú)立求解的子博弈而求得占優(yōu)策略，所以冷撲必須通過(guò)納什均衡來(lái)計(jì)算該如何應(yīng)對(duì)對(duì)手那些沒(méi)出現(xiàn)在決策樹(shù)上的招數(shù)，并以收益反饋對(duì)自身的出招進(jìn)行動(dòng)態(tài)修正，以期達(dá)到較大可能的收益，而非簡(jiǎn)單地將對(duì)手的行為進(jìn)行近似處理。

簡(jiǎn)而言之，冷撲不僅要猜下一張牌可能是什么，還要猜對(duì)手可能會(huì)如何押注，更要最后做出決策，自己該怎么押注，它學(xué)會(huì)了分析對(duì)手是否“詐?！?，甚至自己也會(huì)“詐?！睂?duì)手，總之，它變成了一個(gè)“心理學(xué)高手”。

讓冷撲幫你炒股

“現(xiàn)實(shí)世界中的大多數(shù)應(yīng)用都是不完美的信息游戲，休閑游戲、商業(yè)戰(zhàn)略談判、戰(zhàn)略定價(jià)、產(chǎn)品組合規(guī)劃、金融、投資銀行、投標(biāo)策略、拍賣設(shè)計(jì)、政治活動(dòng)、自動(dòng)駕駛和車輛車隊(duì)、醫(yī)療規(guī)劃、網(wǎng)絡(luò)安全、物理安全、軍事應(yīng)用等等，在面對(duì)這些不確定性問(wèn)題時(shí)，我們可以幫助人們找到最優(yōu)策略?！鄙５禄裟氛J(rèn)為，冷撲在現(xiàn)實(shí)生活中應(yīng)該比Alpha Go更實(shí)用。

舉個(gè)例子，一家企業(yè)要為自己的產(chǎn)品定價(jià)，但它的決策一定基于市場(chǎng)中同類競(jìng)品的定價(jià)、市場(chǎng)需求等多種因素，如果競(jìng)爭(zhēng)對(duì)手突然改變了自己的定價(jià)，你為了實(shí)現(xiàn)價(jià)值最優(yōu)，必須也要改變自己的定價(jià)。AI技術(shù)的作用在于可以進(jìn)行事先戰(zhàn)略性定價(jià)，也就是說(shuō)，預(yù)判對(duì)手可能的策略，提前進(jìn)行戰(zhàn)略部署，這樣市場(chǎng)的主動(dòng)權(quán)便掌握在自己手里。

膠囊網(wǎng)絡(luò)：

讓人工神經(jīng)元像人腦那樣思考?

當(dāng)Alpha Go帶起的深度學(xué)習(xí)浪潮席卷AI界時(shí)，一位年近70的老人，卻開(kāi)始對(duì)它說(shuō)“不”，盡管他是它的“創(chuàng)造者”。2011年開(kāi)始，被譽(yù)為深度學(xué)習(xí)之父的Geoffrey Hinton（杰弗里·辛頓）開(kāi)始反思CNNs（卷積神經(jīng)網(wǎng)絡(luò),深度學(xué)習(xí)的一種結(jié)構(gòu)）的弱點(diǎn)，并提出了一種新的神經(jīng)元網(wǎng)絡(luò)計(jì)算結(jié)構(gòu)——膠囊網(wǎng)絡(luò)（the capsule network）。

這種自我顛覆在AI圈掀起一陣巨浪，有的人堅(jiān)定地站在Hinton一邊，認(rèn)為膠囊有可能對(duì)深度學(xué)習(xí)帶來(lái)深遠(yuǎn)影響，特別是在計(jì)算機(jī)視覺(jué)領(lǐng)域，會(huì)大大減少訓(xùn)練計(jì)算機(jī)所需要的數(shù)據(jù)量，但也有人認(rèn)為，膠囊網(wǎng)絡(luò)并沒(méi)有新鮮的理論，算不上什么特別大的革新。

那么，膠囊網(wǎng)絡(luò)究竟是什么？它會(huì)對(duì)人工智能領(lǐng)域帶來(lái)什么？Hinton最近因?yàn)榧彝ピ颍]門謝客，于是我們找到了Aurélien Géron。

Aurélien Géron是一名機(jī)器學(xué)習(xí)咨詢師，也是《Hands-on Machine Learning with Scikit-Learn and TensorFlow》（《用Scikit-Learn and TensorFlow實(shí)際操作機(jī)器學(xué)習(xí)》）一書的作者（這本書很快將在中國(guó)出版），他在谷歌時(shí)曾領(lǐng)導(dǎo)了YouTube的視頻分類團(tuán)隊(duì)。Aurélien制作發(fā)布的兩個(gè)視頻，被稱為“史上最通俗易懂的膠囊網(wǎng)絡(luò)科普視頻”。5月9日，專訪Aurélien，請(qǐng)他深度解析膠囊網(wǎng)絡(luò)。

1、請(qǐng)問(wèn)膠囊網(wǎng)絡(luò)是什么？目前有技術(shù)進(jìn)展嗎？

Aurélien Géron：先舉一個(gè)簡(jiǎn)單的例子理解深度學(xué)習(xí)中的CNNs，如何確認(rèn)一張臉？對(duì)于CNNs來(lái)說(shuō)，一個(gè)橢圓形的臉，有兩只眼睛、一個(gè)鼻子和一個(gè)嘴巴，這些對(duì)于它判斷這是否一張臉是很重要的指標(biāo)，但這些器官是不是在正確的位置，并不是它做判斷的依據(jù)。

膠囊網(wǎng)絡(luò)核心思想是，將神經(jīng)元分組成一個(gè)一個(gè)小膠囊，每一個(gè)決策點(diǎn)，并不需要每個(gè)人工神經(jīng)元都做出判斷，而是只要檢查這個(gè)膠囊是否同意，然后將結(jié)果輸入下一層合適的膠囊中。

我覺(jué)得這個(gè)理論很有前途，但局限性也很明顯，特別是在識(shí)別大圖片的時(shí)候，效果并不是很理想，而且訓(xùn)練的速度非常慢?？偟脕?lái)說(shuō)，膠囊網(wǎng)絡(luò)相當(dāng)程度上依然是實(shí)驗(yàn)性的。

2、世界范圍內(nèi)的膠囊網(wǎng)絡(luò)研究者有多少？與其他深度學(xué)習(xí)相比，這項(xiàng)技術(shù)處于什么階段？

Aurélien Géron：目前還很難判斷，在谷歌論文上，我看到了“膠囊間動(dòng)態(tài)路由”論文的73篇引文，其中46篇引用了標(biāo)題中的“膠囊”一詞。平均一篇論文大約有3到5個(gè)作者，這意味著大約有200名研究人員出版了論文。所以我猜想，全球大概有500名研究人員正在研究膠囊網(wǎng)絡(luò)，但這也只是一個(gè)猜想：研究是分散的，所以很難具體知道研究者的數(shù)量。

3、膠囊網(wǎng)絡(luò)較大的優(yōu)勢(shì)是什么，特別是與其他深度學(xué)習(xí)方法相比？研究者可以減少數(shù)據(jù)和輸入嗎？

Aurélien Géron：膠囊網(wǎng)絡(luò)的好處還是很明顯的，比如它比CNNs需要更少的訓(xùn)練實(shí)例，當(dāng)信號(hào)通過(guò)膠囊時(shí)，可以更好地保存關(guān)于對(duì)象的位置、方向等方面的詳細(xì)信息，這對(duì)于需要這些詳細(xì)信息的應(yīng)用來(lái)說(shuō)非常有前途，類似像對(duì)象檢測(cè)、圖像分割（即發(fā)現(xiàn)哪些像素屬于哪個(gè)對(duì)象）等應(yīng)用。其次，膠囊比CNNs更善于總結(jié)歸納，如果你訓(xùn)練它們識(shí)別一些物體，然后向它們顯示方向不同的同一個(gè)物體，它們可能比CNNs更不容易被迷惑。

4、膠囊網(wǎng)絡(luò)未來(lái)可以有哪些應(yīng)用場(chǎng)景？

Aurélien Géron：膠囊網(wǎng)絡(luò)已經(jīng)成功地被用于檢測(cè)癌癥，因?yàn)閹缀醪恍枰嗟挠?xùn)練數(shù)據(jù)和較精確的位置信息。我相信還會(huì)有很多其他的場(chǎng)景，例如，分析衛(wèi)星圖像或者檢測(cè)制造業(yè)的缺陷。

5、吳恩達(dá)曾說(shuō)：“今天的人工智能的成就更多地是由計(jì)算機(jī)科學(xué)的原理推動(dòng)的，而不是神經(jīng)科學(xué)的原理?！蹦鷮?duì)這句話如何理解？

Aurélien Géron：最初人工智能的整個(gè)領(lǐng)域都受到生物學(xué)的啟發(fā)：人工神經(jīng)元便是由生物神經(jīng)元激發(fā)的，因?yàn)樾拢ù竽X）皮質(zhì)層似乎就是這樣組織的，卷積神經(jīng)網(wǎng)絡(luò)也是受到視覺(jué)皮層的啟發(fā)。

6、《IT時(shí)報(bào)》：人工智能的最終形式是什么？你認(rèn)為AI離這個(gè)理想狀態(tài)有多遠(yuǎn)？

Aurélien Géron：人工智能的最終形式將是人工通用智能（AGI），一種能夠快速學(xué)習(xí)并掌握任何新智力任務(wù)的計(jì)算機(jī)系統(tǒng)，它能不斷地學(xué)習(xí)和改進(jìn)，希望能造福于全人類，而不是少數(shù)人（或僅僅為自己）。它不一定像人類一樣思考，我們大部分行為來(lái)自于對(duì)吃飯、繁殖、社會(huì)交往等的需求，機(jī)器不會(huì)有同樣的需求，因此它可能不會(huì)像我們一樣思考。但是，由于我們大部分智力來(lái)自于我們的文化（語(yǔ)言、書籍、科學(xué)……），它可能很早就需要學(xué)習(xí)我們的方法，所以我認(rèn)為它會(huì)很好地與我們進(jìn)行交流和互動(dòng)，甚至可能會(huì)將我們的局限性和偏見(jiàn)也考慮進(jìn)去。

人類面前有很多風(fēng)險(xiǎn)、變化和機(jī)會(huì)，我們需要做好準(zhǔn)備。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754