摘要：福布斯昨日刊登專訪。生于英國(guó)，被認(rèn)為是機(jī)器學(xué)習(xí)的先鋒，現(xiàn)在是多倫多大學(xué)教授，谷歌高級(jí)研究員。但是，正如我所說(shuō)，已經(jīng)跨越過(guò)了這一分水嶺。

《福布斯》昨日刊登Geoff Hinton專訪。游走在學(xué)術(shù)和產(chǎn)業(yè)的AI大神Hinton談到了自己研究興趣的起源、在多倫多大學(xué)和谷歌所做的研究工作以及發(fā)起的私人俱樂(lè)部 NCAP。 在采訪中，Hinton談到，現(xiàn)在計(jì)算能力和數(shù)據(jù)的發(fā)展讓AI獲得巨大進(jìn)步，并且在很多領(lǐng)域得到應(yīng)用，這也讓他從一個(gè)AI的“狂熱分子”變成了“狂熱核心”。

Geoffery Hinton 生于英國(guó)，被認(rèn)為是機(jī)器學(xué)習(xí)的先鋒，現(xiàn)在是多倫多大學(xué)教授，谷歌高級(jí)研究員。Hinton早在20世紀(jì)70年代就開(kāi)始進(jìn)入AI研究領(lǐng)域。

以下是《福布斯》網(wǎng)站對(duì)Hinton的專訪，發(fā)表于2016年6月20日。

從人腦到深層神經(jīng)網(wǎng)絡(luò)

【Peter High】此前在多倫多大學(xué)，你的目標(biāo)是發(fā)現(xiàn)一種學(xué)習(xí)過(guò)程，能有效地在大型高維數(shù)據(jù)集中找到復(fù)雜的結(jié)構(gòu)，并證明這就是大腦學(xué)習(xí)理解事物的方式。能不能談一談這個(gè)，以及你在多倫多大學(xué)和谷歌都在研究什么？

【Geoffrey Hinton】顯然，大腦非常善于處理非常高維的數(shù)據(jù)，并做出理解。例如，來(lái)自視覺(jué)神經(jīng)的信息通常是百萬(wàn)量級(jí)的，并且?guī)缀跏羌磿r(shí)的。大腦對(duì)此作了大量的解讀，當(dāng)我們獲得視覺(jué)輸入時(shí)，我們通常都會(huì)獲得正確的理解。眼前是一只狗，我們看到的不會(huì)是一頭大象。在心理實(shí)驗(yàn)中，有時(shí)候會(huì)出錯(cuò)，但是從整體上來(lái)看，我們非常善于發(fā)現(xiàn)現(xiàn)實(shí)生活中發(fā)生了什么，這要得益于這些非常高維的輸入。在我們進(jìn)行了大量的學(xué)習(xí)后，每次我們或多或少都會(huì)得到正確的答案。這是一種非常厲害的能力，計(jì)算機(jī)目前還沒(méi)有。我們正在接近（讓計(jì)算機(jī)擁有這種能力）。但是，這和統(tǒng)計(jì)學(xué)不太一樣，在統(tǒng)計(jì)學(xué)方法中，你擁有的是低維數(shù)據(jù)，并且用于訓(xùn)練的數(shù)據(jù)也沒(méi)那么多，而且，你訓(xùn)練的是一個(gè)很小的模型，并不會(huì)有太多的參數(shù)。

大腦最吸引我的地方在于，它有著大量的參數(shù)，比擁有的訓(xùn)練數(shù)據(jù)更多。所以，這和目前取得成功的神經(jīng)網(wǎng)絡(luò)有很大的不一樣。目前，我們擁有數(shù)百萬(wàn)量級(jí)的神經(jīng)網(wǎng)絡(luò)，我們?cè)跀?shù)百萬(wàn)個(gè)樣本上進(jìn)行訓(xùn)練，效果都不錯(cuò)，有時(shí)候是幾十億的量級(jí)和幾十億的樣本。但是，通常我們擁有的參數(shù)并不會(huì)像訓(xùn)練數(shù)據(jù)那樣多，這跟大腦是不一樣的。在每一秒的經(jīng)歷中，大腦擁有上萬(wàn)個(gè)參數(shù)。事實(shí)上，關(guān)于這樣的系統(tǒng)如何工作，以及怎樣讓它們善于在數(shù)據(jù)中找到結(jié)構(gòu)，我們并沒(méi)有太多的經(jīng)驗(yàn)。

真正的人工智能，“我們已跨越重要的分水嶺”

?

【High】在發(fā)展真正的人工智能上，你怎么看？

【Hinton】我認(rèn)為我們已經(jīng)跨越了一個(gè)十分重要的分水嶺。不久之前，AI圈內(nèi)大多數(shù)人所做的AI還是由邏輯學(xué)驅(qū)動(dòng)的。這種智能的范式是邏輯推理，并且一個(gè)內(nèi)部的表示（representation）看起來(lái)會(huì)是什么樣，取決于它是屬于哪一種象征結(jié)構(gòu)。擁有大型的神經(jīng)網(wǎng)絡(luò)后，這已經(jīng)完全被改變了。我們現(xiàn)在把內(nèi)部表示看成是一個(gè)巨大的向量，并且，在如何讓事物起作用上，我們并不會(huì)把邏輯作為一種范式。我們僅僅認(rèn)為，你可以利用這些大型神經(jīng)網(wǎng)路，它們可以學(xué)習(xí)而不是編程，你可以讓它們學(xué)習(xí)所有的事情。許多年以來(lái)，AI圈內(nèi)的人都認(rèn)為這只是一個(gè)白日夢(mèng)。

有一些事情，人們會(huì)直接地認(rèn)為是癡人說(shuō)夢(mèng)，舉個(gè)例子：取一串英語(yǔ)單詞以及另一串與之匹配的法語(yǔ)單詞，雙方在翻譯上是對(duì)稱的，在進(jìn)行充分配對(duì)之后，你可以訓(xùn)練一個(gè)大型的神經(jīng)網(wǎng)絡(luò)，這樣一來(lái)，以后如果你給這個(gè)神經(jīng)網(wǎng)絡(luò)一個(gè)新的英語(yǔ)單詞，它就能把單詞翻譯成一個(gè)質(zhì)量合格的法語(yǔ)。

現(xiàn)在，我們?cè)谶@上面依然沒(méi)有做到較好，但是既有的神經(jīng)網(wǎng)絡(luò)已經(jīng)是較先進(jìn)的，處理的速度有了很大的提升，并且，我認(rèn)為很快會(huì)在實(shí)踐中得到應(yīng)用。

早在二三十年前，人們可能會(huì)說(shuō)，這個(gè)想法完全是瘋狂的。當(dāng)然，你需要用語(yǔ)言學(xué)和現(xiàn)實(shí)世界的知識(shí)對(duì)大量的知識(shí)進(jìn)行編程。

一個(gè)相當(dāng)愚蠢、簡(jiǎn)單的學(xué)習(xí)算法，能夠僅僅從數(shù)據(jù)中進(jìn)行學(xué)習(xí)，而不需要加入任何真實(shí)的語(yǔ)言學(xué)知識(shí)。這一想法聽(tīng)起來(lái)似乎完全是荒謬的。

但是現(xiàn)在，對(duì)于思考過(guò)大腦的人來(lái)說(shuō)，這也沒(méi)有那么荒謬，因?yàn)檫@基本上就是大腦所要做的事。但是，正如我所說(shuō)，AI已經(jīng)跨越過(guò)了這一分水嶺。AI圈內(nèi)大多數(shù)人，尤其是年輕人，現(xiàn)在相信，如果你先要一個(gè)擁有大量知識(shí)的系統(tǒng)，比如，所擁有的知識(shí)需要花費(fèi)上百萬(wàn)比特來(lái)量化的那些，那么獲得一個(gè)包含所有這類知識(shí)的良好系統(tǒng)的辦法是讓系統(tǒng)可以從中進(jìn)行學(xué)習(xí)。你并不需要把這些知識(shí)手動(dòng)地輸進(jìn)去。

用神經(jīng)網(wǎng)絡(luò)做真正的遞歸

【High】你曾說(shuō)過(guò)，隨著技術(shù)的進(jìn)步在許多不同的地方得到體現(xiàn)，正如此前描述的那些一樣。你已經(jīng)從一個(gè)從狂熱分子轉(zhuǎn)變到狂熱核心了。

【Hinton】對(duì)。我們中的許多人多年來(lái)一直有一個(gè)信仰，那就是如果我們有足夠強(qiáng)大的計(jì)算能力，有足夠多的數(shù)據(jù)，那么我們的技術(shù)就會(huì)起作用。我們現(xiàn)在已經(jīng)證明了這一點(diǎn)?，F(xiàn)在，我們的技術(shù)在進(jìn)步：你讓計(jì)算能力更強(qiáng)大，我們就能制作更好的模型；你給我們?cè)酱蟮臄?shù)據(jù)庫(kù)，我們就可以制作更好的模型。但如果你只是把所有的事情都編程，這就無(wú)法實(shí)現(xiàn)。

【High】你在20世紀(jì)70年代就開(kāi)始學(xué)習(xí)人工智能，雖然計(jì)算機(jī)技術(shù)的進(jìn)步在幫助你實(shí)現(xiàn)目標(biāo)，但是其中也面臨著挑戰(zhàn)。能不能講一下是什么激勵(lì)你選擇人工智能，而不僅是拿下博士學(xué)位，還把其作為自己的職業(yè)呢？

【Hinton】我想這可以歸納如下：不管怎么說(shuō)，大腦都是在工作，而關(guān)于大腦如何學(xué)習(xí)，如何使用這些緩慢的神經(jīng)元來(lái)計(jì)算，這確實(shí)是一個(gè)很大的疑惑。我一直以來(lái)的動(dòng)力主要是，在大腦中，我們很清楚地知道人可以獲得智能，而這跟數(shù)字化的計(jì)算機(jī)是很不一樣的。具體說(shuō)來(lái)，就是大腦中并沒(méi)有人在編程。

我記得，1973年，在愛(ài)丁堡大學(xué)，我作為研究生參與的第二個(gè)項(xiàng)目時(shí)，有人向我解釋神經(jīng)網(wǎng)絡(luò)已經(jīng)過(guò)時(shí)，并且沒(méi)有機(jī)會(huì)得到應(yīng)用。他們還說(shuō)：“當(dāng)然，神經(jīng)網(wǎng)絡(luò)了做不了遞歸（recursion）”，當(dāng)時(shí)，遞歸被認(rèn)為是智能的本質(zhì)。我似乎必須要展示神經(jīng)網(wǎng)絡(luò)如何做遞歸，才能跟他們進(jìn)行辯論。所以我開(kāi)始準(zhǔn)備展示如何在一個(gè)神經(jīng)網(wǎng)絡(luò)中做真正的遞歸。我所說(shuō)的“真正的遞歸”指的是，怎么在網(wǎng)絡(luò)中使用連接強(qiáng)度（connection strengths）來(lái)做一些事情。如果我們處理這樣一個(gè)句子“John did not like Bill because he was rude to Mary”，“he wasrude to Mary”，是一個(gè)內(nèi)嵌句，我必須使用處理整個(gè)句子時(shí)使用的相同的連接和神經(jīng)元來(lái)處理這個(gè)句子。

我要做的是存儲(chǔ)我對(duì)句子的處理，隨后，去處理嵌入句，然后把從嵌入句子中獲得的信息融合到所存儲(chǔ)的句子中。我計(jì)劃去做一個(gè)神經(jīng)元網(wǎng)絡(luò)，要能做真正的遞歸。并且，通過(guò)在承擔(dān)存儲(chǔ)任務(wù)的神經(jīng)元間施加暫時(shí)的權(quán)重，還真的做到了。我記得我曾對(duì)一個(gè)研究小組解釋了這一方法，他們都不知道我為什么會(huì)要做這些。有趣的是，我當(dāng)時(shí)解決了一個(gè)剛剛變得流行的難題。十多年之前，如何真正做到遞歸就已經(jīng)是一個(gè)流行的難題，花了40多年，人們才真正認(rèn)識(shí)到這是一個(gè)需要解決的問(wèn)題。

NCAP，Hinton的私人大腦俱樂(lè)部

【High】作為神經(jīng)計(jì)算與適應(yīng)性感知程序（NCAP）的創(chuàng)建人，這是一個(gè)集合了計(jì)算機(jī)科學(xué)家、生物學(xué)家、電子工程師、神經(jīng)網(wǎng)絡(luò)科學(xué)家、物理學(xué)家、心理學(xué)家的網(wǎng)絡(luò)。你能不能談一下合作的重要性，還有怎么找到這些的思想家，讓他們一起合作。

【Hinton】一個(gè)人沒(méi)必要在所有的這些領(lǐng)域都是專家。這太難了。你需要的是一個(gè)單個(gè)領(lǐng)域的專家，但是他也要理解項(xiàng)目主要是關(guān)于什么的，你在不懂的時(shí)候，就能問(wèn)他們，而不需要自己去閱讀大量的文獻(xiàn)，再說(shuō)，有時(shí)候你也不知道哪些論文是值得信任的。如果你有一個(gè)專家，他們會(huì)告訴你這些。這能為你節(jié)省大量的時(shí)間，他們可以從自己的視角出發(fā)，告訴你哪些事情是很蠢的，哪些不是。

【High】NCAP是“只有邀請(qǐng)才能加入的”。能不能談一下你是怎樣建立這一網(wǎng)絡(luò)的，在具體的項(xiàng)目中又是如何應(yīng)用的。

【Hinton】首先，我們建立NCAP時(shí)目的是相當(dāng)簡(jiǎn)單的。我只是想到了我認(rèn)識(shí)的所有人，所有善于交際的聰明人，并嘗試把他們都拉到項(xiàng)目里來(lái)。有三個(gè)條件：你必須很聰明；你必須要善于互動(dòng)；你必須要對(duì)大腦是如何運(yùn)轉(zhuǎn)的感興趣。這一項(xiàng)目已經(jīng)展開(kāi)很多年了，我也認(rèn)識(shí)了一些這類的人，我們剛好混搭得很好。

【High】從2004年以來(lái)，計(jì)算能力急劇提高，所以，在把創(chuàng)意變現(xiàn)上，也變得更加迅速。你怎么看待你在NCAP獲得的成果。

【Hinton】從NCAP中，確實(shí)有一些成果。不只是神經(jīng)網(wǎng)絡(luò)。人們還做了許多別的事情，比如感知和控制。長(zhǎng)期以來(lái)，最獲得認(rèn)可的是深度神經(jīng)網(wǎng)絡(luò)。2004年以前，有一種廣泛的認(rèn)識(shí)是，訓(xùn)練多層的神經(jīng)網(wǎng)絡(luò)是很難的，NCAP中的許多人認(rèn)為，只用監(jiān)督式學(xué)習(xí)，很難在神經(jīng)網(wǎng)絡(luò)中做翻譯。所以，回過(guò)頭去看，有點(diǎn)奇怪的是，我們當(dāng)時(shí)都把注意力放到了非監(jiān)督式訓(xùn)練：在不了解網(wǎng)絡(luò)正確的輸出是什么樣的情況下，你怎樣才能一次學(xué)習(xí)一層。每一層都在嘗試對(duì)下一層的結(jié)構(gòu)和數(shù)據(jù)建模。這是深度學(xué)習(xí)獲得的又一個(gè)重大突破：事實(shí)上，通過(guò)這些預(yù)訓(xùn)練，我們能讓在深度網(wǎng)絡(luò)中的學(xué)習(xí)變得更加容易。

隨后，人們發(fā)現(xiàn)，有了足夠的數(shù)據(jù)和計(jì)算能力，在沒(méi)有預(yù)訓(xùn)練的情況下，去學(xué)習(xí)這些深度網(wǎng)絡(luò)也變得相當(dāng)容易。在很多情況下，當(dāng)你有了大量的數(shù)據(jù)，比如語(yǔ)音和許多視覺(jué)的問(wèn)題上人們都已經(jīng)不再考慮使用預(yù)訓(xùn)練。但是，預(yù)訓(xùn)練正是讓深度網(wǎng)絡(luò)再運(yùn)行的催化劑。一旦我們知道深度網(wǎng)絡(luò)能再次工作，我們便發(fā)現(xiàn)了它們其實(shí)能在沒(méi)有經(jīng)過(guò)預(yù)訓(xùn)練的情況下再工作。

我想這解釋了為什么讓無(wú)監(jiān)督學(xué)習(xí)了解深度網(wǎng)絡(luò)是許多研究者都要處理的相同主題，并且，我認(rèn)為，這是NCAP早期產(chǎn)出的一個(gè)成果。

其他

【High】怎么看待短期和長(zhǎng)期的項(xiàng)目？

【Hinton】眾所周知，你既需要應(yīng)用，也需要基礎(chǔ)科學(xué)。現(xiàn)在很多人對(duì)神經(jīng)網(wǎng)絡(luò)如此感興趣，并不是真正對(duì)理論感興趣，而是因?yàn)樯窠?jīng)網(wǎng)絡(luò)確實(shí)有用。神經(jīng)網(wǎng)絡(luò)在語(yǔ)音識(shí)別、物體識(shí)別或者機(jī)器翻譯中的應(yīng)用都令人印象很深，這也是為什么很多人會(huì)很感興趣，并為基礎(chǔ)研究進(jìn)行投資的原因。

這一問(wèn)題，我想，不僅是“利潤(rùn)動(dòng)機(jī)”和“非利潤(rùn)動(dòng)機(jī)”那么簡(jiǎn)單。舉例來(lái)說(shuō)，谷歌給大學(xué)提供了資金，用于基礎(chǔ)研究，這很有用的。這對(duì)大公司來(lái)說(shuō)也很重要，因?yàn)槟茏尨髮W(xué)持續(xù)地培養(yǎng)出受過(guò)良好教育的學(xué)生。所以，單純從研究的角度出發(fā)，大公司也有自己的動(dòng)機(jī)。這很微妙。

不管是在英國(guó)還是美國(guó)，大學(xué)都有來(lái)著政治上的壓力，需要把研究變得更加實(shí)用。政客很輕易地會(huì)說(shuō)出“我們把錢投給研究是因?yàn)闀?huì)獲得回報(bào)，在接下來(lái)幾年內(nèi)提供就業(yè)，或者提供利潤(rùn)”之類的話。這并不是基礎(chǔ)研究應(yīng)該走的方向。

真正巨大的回報(bào)是來(lái)自好奇心驅(qū)動(dòng)的研究。所以，在大學(xué)中，直接對(duì)應(yīng)用的投資對(duì)于我來(lái)說(shuō)是一個(gè)錯(cuò)誤。我覺(jué)得大學(xué)應(yīng)該做基礎(chǔ)的研究，公司應(yīng)該使用這些研究。讓大學(xué)的“研究者”的研究更加實(shí)用這種趨勢(shì)并不好，用科學(xué)的眼光來(lái)看，這很難理解。這只是一些政客和少數(shù)科學(xué)行政官員認(rèn)為這是一筆好的買賣。

【High】你現(xiàn)在游刃于學(xué)術(shù)環(huán)境和產(chǎn)業(yè)環(huán)境，一般早上9：30到中午1：30在多倫多大學(xué)，下午2點(diǎn)到6點(diǎn)在谷歌的辦公室。這兩種環(huán)境，對(duì)你來(lái)說(shuō)，究竟有什么不同。

【Hinton】我在谷歌有很多有趣的角色，我其實(shí)并不參與到任何具體的應(yīng)用中。我做神經(jīng)網(wǎng)絡(luò)很長(zhǎng)時(shí)間了，所以看到過(guò)許多創(chuàng)意。過(guò)去30年間，一些創(chuàng)意沒(méi)能獲得成功，因?yàn)橛?jì)算機(jī)還不夠快。我一直告訴谷歌大腦的人，舊的創(chuàng)意可能會(huì)跟他們現(xiàn)在所做的事情有關(guān)，會(huì)給他們靈感?；旧?，我現(xiàn)在做的事情就是，給做應(yīng)用的人提供建議，哪些基礎(chǔ)研究的創(chuàng)意可能可以得到應(yīng)用。這對(duì)于谷歌中一些對(duì)具體應(yīng)用看得很重的人來(lái)說(shuō)是有難度的。然而，在DeepMind，有大量的人在從事研究工作，在谷歌大腦，也有一些人對(duì)基礎(chǔ)研究很感興趣，開(kāi)發(fā)了神經(jīng)網(wǎng)絡(luò)的新算法。

【High】怎么看待AlphaGo？

【Hinton】玩圍棋需要直覺(jué)，你需要能夠看棋盤(pán)，然后決定哪一個(gè)位置適合落子。這是神經(jīng)網(wǎng)絡(luò)與此前基于邏輯推理的人工智能所不同的地方。

【High】怎么看待AI威脅論？

【Hinton】一個(gè)比喻，挖溝機(jī)能快速的在挖一個(gè)坑，這比人要快得多，但是，挖溝機(jī)同時(shí)也可以把你的頭敲下來(lái)。也就是說(shuō)，在使用技術(shù)之前，你需要仔細(xì)想想，技術(shù)會(huì)以什么樣的方式引起事故，會(huì)不會(huì)被錯(cuò)用。顯然，任何強(qiáng)大的技術(shù)都可能會(huì)被錯(cuò)用。?

【High】作為在學(xué)術(shù)領(lǐng)域深耕多年的教授，你怎么看待大量人才流向產(chǎn)業(yè)界？企業(yè)家是否可以跳過(guò)大學(xué)教育？

【Hinton】你可以想象，作為一名教授，我并不認(rèn)為這是一個(gè)好主意。我的感覺(jué)是，當(dāng)你在一個(gè)好的研究小組中獲得一個(gè)新的聰明的學(xué)生，魔力就發(fā)生了。我想大多數(shù)真正好的、根本性的新創(chuàng)意都來(lái)自研究生，他們自身很聰明，也有一個(gè)很好的環(huán)境。在這個(gè)環(huán)境中，其他人了解他們?cè)谡f(shuō)什么，并能提供良好的建議。目前看來(lái)，大學(xué)就是這樣一個(gè)地方。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754