摘要：取得博士學位后，他加入的團隊，在多倫多大學攻讀博士后，在年跟和合著了提出深度信念網(wǎng)絡的論文。只有充分了解，才能做出強有力的戰(zhàn)略決策。這帶來的一個重大問題是，個人隱私數(shù)據(jù)被其他人控制。機器學習是數(shù)據(jù)驅動的，與統(tǒng)計數(shù)據(jù)緊密相關。

昨天，谷歌 DeepMind 聯(lián)合創(chuàng)始人 Demis Hassabis 發(fā)布了這樣一條消息：

“很高興 Yee Whye Teh 和 Simon Osindero 加入團隊，他們兩人在 2006 年與 Hinton 合著論文，引發(fā)了深度學習革命！”

Yee Whye Teh 和 Simon Osindero 是誰，他們跟 Hinton 一起引發(fā)了什么革命呢？

2006 年那篇論文，題目叫做 “A fast learning algorithm for deep belief nets”，《深度信念網(wǎng)絡的一種快速學習算法》，刊于 Neural Computation，目前被引用了 4000 多次。

這篇文章解決了什么問題呢？我們知道，在一定程度內，中間隱藏層越多，網(wǎng)絡能解決的問題就越復雜。然而，沒有人知道怎么訓練多層的神經(jīng)網(wǎng)絡（也即深度神經(jīng)網(wǎng)絡），因此深度神經(jīng)網(wǎng)絡一直無人問津。

直到 Hinton、Teh 和 Osindero 2006 年發(fā)表上述論文，提出了一個訓練深度網(wǎng)絡的方法——對每一層網(wǎng)絡都進行預訓練，然后再微調，這樣學習速度就會大幅提高——終于初步解決了這一長期困擾人們的問題。

是那篇文章讓人們開始注意深度網(wǎng)絡，進而注意到深度學習，開啟了新的時代，所以 Hassabis 將其稱為“革命”。

雅虎人工智能架構師 Simon Osindero

再來看 Yee Whye Teh 和 Simon Osindero 這兩個人。他們都是 Hinton 的學生，而且是同學，博士畢業(yè)后，Yee Whye Teh 選擇留在學界繼續(xù)做研究，而 Simon Osindero 則走入產(chǎn)業(yè)。

Simon Osindero 的路線大致是：就業(yè)→創(chuàng)業(yè)→被收購→加入大企業(yè)，進入企業(yè)研究機構→ 谷歌DeepMind?

Simon Osindero 擁有劍橋大學的實驗物理和理論物理碩士學位。在劍橋大學的最后一年，Osindero 聽了 David Mackay 的信息理論課后，燃起了對貝葉斯統(tǒng)計學、編碼理論、機器學習和神經(jīng)網(wǎng)絡的興趣，之后攻讀倫敦大學學院的神經(jīng)科學博士學位。當時的導師是 Geoff Hinton，之后還得到 Peter Dayan 的指導。Osindero 博士生期間的工作主要集中于探索無監(jiān)督學習方法之間的聯(lián)系，神經(jīng)表征的發(fā)展和結構，尤其是與感知信息處理相關的大腦部分的結構。

取得博士學位后，他加入 Geoff Hinton 的團隊，在多倫多大學攻讀博士后，在2005/2006年跟 Hinton 和 Yee Whye Teh 合著了提出深度信念網(wǎng)絡的論文。該項研究與 Yann LeCun、Yoshua Bengio以及加拿大NCAP項目的其他成員的研究一起，引起了大家對現(xiàn)在的深度學習的興趣。

?

在多倫多大學完成學業(yè)后，Simon Osindero 進入蒙特利爾的初創(chuàng)企業(yè) Idilia 工作，為自然語言處理設計機器學習算法，在此期間發(fā)展了NLP和計算語言學方面的能力。之后，他在2009年與人共同創(chuàng)辦了 LookFlow——一家將機器學習和人機交互領域的前沿研究轉化為產(chǎn)品的公司。

根據(jù) LinkedIn 資料，在公司被雅虎于 2013 年收購之后，他就加入了雅虎，擔任雅虎的AI架構師，負責雅虎旗下圖片分享網(wǎng)站 Flickr 的計算機視覺和機器學習研發(fā)。2016 年 2 月加入谷歌 DeepMind。

Osindero 從計算機科學和神經(jīng)科學的交互中得到很大啟發(fā)。他相信，如果要發(fā)展理論神經(jīng)生物學學科，機器學習和信息理論的許多概念是至關重要的。同時，生物學中的見解能幫助我們設計出更好的AI系統(tǒng)。這與谷歌 DeepMind 的主張非常吻合。

不僅如此，Osindero 的長遠目標也與谷歌 DeepMind 聯(lián)合創(chuàng)始人 Demis Hassabis 差不多。2015 年 5 月，Osindero 參加 Re-Work 大會接受采訪時表示，從長遠來看，他有兩個比較大的個人研究目標：（1）促進機器智能在更廣闊的領域發(fā)展，努力創(chuàng)造出達到人類水平的AI；（2）理解大腦如何工作。

Osindero 對于研發(fā)動力有十分明確的認知，在雅虎大部分的研發(fā)工作是由產(chǎn)品驅動的，Osindero 他們與產(chǎn)品經(jīng)理和其他工程團隊密切合作，確定短期內能在哪個方向發(fā)揮較大影響?！拔艺J為理解經(jīng)營策略、優(yōu)先客戶體驗、目前和短期內的技術能力是很重要的。只有充分了解，才能做出強有力的戰(zhàn)略決策?！?/p>

Osindero 在去年 5 月接受采訪時，介紹了他認為最有前景的研究方向：

?

在深度學習模型上，將重點從有監(jiān)督深度學習轉移到半監(jiān)督、無監(jiān)督深度學習和增強學習；

設計學習課程，借鑒發(fā)育生物學；

使用“注意力代理（attentional agent）”或其他積極的感知機制 ——能有效讓模型確定該分析哪些輸入（以及以何種方式）——這可以從我們最近提高處理序列模式和遞歸神經(jīng)網(wǎng)絡的能力中獲益；

建立能使用、整合不同類型的記憶和 state-persistence（例如短期的，長期的，內存堆棧和聯(lián)想記憶庫）的模型；

通過基于分布式表征的某種推理引擎來綜合事實性和關系性知識庫。

我也很高興看到機器學習領域有越來越多的合作并且更加開放。我認為這對于整個研究領域都是非常重要的。

牛津大學機器學習教授 Yee Whye Teh

Yee Whye Teh 的中文名字是鄭懷宇，他加入谷歌 DeepMind 前是牛津大學的統(tǒng)計機器學習教授。

Yee Whye Teh 的路線：博士后→講師→教授→谷歌 DeepMind?

獲得多倫多大學的博士學位，鄭懷宇在美國加州大學伯克利分校和新加坡國立大學從事博士后工作，研究方向是機器學習和計算統(tǒng)計學，特別是圖形模型、貝葉斯非參數(shù)和表征學習。他還多次擔任NIPS、ICML和AISTATS的領域主席（area chair）。

從個人網(wǎng)站上可以看見，鄭懷宇的學生、合作者里都有在谷歌 DeepMind 工作的人。因此，這個團隊對他來說并不陌生。實際上，鄭懷宇應該對谷歌 DeepMind 相當熟悉。在 DeepMind 醫(yī)療數(shù)據(jù)風波時，鄭懷宇在 Google+ 發(fā)表文章：

“DeepMind在皇家自由醫(yī)院（Royal Free Hospital）臨床醫(yī)生的要求下，成立一個健康部門。一組臨床醫(yī)生認為可以讓DeepMind訪問160萬份醫(yī)療記錄，而不用咨詢患者。這筆交易的規(guī)模只在《New Scientist》上的一篇文章中得到說明。我認識在DeepMind的同事，我會宣稱他們在兩方面無罪。我不相信他們已經(jīng)接近人類智能的運行機制（盡管DeepMind在這一領域是世界領先的實驗室，取得一些輝煌成就）。他們是懷著較大的善意進入健康領域的。但是在現(xiàn)實世界中，最善意的意圖往往是不夠的。這帶來的一個重大問題是，個人隱私數(shù)據(jù)被其他人控制。盡管這種問題經(jīng)常出現(xiàn)在媒體上，一個公司和一群醫(yī)生卻會忽視這些問題。”

說到牛津大學，就想到他們前不久和谷歌 DeepMind 一起寫了論文，探討如何預防 AI 失控。關于這一點，鄭懷宇的看法是，雖然 AlphaGo已經(jīng)很了不起，但距離人類智能還差得遠?！拔覀冏罱跈C器學習上取得的進展，還沒有什么能影響我們在缺少數(shù)據(jù)而又復雜的系統(tǒng)中建立模型、作出預測的能力。對于氣候變化上，我們只能獲得地球這一個星球的數(shù)據(jù)，這意味著數(shù)據(jù)特別少。”

2015 年底，鄭懷宇參加了紐約舉行的會議“人工智能的未來”，之后他總結認為，這樣的活動對于擴展辯論、實現(xiàn)共同目標至關重要，然而，當活動沒有將某些特定的方面包含在內時，就會有問題。

“關于AI的辯論有一個特別的方面，那就是他們認為AI存在某種神秘的特性。尤其是，我們似乎都認為自己以及我們的智能是很特別的，神圣的，甚至是機器里的靈魂。但是，這種自我崇拜，使我們對于讓機器模擬那些我們認為是人類獨有的特性而產(chǎn)生恐懼。

“近期在AI取得的進步都是建立在機器學習的基礎上。機器學習是數(shù)據(jù)驅動的，與統(tǒng)計數(shù)據(jù)緊密相關。這意味：統(tǒng)計學在一端，人工智能在另一端，機器學習位于兩者之間，而三者之間順暢相連。AI最近的發(fā)展完全由數(shù)據(jù)支撐，但是數(shù)據(jù)幾乎從來沒有在大會上被提及。

“我認為這是一種危險（而且相當普遍）的趨勢，將把我們對AI的討論與對數(shù)據(jù)的討論分離開來。機器學習不只是基于AI進展上的原理技術，它與與統(tǒng)計學一樣，是推動數(shù)據(jù)科學發(fā)展的原理技術。這一點特別有趣，因為紐約大學會議是由紐約大學數(shù)據(jù)科學中心主持的，所以與會者并不是沒有意識到這一點（該會議的主要召集人之一Yann Le Cun就特別清楚這一點）。”

2016 年 1月，鄭懷宇在 Google+ 寫了文章《特洛伊戰(zhàn)爭和機器學習》，這是他對人工智能和機器學習未來思索的第 3 篇文章（目前系列有 5 篇），這個可能更能展現(xiàn)他的特色。在文中，鄭懷宇把硅谷投資人比作自顧自的希臘眾神，把人工智能比作海倫。其他的角色：

經(jīng)典AI：特洛伊城市民，由赫克托爾率領，海倫本應屬于他們

深度學習：特洛伊木馬。特洛伊人傻傻將木馬當做經(jīng)久耐用的象征迎進了城。而實際上希臘人跑出來把人都殺了個光

符號邏輯：帕里斯，外表好看，還沒實際見過面就得到了海倫，戰(zhàn)斗力不強，但有時候運氣很好，一對一拼不過墨涅拉俄斯，死于菲羅克忒忒斯的弓下

谷歌：海倫的丈夫墨涅拉俄斯。他與海倫的婚姻是眾人關注的焦點。墨涅拉俄斯不知道海倫被阿芙洛狄忒許給了帕里斯，代價是一個蘋果

微軟：備受推崇的阿伽門農(nóng)，有些過時，但仍然有許多珍貴的品質。家族歷史讓他與眾神的關系有些復雜

Facebook：奧德修斯。戰(zhàn)斗一開始躲了起來，但他意識到戰(zhàn)斗的必然性后，就積極投入戰(zhàn)斗。他根本不在乎海倫，愛著妻子佩內洛普，后話還有很多

蘋果：阿基里斯，漂亮，硬件很強，很受眾神喜愛。戰(zhàn)斗時大部分時間都在帳篷里哭（因為跟阿伽門農(nóng)關系不好），但若受了刺激，還是會努力掙表現(xiàn)的

亞馬遜：菲羅克忒忒斯，最早被排除在外，但尾盤時每個人都意識到，他才是掌握殺死帕瑞斯關鍵硬件的人

“深度學習陰謀論”：卡桑德拉。卡桑德拉說了實話，但人們注定無法相信她。在我們的故事里，為了把情節(jié)弄刺激些，不妨假設卡桑德拉后來說對了一件事，自此以后她說什么人們都信

OpenAI：涅俄普托勒摩斯。在最后出現(xiàn)，很年輕，頂多十幾歲。因為子孫后代他受眾神青睞。取決于你聽到的故事，他要么殘忍要么親切

百度：埃涅阿斯，希臘的自由民主是很好，但還是比不過地中海整齊有序的帝國。在特洛伊戰(zhàn)爭中表現(xiàn)并不是最出彩，最后發(fā)現(xiàn)了羅馬城

IBM：海格力斯，確實在過去做過一些很好的工作，特洛伊戰(zhàn)爭的所有參與方也都很尊敬他，可是他人并不在特洛伊戰(zhàn)場。給故事加點料，他會再次活躍，與阿伽門農(nóng)一起，給奧德修斯一些建議

希臘社會：特洛伊戰(zhàn)爭再精彩，也只是發(fā)生在一小部分人之間。如今我們看重的民主、科學和數(shù)學，在希臘英雄故事里幾乎看不見。戰(zhàn)爭在特洛伊火領熱打響的時候，剩下那么多希臘人在干什么呢？這不禁讓人想，真正重要的，是否是剩下的人在做什么?；蛟S希臘社會代表著機器學習及相關行業(yè)的從業(yè)者，他們向前推進，是因為有明確的目標和實際的利益，就像我們以前那樣，直到我們被海倫奪去了目光

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754