摘要：毫無疑問，深度學習將驅(qū)動在公司中的應(yīng)用。在其價值評估和策略評估上使用的就是深度學習。端到端的深度學習是一個令人著迷的研究領(lǐng)域，但是迄今為止混合系統(tǒng)在應(yīng)用領(lǐng)域會更有效率。目前專注于深度學習模式，方法和戰(zhàn)略的研究。

在之前的博客中，我曾預言過未來幾年的發(fā)展趨勢。我記得上一篇博客的內(nèi)容是《2011年軟件開發(fā)趨勢和相關(guān)預言》（Software DevelopmentTrends and Predictions for 2011，http://www.manageability.org/blog/stuff/software-development-trends-2011/view），是很久之前的事情了。現(xiàn)在想來，在那篇博客的十條預言中，有六條是準確的（即 avascript VM、NoSQL、Big Data Analytics、Privated Cloulds、Inversion of Desktop Service 和 Scala），但另外四條則并沒有完全實現(xiàn)（即 Enterprise AppStores、Semantic Indexing、OAuth in the Enterprise 以及 Proactive Agents）。AppStores 和 OAuth 采用的是 Saas ?模型，雖然未在大公司一展身手，卻在小公司發(fā)揮了很大的作用。我會總結(jié)先前預言失敗的教訓，之前沒有料到企業(yè)革新的速度竟如此緩慢！Semantic Indexing 和 Proactive Agents是其中最主要的兩個預測，但是很不幸沒能如我最開始設(shè)計的那樣發(fā)展?？赡苁俏耶敃r高估了人工智能技術(shù)，當時深度學習還沒有被創(chuàng)造出來。

?

現(xiàn)在，我對于深度學習的預言不會像之前那樣，停留在概念水平上。同時，我也不會再預測公司是否會采用我的說法，而是把關(guān)注的焦點集中在研究趨勢和預言上。毫無疑問，深度學習將驅(qū)動 AI 在公司中的應(yīng)用。雖然形式還不夠明朗，但對于 AI 來說，深度學習確實是其最主要的驅(qū)動力和方法。但目前我們尚不清楚，2017年中將會出現(xiàn)的哪些新的技術(shù)，推動人工智能獲得指數(shù)式的發(fā)展。

?

所以，對于2017年，讓我大膽的預測一下！

?

1. 硬件將雙倍加速摩爾定律（i.e.2xin 2017）

如果你追蹤過 Nvidia 和 Intel 的開發(fā)進程的話，這一趨勢可謂顯而易見。憑借著更為豐富多樣的深度學習生態(tài)系統(tǒng)，2017將是由 Nvidia 主導的一年。在其他平臺有足夠的生態(tài)系統(tǒng)來開發(fā)DL之前，我想沒有哪個人會選擇離開 Nvidia。未來，Intel 的 Xeon Phi 將是所有解決方案中更為較精確的方案，在2017年基于 ?Nervana 的芯片被推出之時，其性能上將會趕上 Nvidia。

?

從經(jīng)濟學的角度考慮，云提供商會采用 Intel 的 FPGA 方案。能源消耗是需要降低的首要變量。在2017年，Intel 基于 Neravana 的芯片的計算速度將會達到每秒種30萬億次。這雖然是我估計的數(shù)字，但目前 Nvidia 的計算速度已經(jīng)能夠達到每秒20萬億次了，我打賭 Intel 在2018年一定會有對整個市場造成重大的影響的技術(shù)創(chuàng)新。由于 Intel 擁有 3D XPoint 技術(shù)，將來很可能會成為行業(yè)的佼佼者?？紤]到使用 HBM2 的 GPU 在其頂部堆棧的性能因素，3DXPoint 技術(shù)可能會提高整個硬件棧，但不一定會加速核心能力。

?

目前，Amazon 已經(jīng)發(fā)布了其基于 FPGA 的云實例（http://aws.amazon.com/blogs/aws/developer-preview-ec2-instances-f1-with-programmable-hardware/），根據(jù)的是 Xilinx UltraScal+e 技術(shù)，并在單實例上提供了6800個 DSP 薄片和64G內(nèi)存。盡管提供的并不是 UltraScale+ 的 HBM ?版本，I/O 受到限制，其運行能力仍然令人印象深刻。與 Nvidia 相比，在較低內(nèi)存寬帶的解決方案上，Intel（甚至包括 AMD）可能會暫停開發(fā)人員的開發(fā)工作，討論是否投資給一項更復雜的開發(fā)流程（i.e.VHDL,Verilogetc）。

?

在披露的消息中，AMD 公開了其的 AMD 深度學習加速器直覺線，對 ?Nvidia 的硬件來說極具競爭性。AMD 計劃在2017年年初發(fā)布該文檔。這或許是要給 AMD 的 ROCm 軟件開發(fā)預留足夠的時間，確保其成熟可用。

?

2. 卷積神經(jīng)網(wǎng)絡(luò)（CNN）將占主導地位

CNN 將會成為 DL 系統(tǒng)廣泛使用的基本模型。RNN 和 LSTM 與其循環(huán)識別和嵌入式記憶結(jié)點的使用將越來越少，與基于 CNN 的解決方案相比，不再具有競爭力。就像 GOTO 會從編程界消失一樣，我預期 RNN 和 LSTM 也會有同樣的宿命。事實上，并行架構(gòu)的性能是勝過順序架構(gòu)的。

?

可微記憶網(wǎng)絡(luò)將會更加通用。自然而然地，內(nèi)存將會從核心節(jié)點中提取出來，作為計算機制中多帶帶的組件。我們需要記住的是，LSTM 的輸入和輸出門將會被輔助可微記憶取代。先前我們已經(jīng)看到過關(guān)于重構(gòu) LSTM 解耦內(nèi)存的討論（參見擴充內(nèi)存 RNN）。

?

3. 設(shè)計者會更依賴 Meta-learning

在我剛開啟深度學習之旅時，我曾想過優(yōu)化算法，尤其是那些二階會導致大規(guī)模改進的算法。現(xiàn)在，顯而易見，DL 就能為你學習優(yōu)化算法。對于那些考慮獲取更優(yōu)版本 SGD 的人來說，這是一個終結(jié)。SGD 的更優(yōu)版本即為機器學習，是當下十分具有針對性的問題。與此同時，Meta-Learning 能夠基于它的域自適應(yīng)優(yōu)化學習。更具相關(guān)性的一個問題是，未來是否會出現(xiàn)反向傳播算法的替代性算法。2017年年末，人類手工調(diào)整 SGD 算法的目標很有可能成為現(xiàn)實。

?

4. 強化學習僅會變得更具創(chuàng)造性

對現(xiàn)實的觀察永遠不盡完美，SGD 在很多問題上也不適用。這就使得，DL 系統(tǒng)的的所有實際應(yīng)用都必須伴有 RL（強化學習）。除此之外，DL 的訓練過程也離不開 RL。其中，Meta-Learning 就是在很大程度上受到 RL 影響的一個例子。事實上，RL 會被用來尋找各種各樣的神經(jīng)網(wǎng)絡(luò)架構(gòu)，與在類膽固醇上做超參數(shù)優(yōu)化的過程類似。如果你恰巧忙于 Gaussian Process 事宜，可能要沒時間吃飯了吧。

?

5. 對抗與合作學習將稱王

過去，我們有單純分析目標函數(shù)的整體 DL 系統(tǒng)。未來，我們期待看到系統(tǒng)由兩個或兩個以上的網(wǎng)絡(luò)相互合作或競爭，從而獲得最優(yōu)的解決方案，這個解決方案很可能不是以解析的形式出現(xiàn)。此處可參見《游戲理論揭示未來深度學習》（Game Theory reveals the future of Deep Learning，http://medium.com/intuitionmachine/game-theory-maps-the-future-of-deep-learning-21e193b0e33a）這篇文章。2017年將會涌現(xiàn)出大量的研究，用于嘗試管理非平衡環(huán)境。我們現(xiàn)在已經(jīng)看到，研究人員正在努力使用 GANs 去找到可以處理非平衡狀態(tài)的方法。

?

6. 預測學習或者無監(jiān)督學習的進展不會太多

當談及當下常見的術(shù)語“無監(jiān)督學習”時，Yann LeCun 認為“預測學習”將是新的流行語?，F(xiàn)在，我們還不能確定預測學習的應(yīng)用范圍會不會進一步擴大。其中的問題是，預測學習是否能在2017年取得較大的突破。我現(xiàn)在的感覺是這件事情并不簡單，因為還不太清除其運行的機制，在概念上依然存在著很大的脫節(jié)。

?

如果你閱讀過我之前寫的 5 Capabilities of Deep Learning Intelligence 一文（http://medium.com/intuitionmachine/five-levels-of-capability-of-deep-learning-ai-4ac1d4a9f2be），你就會明白，預測學習是一種完全未知的能力，依然處于非常陌生的狀態(tài)。預測學習就像是宇宙學家所說的暗物質(zhì)：我們知道它就在那個地方，但就是不知道怎樣才能看到它。我預感，它可能與高的熵或者其他的隨機性有關(guān)。

?

7. 從學習到工業(yè)化的轉(zhuǎn)化

吳恩達認為這是很重要的，我也這么認為！

?

8. 深度學習將會成為更多應(yīng)用的組成部分

在2016年我們就已經(jīng)看到，深度學習在比以往更大型的搜索算法中用作函數(shù)評估。AlphaGo 在其價值評估和策略評估上使用的就是深度學習。而 Google 的 ?Gmail 自動答復系統(tǒng)也使用了將 DL 與定向搜索想結(jié)合的方法。我期待能看到更多的混合算法，而不是新的端到端的訓練過的 DL 系統(tǒng)。端到端的深度學習是一個令人著迷的研究領(lǐng)域，但是迄今為止混合系統(tǒng)在應(yīng)用領(lǐng)域會更有效率。

?

9. 采用設(shè)計模式的頻率會越來越高

深度學習是需要概念框架的眾多復雜領(lǐng)域中的一個。盡管涵蓋了很多高級的數(shù)學公式，但依然存在很多的文字描述和模糊的概念，可以從其他復雜領(lǐng)域中經(jīng)證實十分有效的方法中獲得（如軟件開發(fā)領(lǐng)域），一般不通過正式而又十分嚴謹?shù)耐緩将@得。就 Deep Learning and Design Patterns 這篇文章而言（http://www.deeplearningpatterns.com/），我預言廣大人工智能從業(yè)者一定可以獲得設(shè)計模型。深度學習框架會變得越來越模塊化而不是越來越整體化，這也將會進一步促進上述預言的實現(xiàn)過程。

?

10. 工程化速度將超過理論出現(xiàn)的速度

研究人員的背景和其使用的數(shù)學工具，會使他們在研究過程中會產(chǎn)生一些偏見。深度學習系統(tǒng)和無監(jiān)督學習系統(tǒng)似乎是我們之前從未遇到過的新事物。因此，沒有證據(jù)表明傳統(tǒng)分析工具會對解開 DL 的實際運作機制提供任何幫助。幾十年來，物理學上仍有大量動態(tài)系統(tǒng)讓我感到困惑，這與動態(tài)學習系統(tǒng)的情形相似。

?

盡管我們?nèi)狈驹淼睦斫?，但這種情況不會阻止工程化背景下更為先進的應(yīng)用程序。深度學習更像是生物學或遺傳工程，我們能夠創(chuàng)造出仿真學習機器，但是并不能較精確地知道其工作的方式。然而，這并不能組織我們創(chuàng)新的腳步。

?

本文作者 Carlos E. Perez 擁有20年軟件開發(fā)經(jīng)驗，自2000年以來，他主要擔任軟件開發(fā)中的技術(shù)架構(gòu)師。他是家長控制融合移動電話產(chǎn)品的首席架構(gòu)師和總監(jiān)，并且還是一家風險資本資助的初創(chuàng)公司的首席架構(gòu)師，為 B2B 交易所開發(fā)優(yōu)化解決方案。目前專注于深度學習模式，方法和戰(zhàn)略的研究。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754