資訊專欄INFORMATION COLUMN
摘要：深度神經(jīng)網(wǎng)絡(luò)還不清楚如何來檢測參議員投票數(shù)據(jù)集中的關(guān)鍵影響者。目前還不清楚如何用深度神經(jīng)網(wǎng)絡(luò)技術(shù)來推斷不在視頻中的投球手的存在。深度神經(jīng)網(wǎng)絡(luò)在高維特征的處理上很糟糕，這一點(diǎn)不像算法強(qiáng)健的隨機(jī)森林，它需要重度調(diào)參。
1/ 深度學(xué)習(xí)做不了什么？這值得我們列一個(gè)清單，把嘗試過的失敗總結(jié)出來，以更好地指導(dǎo)算法開發(fā)。
2/ 對于輸入數(shù)據(jù)的細(xì)微抖動(dòng)，深度學(xué)習(xí)就會(huì)出現(xiàn)算法失效的情況。想象一下，當(dāng)顏色互換時(shí)，目標(biāo)識(shí)別系統(tǒng)的崩潰程度。
3/ 基于梯度的學(xué)習(xí)相當(dāng)緩慢，算法需要下降很多很多的梯度才能學(xué)會(huì)模式，用于高維預(yù)測則相當(dāng)艱難。
4/ 深度學(xué)習(xí)在處理約束條件方面表現(xiàn)很差。不同于線性規(guī)劃，深度學(xué)習(xí)不容易找到能滿足約束條件的解決方案。
5/ 復(fù)雜模型的訓(xùn)練很不穩(wěn)定。神經(jīng)圖靈機(jī)和生成式對抗網(wǎng)絡(luò)訓(xùn)練起來很難，它們過于依賴隨機(jī)函數(shù)的初始化。
6/ 不像圖形模型，深度網(wǎng)絡(luò)不擅長跟真實(shí)世界建立聯(lián)系，無法提取出因果模型。
7/ 比如，要考慮關(guān)鍵影響者的監(jiān)測問題。深度神經(jīng)網(wǎng)絡(luò)還不清楚如何來檢測參議員投票數(shù)據(jù)集中的關(guān)鍵影響者。
8/ 強(qiáng)化學(xué)習(xí)方法過于挑剔。其性能太過依賴于調(diào)參技巧，盡管這一問題是特有的。
9/ 深度學(xué)習(xí)無法對未知的實(shí)體進(jìn)行推斷?？紤]棒球賽的場景：屏幕上的擊球手與屏幕外的投球手。
10/ 目前還不清楚如何用深度神經(jīng)網(wǎng)絡(luò)技術(shù)來推斷不在視頻中的投球手的存在。
11/ 在線訓(xùn)練深度網(wǎng)絡(luò)是不可能的，文章一開始就提到了訓(xùn)練緩慢的問題，因而動(dòng)態(tài)反應(yīng)很難實(shí)現(xiàn)。
12/ 一般來說，智能行為的訓(xùn)練只能離線進(jìn)行。
13/ 人們經(jīng)常提及深度網(wǎng)絡(luò)的可解釋性問題。我個(gè)人認(rèn)為該問題遠(yuǎn)沒有人們所想的那樣嚴(yán)重。
14/ 但是，對深度網(wǎng)絡(luò)進(jìn)行審查也相當(dāng)困難。我們?nèi)绾尾拍艽_保偏見、種族主義不被深度學(xué)習(xí)學(xué)會(huì)？請參考word2vec的種族主義文章。
15/ 深度神經(jīng)網(wǎng)絡(luò)不能簡單用來解決邏輯問題。3SAT求解器是有很強(qiáng)的能力，但很難被部署到深度網(wǎng)絡(luò)內(nèi)。
16/ 深度神經(jīng)網(wǎng)絡(luò)在高維特征的處理上很糟糕，這一點(diǎn)不像算法強(qiáng)健的隨機(jī)森林，它需要重度調(diào)參。
17/ 超參數(shù)搜索依舊很難用。從業(yè)者需要處理繁重的計(jì)算，或者對架構(gòu)作大量的手工調(diào)整。
18/ 這不是一份詳盡的問題列表。上述問題都值得進(jìn)一步思考與深入研究。
19/ 其中至關(guān)重要的一點(diǎn)是：到底這些難題是深度網(wǎng)絡(luò)所固有的缺陷？還是屬于我們要在工程上去克服的挑戰(zhàn)？
20/ 說實(shí)話，這很難回答。其中一些問題可能被很快解決。如部署更多的硬件，就有可能實(shí)現(xiàn)自動(dòng)化超參數(shù)搜索。
21/ 在架構(gòu)方面，還有一些自動(dòng)歸一化和處理高維數(shù)據(jù)的早期嘗試，所以特征處理也有可能得到改善。
22/ 然而，邏輯、約束條件、隱藏結(jié)構(gòu)和審查方面的問題，則要隱藏得更深。
23/ 不過我更希望被打臉，深度學(xué)習(xí)領(lǐng)域的人們往往天賦異稟，且極具想象力。
24/ 此外，GPU版的摩爾定律依然在起作用（至于說能持續(xù)多久，TPU和定制硬件是否真能幫我們解決問題，只有到時(shí)候才能知道了）。
25/ 所以，我對這些挑戰(zhàn)持相對樂觀的態(tài)度。盡管如此，我還是懷疑深度網(wǎng)絡(luò)不足以實(shí)現(xiàn)通用人工智能。
26/ 當(dāng)然這可能是我個(gè)人的偏見。專家們在技術(shù)細(xì)節(jié)上研究多了，往往會(huì)在預(yù)測大局上表現(xiàn)拙劣。
27/ 從而導(dǎo)致我一葉障目，不見泰山。
28/ 我在拼命抑制把這推文風(fēng)暴寫成正式文章的沖動(dòng)。畢竟，我不知道是否還存在未能觸及的潛在話題。
29/ 最后，這里的探索和分析就先留給那些有心的讀者來做練習(xí)。
說明：本文是我一次推文風(fēng)暴的改編和展開。感謝在Twitter上評論過我的那些人，他們在我最初的思路上給出了很多有意思的見解。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4562.html
摘要：我認(rèn)為對機(jī)器學(xué)習(xí)開發(fā)者來說，是一個(gè)了不起的工具集。這個(gè)帖子發(fā)出后得到了很多機(jī)器學(xué)習(xí)研究者和開發(fā)者的關(guān)注，他們紛紛跟貼談?wù)撟约旱南敕ê徒?jīng)驗(yàn)不只是關(guān)于和，討論中還涉及到更多工具。 Theano、TensorFlow、Torch、MXNet 再到近日比較熱門的 PyTorch 等等，深度學(xué)習(xí)框架之間的比較一直以來都是非常受人關(guān)注的熱點(diǎn)話題。機(jī)器之心也曾發(fā)表過多篇相關(guān)的介紹和對比文章，如《主流深度學(xué)...
摘要：在普通的全連接網(wǎng)絡(luò)或中，每層神經(jīng)元的信號(hào)只能向上一層傳播，樣本的處理在各個(gè)時(shí)刻獨(dú)立，因此又被成為前向神經(jīng)網(wǎng)絡(luò)。不難想象隨著深度學(xué)習(xí)熱度的延續(xù)，更靈活的組合方式更多的網(wǎng)絡(luò)結(jié)構(gòu)將被發(fā)展出來。 從廣義上來說，NN(或是更美的DNN)確實(shí)可以認(rèn)為包含了CNN、RNN這些具體的變種形式。在實(shí)際應(yīng)用中，所謂的深度神經(jīng)網(wǎng)絡(luò)DNN，往往融合了多種已知的結(jié)構(gòu)，包括卷積層或是LSTM單元。這里的DNN特指全連接...
摘要：注意目前發(fā)現(xiàn)有其他人以團(tuán)隊(duì)名義進(jìn)行招聘，發(fā)出的郵箱皆為私人郵箱。為防止在投遞簡歷出現(xiàn)誤會(huì)，在此提醒各位注意團(tuán)隊(duì)沒有以任何個(gè)人名義或郵箱進(jìn)行招聘。的面試過程我們一般會(huì)有輪面試，對于高級(jí)別的工程師可能會(huì)有輪面試。 fex-team/interview-questions 注意 目前發(fā)現(xiàn)有其他人以 FEX 團(tuán)隊(duì)名義進(jìn)行招聘，發(fā)出的郵箱皆為私人郵箱。 為防止在投遞簡歷出現(xiàn)誤會(huì)，在此提醒各位注意...
摘要：注意目前發(fā)現(xiàn)有其他人以團(tuán)隊(duì)名義進(jìn)行招聘，發(fā)出的郵箱皆為私人郵箱。為防止在投遞簡歷出現(xiàn)誤會(huì)，在此提醒各位注意團(tuán)隊(duì)沒有以任何個(gè)人名義或郵箱進(jìn)行招聘。的面試過程我們一般會(huì)有輪面試，對于高級(jí)別的工程師可能會(huì)有輪面試。 fex-team/interview-questions 注意 目前發(fā)現(xiàn)有其他人以 FEX 團(tuán)隊(duì)名義進(jìn)行招聘，發(fā)出的郵箱皆為私人郵箱。 為防止在投遞簡歷出現(xiàn)誤會(huì)，在此提醒各位注意...
摘要：注意目前發(fā)現(xiàn)有其他人以團(tuán)隊(duì)名義進(jìn)行招聘，發(fā)出的郵箱皆為私人郵箱。為防止在投遞簡歷出現(xiàn)誤會(huì)，在此提醒各位注意團(tuán)隊(duì)沒有以任何個(gè)人名義或郵箱進(jìn)行招聘。的面試過程我們一般會(huì)有輪面試，對于高級(jí)別的工程師可能會(huì)有輪面試。 fex-team/interview-questions 注意 目前發(fā)現(xiàn)有其他人以 FEX 團(tuán)隊(duì)名義進(jìn)行招聘，發(fā)出的郵箱皆為私人郵箱。 為防止在投遞簡歷出現(xiàn)誤會(huì)，在此提醒各位注意...
閱讀 2695·2021-10-12 10:12
閱讀 804·2019-08-29 17:25
閱讀 2816·2019-08-29 17:24
閱讀 3255·2019-08-29 17:19
閱讀 1825·2019-08-29 15:39
閱讀 3086·2019-08-26 16:50
閱讀 2012·2019-08-26 12:17
閱讀 2727·2019-08-26 12:16
