資訊專欄INFORMATION COLUMN
摘要：在過去五年里，我碰巧使用了一個收藏了篇機器學(xué)習(xí)論文的數(shù)據(jù)庫，這些論文都來自于。因此，本文將這五年間機器學(xué)習(xí)的發(fā)展趨勢進行了簡單的總結(jié)。我們得到了如下結(jié)果是的，年月份，接受了多篇與機器學(xué)習(xí)領(lǐng)域有關(guān)的論文。
機器學(xué)習(xí)的趨勢概述
如果你用過谷歌趨勢（Google Trends），你一定會發(fā)現(xiàn)它很酷——你輸入一些關(guān)鍵詞，你就能夠看到這些關(guān)鍵詞的谷歌搜索量是如何隨著時間而變化的。在過去五年里，我碰巧使用了一個收藏了28303篇機器學(xué)習(xí)論文的arxiv-sanity數(shù)據(jù)庫，這些論文都來自于arXiv。因此，本文將這五年間機器學(xué)習(xí)的發(fā)展趨勢進行了簡單的總結(jié)。
讓我們通過arxiv-sanity的類別目錄 (cs.AI,cs.LG,cs.CV,cs.CL,cs.NE,stat.ML)，首先看看提交的總論文數(shù)。我們得到了如下結(jié)果：
是的，2017年3月份，接受了2000多篇與機器學(xué)習(xí)領(lǐng)域有關(guān)的論文。并且，這些峰值很可能受到了會議截止時間（例如NIPS/ICML）的影響。請注意，這并不是有關(guān)于此領(lǐng)域本身規(guī)模的聲明，因為并不是所有人都將論文提交到arXiv上。我們將提交的論文總數(shù)作為分母，來看看包含我們感興趣的某些關(guān)鍵詞的論文占了多少。
12大深度學(xué)習(xí)框架
首先，讓我們看看現(xiàn)在正在使用的深度學(xué)習(xí)框架。為了計算，我們記錄了在全文任何地方（包括參考文章等）提到過這些框架的論文，對于2017年3月上傳的論文，我們得到如下了結(jié)果：
我們可以看出，在2017年3月提交的所有論文中，有10%的論文提到了TensorFlow。當(dāng)然，并不是所有的論文都宣布了它們使用的框架。但是，如果我們假定宣布了此框架但實際上并沒有使用此框架的論文占有一些固定的隨機概率，那么大概有40%的社區(qū)正在使用TensorFlow。下面是一些流行的框架隨著時間的使用圖：
機器學(xué)習(xí)算法框架的使用程度分析
我們看到，Theano已經(jīng)出現(xiàn)一段時間了，但是它的使用增長情況卻有些停滯不前。Caffe的使用在2014年爆發(fā)式地增長，但是在過去幾個月被TensorFlow超越。Torch（和最近的PyTorch）使用情況也在上升，但較為緩慢，比較穩(wěn)定。在接下來的幾個月中，看這些趨勢如何變化也會很有趣。我認為，Caffe/Theano 使用將會緩慢減少，由于PyTorch，TF的使用增長將會上升地緩慢一些。
卷積模型：
有趣的是，如果我們看一下常見的卷積神經(jīng)網(wǎng)絡(luò)，情況又如何呢？在這里，我們可以清楚的看到，循環(huán)神經(jīng)網(wǎng)絡(luò)的使用迅速飆升，在今年3月的論文中，循環(huán)神經(jīng)網(wǎng)絡(luò)的比例占到了9%。
優(yōu)化算法：
在優(yōu)化算法方面，似乎Adam算法很熱門，占到了23%！實際比例難以估計，它可能高于23%，因為一些論文沒有宣布它們所使用的優(yōu)化算法，并且很大一部分論文甚至可能沒有優(yōu)化任何神經(jīng)網(wǎng)絡(luò)；這一比例也可能降低約5%，因為“Adam”可能與某些作者的名字相同了……盡管Adam算法僅僅才發(fā)布了不到3年，但是的確很流行。
我也很好奇地繪出了深度學(xué)習(xí)中提到的一些具有較高PIs（類似于引用次數(shù)，但是1）使用“0/1”實現(xiàn)計數(shù)，它更強大；2）它被歸一化）的圖，如下：
有幾件事需要注意：提交的論文中有35%提到了“bengio”，但是這里有兩個“bengio”：Samy和Yoshua，將他們也添加到了圖上。特別地， 有30%的新論文中提到了Geoff Hinton！
27個ML框架最熱門關(guān)鍵詞
有很多方法來定義最熱門關(guān)鍵詞。但是對于本實驗，我查看了每篇論文中的一元或二元詞組，并記錄了它們相對于去年出現(xiàn)次數(shù)的較大比率。具體方式是記錄相關(guān)詞組去年的出現(xiàn)頻次，然后今年的出現(xiàn)頻次比去年高得多，比率=今年出現(xiàn)的頻次/去年出現(xiàn)的頻次。較大比率靠前的包括如下：
例如，ResNet的比率是8.17。這是因為一年前，所有提交的論文中，與ResNet有關(guān)的論文占1.004%（在2016年3月），但是2017年3月，所有提交的論文中，ResNet有關(guān)的論文占了8.53%，所以8.53 / 1.044 ~= 8.17。所以你可以得出如下結(jié)論：過去一年流行的核心創(chuàng)新包括1) ResNets, 2) GANs, 3) Adam, 4) BatchNorm。在研究興趣方面，我們看到了1）興趣轉(zhuǎn)移，2）深度強化學(xué)習(xí)，3）神經(jīng)機器翻譯，可能還有4）圖像生成。在架構(gòu)上，熱點是1）全連接神經(jīng)網(wǎng)絡(luò)，2）LSTMs/GRUs，3）Siamese網(wǎng)絡(luò)，4）編碼解碼器網(wǎng)絡(luò)。
反之如何？過去一年，過去比較流行的論文方向現(xiàn)在開始沒落了，這包括如下：
我不知道“fractal”是什么，但是更一般地說，它就像貝葉斯非參數(shù)模型一樣正受到威脅。
調(diào)查結(jié)論：現(xiàn)在是時候提交用Adam優(yōu)化算法解決全連接神經(jīng)網(wǎng)絡(luò)編碼解碼器、用于Style Transfer的BatchNorm ResNet GAN等有關(guān)的論文了。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4515.html
摘要：深度學(xué)習(xí)框架作為熱身，我們先看一下深度學(xué)習(xí)框架。在年有急劇的增長，但在過去幾個月被超越。 你是否使用過 Google Trends？相當(dāng)?shù)目?，你在里面輸入關(guān)鍵詞，看一下谷歌搜索中這一詞條如何隨時間變化的。我想，過去 5 年中 arxiv-sanity 數(shù)據(jù)庫中剛好有 28303 篇機器學(xué)習(xí)論文，為什么不做一些類似的工作，看一下過去 5 年機器學(xué)習(xí)研究有何進化？結(jié)果相當(dāng)?shù)挠腥?，所以我把它貼了出...
摘要：值得一提的是每篇文章都是我用心整理的，編者一貫堅持使用通俗形象的語言給我的讀者朋友們講解機器學(xué)習(xí)深度學(xué)習(xí)的各個知識點。今天，紅色石頭特此將以前所有的原創(chuàng)文章整理出來，組成一個比較合理完整的機器學(xué)習(xí)深度學(xué)習(xí)的學(xué)習(xí)路線圖，希望能夠幫助到大家。 一年多來，公眾號【AI有道】已經(jīng)發(fā)布了 140+ 的原創(chuàng)文章了。內(nèi)容涉及林軒田機器學(xué)習(xí)課程筆記、吳恩達 deeplearning.ai 課程筆記、機...
摘要：自從年深秋，他開始在上撰寫并公開分享他感興趣的機器學(xué)習(xí)論文。本文選取了上篇閱讀注釋的機器學(xué)習(xí)論文筆記。希望知名專家注釋的深度學(xué)習(xí)論文能使一些很復(fù)雜的概念更易于理解。主要講述的是奧德賽因為激怒了海神波賽多而招致災(zāi)禍。 Hugo Larochelle博士是一名謝布克大學(xué)機器學(xué)習(xí)的教授，社交媒體研究科學(xué)家、知名的神經(jīng)網(wǎng)絡(luò)研究人員以及深度學(xué)習(xí)狂熱愛好者。自從2015年深秋，他開始在arXiv上撰寫并...
摘要：康納爾大學(xué)數(shù)學(xué)博士博士后則認為，圖神經(jīng)網(wǎng)絡(luò)可能解決圖靈獎得主指出的深度學(xué)習(xí)無法做因果推理的核心問題。圖靈獎得主深度學(xué)習(xí)的因果推理之殤年初，承接有關(guān)深度學(xué)習(xí)煉金術(shù)的辯論，深度學(xué)習(xí)又迎來了一位重要的批評者。 作為行業(yè)的標桿，DeepMind的動向一直是AI業(yè)界關(guān)注的熱點。最近，這家世界最較高級的AI實驗室似乎是把他們的重點放在了探索關(guān)系上面，6月份以來，接連發(fā)布了好幾篇帶關(guān)系的論文，比如：關(guān)系歸...
閱讀 3547·2021-09-22 15:50
閱讀 3245·2019-08-30 15:54
閱讀 2757·2019-08-30 14:12
閱讀 3067·2019-08-30 11:22
閱讀 2089·2019-08-29 11:16
閱讀 3584·2019-08-26 13:43
閱讀 1198·2019-08-23 18:33
閱讀 930·2019-08-23 18:32
