摘要：機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的研究進(jìn)展正深刻變革著人類的技術(shù)，本文列出了自年以來(lái)這兩個(gè)領(lǐng)域發(fā)表的最重要被引用次數(shù)最多的篇科學(xué)論文，以饗讀者。注意第篇論文去年才發(fā)表要了解機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的進(jìn)展，這些論文一定不能錯(cuò)過(guò)。

機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的研究進(jìn)展正深刻變革著人類的技術(shù)，本文列出了自 2014 年以來(lái)這兩個(gè)領(lǐng)域發(fā)表的最重要（被引用次數(shù)最多）的 20 篇科學(xué)論文，以饗讀者。

機(jī)器學(xué)習(xí)，尤其是其子領(lǐng)域深度學(xué)習(xí)，在近些年來(lái)取得了許多驚人的進(jìn)展。重要的研究論文可能帶來(lái)使全球數(shù)十億人受益的技術(shù)突破。這一領(lǐng)域的研究目前發(fā)展非?？欤瑸榱藥椭懔私膺M(jìn)展?fàn)顩r，我們列出了自 2014 年以來(lái)最重要的 20 篇科學(xué)論文。

我們篩選論文的標(biāo)準(zhǔn)是來(lái)自三大學(xué)術(shù)搜索引擎谷歌學(xué)術(shù)（scholar.google.com）、微軟學(xué)術(shù)（academic.microsoft.com）和 semanticscholar.org 的引用量。由于不同搜索引擎的引用量數(shù)據(jù)各不相同，所以我們?cè)谶@里僅列出了微軟學(xué)術(shù)的數(shù)據(jù)，其數(shù)據(jù)比其它兩家稍低一點(diǎn)。

我們還給出了每篇論文的發(fā)表時(shí)間、高度有影響力的引用數(shù)量（HIC）和引用速度（CV），以上數(shù)據(jù)由 semanticscholar.org 提供。HIC 表示了以此為基礎(chǔ)的論文情況和與其它論文的關(guān)系，代表了有意義的引用。CV 是最近 3 年每年引用數(shù)量的加權(quán)平均。有些引用的 CV 是 0，那是因?yàn)?semanticscholar.org 上沒(méi)有給出數(shù)據(jù)。這 20 篇論文中大多數(shù)（包括前 8 篇）都是關(guān)于深度學(xué)習(xí)的，但同時(shí)也很多樣性，僅有一位作者（Yoshua Bengio）有 2 篇論文，而且這些論文發(fā)表在很多不同的地方：CoRR (3)、ECCV (3)、IEEE CVPR (3)、NIPS (2)、ACM Comp Surveys、ICML、IEEE PAMI、IEEE TKDE、Information Fusion、Int. J. on Computers & EE、JMLR、KDD 和 Neural Networks。前 2 篇論文的引用量目前遠(yuǎn)遠(yuǎn)高于其它論文。注意第 2 篇論文去年才發(fā)表！要了解機(jī)器學(xué)習(xí)和深度學(xué)習(xí)的進(jìn)展，這些論文一定不能錯(cuò)過(guò)。

1. 論文：Dropout：一種防止神經(jīng)網(wǎng)絡(luò)過(guò)擬合的簡(jiǎn)單方法（Dropout: a simple way to prevent neural networks from overfitting）

鏈接：http://suo.im/3o6l4B

作者：Hinton, G.E., Krizhevsky, A., Srivastava, N., Sutskever, I., & Salakhutdinov, R. (2014). Journal of Machine Learning Research, 15, 1929-1958.

數(shù)據(jù)：引用：2084、HIC：142、CV：536

摘要：其關(guān)鍵思想是在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中隨機(jī)丟棄單元（連同它們的連接點(diǎn)）。這能防止單元適應(yīng)過(guò)度，顯著減少過(guò)擬合，并相對(duì)于其它正則化方法有重大改進(jìn)。

2. 論文：用于圖像識(shí)別的深度殘差學(xué)習(xí)（Deep Residual Learning for Image Recognition）

鏈接：http://suo.im/1JrYXX

作者：He, K., Ren, S., Sun, J., & Zhang, X. (2016). CoRR

數(shù)據(jù)：引用：1436、HIC：137、CV：582

摘要：目前的深度學(xué)習(xí)網(wǎng)絡(luò)層數(shù)越來(lái)越多，越來(lái)越難以訓(xùn)練，因此我們提出了一種減緩訓(xùn)練壓力的殘差學(xué)習(xí)框架。我們明確地將這些層重新定義為與輸入層有關(guān)的學(xué)習(xí)殘差函數(shù)，而不是學(xué)習(xí)未被引用的函數(shù)。與此同時(shí)，我們提供了全面的經(jīng)驗(yàn)證據(jù)以表明殘差網(wǎng)絡(luò)更容易優(yōu)化，并可通過(guò)增加其層數(shù)來(lái)提升較精確度。

3. 論文：批標(biāo)準(zhǔn)化：通過(guò)減少內(nèi)部協(xié)移加速深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練（Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）

鏈接：http://suo.im/3sJtk1

作者：Sergey Ioffe, Christian Szegedy (2015) ICML.

數(shù)據(jù)：引用：946、HIC：56、CV：0

摘要：訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的過(guò)程很復(fù)雜，原因在于每層的輸入分布隨著訓(xùn)練過(guò)程中引起的前面層的參數(shù)變化而變化。我們把這種現(xiàn)象稱為內(nèi)部協(xié)變量轉(zhuǎn)移（internal covariate shift），并可利用歸一化層輸入來(lái)解決此問(wèn)題。通過(guò)將此方法應(yīng)用到較先進(jìn)的圖像分類模型，批標(biāo)準(zhǔn)化在訓(xùn)練次數(shù)減少了 14 倍的條件下達(dá)到了與原始模型相同的精度，這表明批標(biāo)準(zhǔn)化具有明顯的優(yōu)勢(shì)。

4. 論文：利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行大規(guī)模視頻分類（Large-Scale Video Classification with Convolutional Neural Networks）

鏈接：http://suo.im/25lfXF

作者：Fei-Fei, L., Karpathy, A., Leung, T., Shetty, S., Sukthankar, R., & Toderici, G. (2014). IEEE Conference on Computer Vision and Pattern Recognition

數(shù)據(jù)：引用：865、HIC：24、CV：239

摘要：針對(duì)圖像識(shí)別問(wèn)題，卷積神經(jīng)網(wǎng)絡(luò)（CNN）被認(rèn)為是一類強(qiáng)大的模型。受到這些結(jié)果的激勵(lì)，我們使用了一個(gè)包含 487 個(gè)類別、100 萬(wàn) YouTube 視頻的大型數(shù)據(jù)集，對(duì)利用 CNN 進(jìn)行大規(guī)模視頻分類作了一次廣泛的實(shí)證評(píng)估。

5. 論文：Microsoft COCO：語(yǔ)境中的通用對(duì)象（Microsoft COCO: Common Objects in Context）

鏈接：http://suo.im/DAXwA

作者：Belongie, S.J., Dollár, P., Hays, J., Lin, T., Maire, M., Perona, P., Ramanan, D., & Zitnick, C.L. (2014). ECCV.

數(shù)據(jù)：引用：830、HIC：78、CV：279

摘要：我們展示了一個(gè)新的數(shù)據(jù)集，通過(guò)將對(duì)象識(shí)別問(wèn)題放入更廣泛的場(chǎng)景理解問(wèn)題的語(yǔ)境中，以推進(jìn)當(dāng)前對(duì)象識(shí)別領(lǐng)域中較先進(jìn)的技術(shù)。我們的數(shù)據(jù)集包含了 91 種對(duì)象類型的照片，這些圖片對(duì)于一個(gè) 4 歲大的孩子而言，很容易識(shí)別。最后，我們利用可變形部件模型（DPM）為邊界框和分割檢測(cè)結(jié)果提供了一個(gè)基線性能分析。

6. 論文：使用場(chǎng)景數(shù)據(jù)庫(kù)學(xué)習(xí)場(chǎng)景識(shí)別中的深層特征（Learning deep features for scene recognition using places database）

鏈接：http://suo.im/2EOBTa

作者：Lapedriza, à., Oliva, A., Torralba, A., Xiao, J., & Zhou, B. (2014). NIPS.

數(shù)據(jù)：引用：644、HIC：65、CV：0

摘要：我們引入了一個(gè)以場(chǎng)景為中心的新數(shù)據(jù)庫(kù)，這個(gè)數(shù)據(jù)庫(kù)稱為「Places」，里面包含了超過(guò) 700 萬(wàn)個(gè)標(biāo)注好了的場(chǎng)景。我們提議使用新方法去比較圖像數(shù)據(jù)集的密度和多樣性，以表明 Places 與其它場(chǎng)景數(shù)據(jù)庫(kù)一樣密集并更具多樣性。

7. 論文：生成對(duì)抗網(wǎng)絡(luò)（Generative adversarial nets）

鏈接：http://suo.im/3YS5F6

作者：Bengio, Y., Courville, A.C., Goodfellow, I.J., Mirza, M., Ozair, S., Pouget-Abadie, J., Warde-Farley, D., & Xu, B. (2014) NIPS.

數(shù)據(jù)：引用：463、HIC：55、CV：0

摘要：通過(guò)對(duì)抗過(guò)程，我們提出了一個(gè)評(píng)估生成模型的新框架。在此框架中，我們同時(shí)訓(xùn)練兩個(gè)模型：生成模型 G 捕獲數(shù)據(jù)分布；判別模型 D 評(píng)估樣本示來(lái)自訓(xùn)練數(shù)據(jù)集（而不是來(lái)自 G 中）的概率。

8. 論文：通過(guò)內(nèi)核相關(guān)濾波器實(shí)現(xiàn)高速跟蹤（High-Speed Tracking with Kernelized Correlation Filters）

鏈接：http://suo.im/2BBOea

作者：Batista, J., Caseiro, R., Henriques, J.F., & Martins, P. (2015). CoRR

數(shù)據(jù)：引用：439、HIC：43、CV：0

摘要：大多數(shù)的現(xiàn)代追蹤器，為應(yīng)對(duì)自然圖像中的變化，典型的方法是采用翻譯和縮放樣本補(bǔ)丁訓(xùn)練分類器。我們針對(duì)包含成千上萬(wàn)個(gè)翻譯補(bǔ)丁數(shù)據(jù)集提出了一個(gè)分析模型。結(jié)果表明結(jié)果數(shù)據(jù)矩陣是循環(huán)的，我們可以利用離散傅立葉變換對(duì)角化已有的循環(huán)矩陣，將存儲(chǔ)和計(jì)算量降低了幾個(gè)數(shù)量級(jí)。

9. 論文：多標(biāo)簽學(xué)習(xí)算法綜述（A Review on Multi-Label Learning Algorithms）

鏈接：http://suo.im/3LgpGf

作者：Zhang, M., & Zhou, Z. (2014). IEEE TKDE

數(shù)據(jù)：引用：436、HIC：7、CV：91

摘要：本論文的主要目的是對(duì)多標(biāo)簽學(xué)習(xí)問(wèn)題進(jìn)行及時(shí)回顧。在多標(biāo)簽學(xué)習(xí)問(wèn)題中，一個(gè)實(shí)例代表一個(gè)樣本，同時(shí)，一個(gè)樣本與一組標(biāo)簽相關(guān)聯(lián)。

10. 論文：深層神經(jīng)網(wǎng)絡(luò)特征的可傳遞性（How transferable are features in deep neural networks）

鏈接：http://suo.im/aDLgu

作者：Bengio, Y., Clune, J., Lipson, H., & Yosinski, J. (2014) CoRR

數(shù)據(jù)：引用：402、HIC：14、CV：0

摘要：我們用實(shí)驗(yàn)量化了深層卷積神經(jīng)網(wǎng)絡(luò)中每層神經(jīng)元的一般性與特異性，并報(bào)告了一些令人驚訝的結(jié)果。可傳遞性受到兩個(gè)不同問(wèn)題的不利影響：（1）以犧牲目標(biāo)任務(wù)的性能為代價(jià)，實(shí)現(xiàn)更高層神經(jīng)元對(duì)原始人物的專業(yè)化，這是預(yù)料之中的；（2）與分裂共同適應(yīng)神經(jīng)元（co-adapted neuron）之間的網(wǎng)絡(luò)有關(guān)的優(yōu)化困難，這是預(yù)料之外的。

11. 論文：我們需要數(shù)百種分類器來(lái)解決真實(shí)世界的分類問(wèn)題嗎？（Do we need hundreds of classifiers to solve real world classification problems）

鏈接：http://suo.im/2w14RK

作者：Amorim, D.G., Barro, S., Cernadas, E., & Delgado, M.F. (2014). Journal of Machine Learning Research

數(shù)據(jù)：引用：387、HIC：3、CV：0

摘要：我們?cè)u(píng)估了來(lái)自 17 個(gè)「家族」（判別分析、貝葉斯、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、決策樹、基于規(guī)則的分類器、提升、裝袋、堆疊、隨機(jī)森林、集成方法、廣義線性模型、最近鄰、部分最小二乘和主成分回歸、邏輯和多項(xiàng)回歸、多元自適應(yīng)回歸樣條法等）的 179 個(gè)分類器。我們使用了來(lái)自 UCI 數(shù)據(jù)庫(kù)中的 121 個(gè)數(shù)據(jù)集來(lái)研究分類器行為，這些行為不依賴于所選取的數(shù)據(jù)集。最終勝出的是使用 R 語(yǔ)言實(shí)現(xiàn)的隨機(jī)森林方法和 C 中使用 LibSVM 實(shí)現(xiàn)的帶有高斯內(nèi)核的 SVM。

12. 論文：知識(shí)庫(kù)：一種概率知識(shí)融合的網(wǎng)絡(luò)規(guī)模方法（Knowledge vault: a web-scale approach to probabilistic knowledge fusion）

鏈接：http://suo.im/3qCSs6

作者：Dong, X., Gabrilovich, E., Heitz, G., Horn, W., Lao, N., Murphy, K., ... & Zhang, W.(2014, August). In Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining ACM

數(shù)據(jù)：引用：334、HIC：7、CV：107

摘要：我們引入了一個(gè)網(wǎng)絡(luò)規(guī)模的概率知識(shí)庫(kù)，它將網(wǎng)頁(yè)內(nèi)容提?。ㄍㄟ^(guò)文本分析、表格數(shù)據(jù)、頁(yè)面結(jié)構(gòu)和人工注釋獲得）與來(lái)自現(xiàn)存知識(shí)庫(kù)中的先驗(yàn)知識(shí)相結(jié)合，以構(gòu)建新知識(shí)庫(kù)。我們部署監(jiān)督學(xué)習(xí)方法去融合不同的信息源。該知識(shí)庫(kù)比先前發(fā)布的任何結(jié)構(gòu)化知識(shí)庫(kù)大得多，并且具有概率推理系統(tǒng)，該概率推理系統(tǒng)能計(jì)算事實(shí)準(zhǔn)確性的校準(zhǔn)概率。

13. 論文：用于高維數(shù)據(jù)的可擴(kuò)展最近鄰算法（Scalable Nearest Neighbor Algorithms for High Dimensional Data）

鏈接：http://suo.im/hjTa4

作者：Lowe, D.G., & Muja, M. (2014). IEEE Trans. Pattern Anal. Mach. Intell.

數(shù)據(jù)：引用：324、HIC：11、CV：69

摘要：我們提出了用于近似最近鄰匹配的新算法，并將其與以前的算法進(jìn)行比較。為了將其擴(kuò)展到大型數(shù)據(jù)集（不適合單機(jī)的存儲(chǔ)處理）上，我們提出了一種分布式最近鄰匹配框架，該框架可以與論文中描述的任何算法一起使用。

14. 論文：回顧超限學(xué)習(xí)機(jī)的發(fā)展趨勢(shì)（Trends in extreme learning machines: a review）

鏈接：http://suo.im/3WSEQi

作者：Huang, G., Huang, G., Song, S., & You, K. (2015). Neural Networks

數(shù)據(jù)：引用：323、HIC：0、CV：0

摘要：我們的目標(biāo)是報(bào)告超限學(xué)習(xí)機(jī)（ELM）的理論研究和實(shí)踐進(jìn)展所處的現(xiàn)狀。除了分類和回歸，ELM 最近已經(jīng)被擴(kuò)展到集群、特征選擇、代表性學(xué)習(xí)和許多其他學(xué)習(xí)任務(wù)。由于其驚人的高效性、簡(jiǎn)單性和令人印象深刻的泛化能力，ELM 已經(jīng)被廣泛用于各種領(lǐng)域，如生物醫(yī)學(xué)工程、計(jì)算機(jī)視覺(jué)、系統(tǒng)識(shí)別、控制和機(jī)器人。

15. 論文：一份關(guān)于概念漂移適應(yīng)的調(diào)查（A survey on concept drift adaptation）

鏈接：http://suo.im/3bQkiz

作者：Bifet, A., Bouchachia, A., Gama, J., Pechenizkiy, M., & Zliobaite, I. ACM Comput. Surv., 2014

數(shù)據(jù)：引用：314、HIC：4、CV：23

摘要：該文全面介紹了概念漂移適應(yīng)。它指的是當(dāng)輸入數(shù)據(jù)與目標(biāo)變量之間的關(guān)系隨時(shí)間變化之時(shí)的在線監(jiān)督學(xué)習(xí)場(chǎng)景。

16. 論文：深度卷積激活特征的多尺度無(wú)序池化（Multi-scale Orderless Pooling of Deep Convolutional Activation Features）

鏈接：http://suo.im/3gNw8e

作者：Gong, Y., Guo, R., Lazebnik, S., & Wang, L. (2014). ECCV

數(shù)據(jù)：引用：293、HIC：23、CV：95

摘要：為了在不降低其辨別力的同時(shí)改善卷積神經(jīng)網(wǎng)絡(luò)激活特征的不變性，本文提出了一種簡(jiǎn)單但有效的方案：多尺度無(wú)序池化（MOP-CNN）。

17. 論文：同時(shí)檢測(cè)和分割（Simultaneous Detection and Segmentation）

鏈接：http://suo.im/4b0ye0

作者：Arbeláez, P.A., Girshick, R.B., Hariharan, B., & Malik, J. (2014) ECCV

數(shù)據(jù)：引用：286、HIC：23、CV：94

摘要：本文的目標(biāo)是檢測(cè)圖像中一個(gè)類別的所有實(shí)例，并為每個(gè)實(shí)例標(biāo)記屬于它的像素。我們稱將此任務(wù)稱為同時(shí)檢測(cè)和分割（SDS）。

18. 論文：一份關(guān)于特征選擇方法的調(diào)查（A survey on feature selection methods）

鏈接：http://suo.im/4BDdKA

作者：Chandrashekar, G., & Sahin, F. Int. J. on Computers & Electrical Engineering

數(shù)據(jù)：引用：279、HIC：1、CV：58

摘要：在文獻(xiàn)中，有許多特征選擇方法可用，由于某些數(shù)據(jù)集具有數(shù)百個(gè)可用的特征，這會(huì)導(dǎo)致數(shù)據(jù)具有非常高的維度。

19. 論文：用回歸樹集成方法在一毫秒內(nèi)實(shí)現(xiàn)人臉校準(zhǔn)（One Millisecond Face Alignment with an Ensemble of Regression Trees）

鏈接：http://suo.im/1iFyub

作者：Kazemi, Vahid, and Josephine Sullivan, Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition 2014

數(shù)據(jù)：引用：277、HIC：15、CV：0

摘要：本文解決了單個(gè)圖像的人臉校準(zhǔn)問(wèn)題。我們展示了怎樣使用回歸樹集成來(lái)直接從像素強(qiáng)度的稀疏子集估計(jì)面部的地標(biāo)位置，并通過(guò)高質(zhì)量的預(yù)測(cè)實(shí)現(xiàn)了超實(shí)時(shí)性能。

20. 論文：關(guān)于作為混合系統(tǒng)的多分類器系統(tǒng)的調(diào)查（A survey of multiple classifier systems as hybrid systems）

鏈接：http://suo.im/3c9EFD

作者：Corchado, E., Gra?a, M., & Wozniak, M. (2014). Information Fusion, 16, 3-17.

數(shù)據(jù)：引用：269、HIC：1、CV：22

摘要：模式分類領(lǐng)域目前關(guān)注的焦點(diǎn)是幾種分類器系統(tǒng)的組合，構(gòu)建這些分類器系統(tǒng)可以使用相同或者不同的模型和／或數(shù)據(jù)集構(gòu)建。

原文地址：http://www.kdnuggets.com/2017/04/top-20-papers-machine-learning.html

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754