摘要：寫(xiě)本文的目的，希望結(jié)合眾家之長(zhǎng)，試圖解決數(shù)學(xué)對(duì)機(jī)器學(xué)習(xí)入門(mén)的困擾。這里假設(shè)你上過(guò)大學(xué)的數(shù)學(xué)課，你就具備了機(jī)器學(xué)習(xí)的數(shù)學(xué)入門(mén)門(mén)檻了，之后的數(shù)學(xué)啃一啃是可以下來(lái)的。

寫(xiě)這篇文章很久想了很久，到底該怎么寫(xiě)？

關(guān)于數(shù)學(xué)與機(jī)器學(xué)習(xí)的關(guān)系，觀點(diǎn)很多。

寫(xiě)本文的目的，希望結(jié)合眾家之長(zhǎng)，試圖解決數(shù)學(xué)對(duì)機(jī)器學(xué)習(xí)入門(mén)的困擾。

現(xiàn)在數(shù)學(xué)困擾大家主要有這幾個(gè)方面：

1、 機(jī)器學(xué)習(xí)需要的數(shù)學(xué)知識(shí)是不是很難，網(wǎng)上的公式都看不懂？

2、 很多人都說(shuō)工作后就是調(diào)參，調(diào)包，不太需要用到數(shù)學(xué)吧？

3、 零基礎(chǔ)究竟該怎么自學(xué)數(shù)學(xué)，學(xué)到哪個(gè)程度？

觀點(diǎn)：

1、數(shù)學(xué)是必須的。

數(shù)學(xué)對(duì)于機(jī)器學(xué)習(xí)來(lái)說(shuō)是必備基礎(chǔ)，數(shù)學(xué)是內(nèi)功，你要理解一個(gè)算法的內(nèi)在邏輯，沒(méi)有數(shù)學(xué)是不行的。以后跑算法的時(shí)候，你可能就是調(diào)參、調(diào)包，不會(huì)用到數(shù)學(xué)。但是你發(fā)現(xiàn)效果不好的時(shí)候，如果你數(shù)學(xué)不懂，就很難作優(yōu)化，數(shù)學(xué)是你在機(jī)器學(xué)習(xí)路上的天花板。

2、數(shù)學(xué)也不是很難。

但是，數(shù)學(xué)真的很難嗎？說(shuō)實(shí)話(huà)，對(duì)于一般人來(lái)說(shuō)，是有點(diǎn)門(mén)檻的，但沒(méi)有你想的那么難。這里假設(shè)你上過(guò)大學(xué)的數(shù)學(xué)課，你就具備了機(jī)器學(xué)習(xí)的數(shù)學(xué)入門(mén)門(mén)檻了，之后的數(shù)學(xué)啃一啃是可以下來(lái)的。如果說(shuō)你沒(méi)有上過(guò)大學(xué)的數(shù)學(xué)，emmm，挺難的，這說(shuō)明你除了跟別人付出同樣的努力之外，還要多付出一些大學(xué)數(shù)學(xué)的學(xué)習(xí)。

3、 相比于數(shù)學(xué)，實(shí)際項(xiàng)目能力更重要。

這句話(huà)沒(méi)錯(cuò)，可是大部分人在沒(méi)接觸到實(shí)際項(xiàng)目的時(shí)候，就已經(jīng)被擋在門(mén)外了。很多從事機(jī)器學(xué)習(xí)的你問(wèn)他數(shù)學(xué)，他可能也不是很懂，可是你能咋辦。人家面試你的時(shí)候就要問(wèn)你這些，問(wèn)你對(duì)算法的理解，你不會(huì)那你就過(guò)不了面試啊。

4、 學(xué)習(xí)是枯燥的，但是有辦法緩解。

在學(xué)習(xí)算法的時(shí)候，我們會(huì)看到很多推導(dǎo)，學(xué)著學(xué)著就怕了，就失去興趣了，這里有個(gè)方法可以有效緩解。我之前的系列中有本書(shū)叫做機(jī)器學(xué)習(xí)實(shí)戰(zhàn)，跟著上面的代碼敲一敲，很容易出成果，你會(huì)看到在現(xiàn)實(shí)中的實(shí)際應(yīng)用，很有成就感。

5、 數(shù)學(xué)的學(xué)習(xí)是可以“取巧”的

這里說(shuō)的取巧指的是，數(shù)學(xué)的學(xué)習(xí)是有跡可循的，因?yàn)槿腴T(mén)階段的數(shù)學(xué)實(shí)際上就需要那些，列出來(lái)，你自己啃一下就可以了。具體的學(xué)習(xí)方法不是等你把數(shù)學(xué)都學(xué)好了再去學(xué)算法知識(shí)。而是你在學(xué)習(xí)算法的時(shí)候，看到你數(shù)學(xué)缺哪塊再去補(bǔ)哪塊，這是最高效的。當(dāng)然了，在這之前你可以通讀一遍數(shù)學(xué)的基礎(chǔ)，對(duì)學(xué)習(xí)有個(gè)大概是更好的。

數(shù)學(xué)必備知識(shí)點(diǎn)

1、 線(xiàn)性代數(shù)

標(biāo)量、向量、矩陣和張量；矩陣向量的運(yùn)算；單位矩陣和逆矩陣；行列式；方差，標(biāo)準(zhǔn)差，協(xié)方差矩陣；范數(shù)；特殊類(lèi)型的矩陣和向量；特征分解以及其意義；奇異值分解及其意義

Moore-Penrose 偽逆；跡運(yùn)算

2、 概率統(tǒng)計(jì)

概率學(xué)派和貝葉斯學(xué)派；何為隨機(jī)變量和何又為概率分布；條件概率，聯(lián)合概率和全概率公式；邊緣概率；獨(dú)立性和條件獨(dú)立性；期望、方差、協(xié)方差和相關(guān)系數(shù)；常用概率分布；貝葉斯及其應(yīng)用；中心極限定理；極大似然估計(jì)；概率論中的獨(dú)立同分布

3、 優(yōu)化

計(jì)算復(fù)雜性與NP問(wèn)題；上溢和下溢；導(dǎo)數(shù)，偏導(dǎo)數(shù)及兩個(gè)特殊矩陣；方向?qū)?shù)和梯度；梯度下降法；牛頓法；仿射集,凸集和凸錐；超平面，半空間及凸集分離定理；不改變凸性的運(yùn)算；凸函數(shù)及凸優(yōu)化簡(jiǎn)述；無(wú)約束的優(yōu)化，等式約束優(yōu)化，不等式約束優(yōu)化；線(xiàn)性規(guī)劃中對(duì)偶理論；拉格朗日對(duì)偶理論

4、 信息論及其他

信息熵；條件熵；相對(duì)熵 (KL散度)；互信息；幾種常用的距離度量；圖論；樹(shù)論

上面數(shù)學(xué)基本上就是我們所要學(xué)的數(shù)學(xué)的全部了，看上去有點(diǎn)嚇人是不？不要慌，沒(méi)有那么難，一點(diǎn)點(diǎn)啃下去就可以了。

推薦資料：

資料一：機(jī)器學(xué)習(xí)王牌課程CS229課后配套數(shù)學(xué)，專(zhuān)門(mén)配套機(jī)器學(xué)習(xí)的。

鏈接：https://pan.baidu.com/s/1Fh__... 密碼：48n4

資料二：Yoshua Bengio的《深度學(xué)習(xí)》書(shū)，網(wǎng)上公開(kāi)的，前面有一部分是對(duì)數(shù)學(xué)的專(zhuān)門(mén)講解，很基礎(chǔ)很全面。

鏈接：https://pan.baidu.com/s/1A9mc... 密碼：hwjn

資料三：知乎答主的優(yōu)秀回答，很細(xì)致，適合初學(xué)者

線(xiàn)代專(zhuān)欄：https://zhuanlan.zhihu.com/p/...

概率統(tǒng)計(jì)：https://zhuanlan.zhihu.com/p/...

優(yōu)化（上）：https://zhuanlan.zhihu.com/p/...

優(yōu)化（下）：https://zhuanlan.zhihu.com/p/...

信息論及其他：https://zhuanlan.zhihu.com/p/...

我看過(guò)很多數(shù)學(xué)材料，上面三個(gè)是我總結(jié)過(guò)來(lái)最好的，必看。但是每個(gè)人基礎(chǔ)不同，可能看完上面三個(gè)后，還是有需要去看別的。

數(shù)學(xué)實(shí)在太弱怎么辦？

如果你上面三個(gè)材料看起來(lái)很吃力，或者說(shuō)你的數(shù)學(xué)沒(méi)有達(dá)到大學(xué)的水平。那就是數(shù)學(xué)基本功的問(wèn)題了。針對(duì)這種情況，我覺(jué)得只能把相關(guān)的大學(xué)數(shù)學(xué)書(shū)拿出來(lái)翻一翻，基本概念要弄懂，什么是矩陣、導(dǎo)數(shù)等等，偷不了懶。

1、數(shù)學(xué)分析與概率論

同濟(jì)大學(xué)數(shù)學(xué)教研室，高等數(shù)學(xué)，高等教育出版社，1996

王松桂、程維虎、高旅端，概率論與數(shù)理統(tǒng)計(jì)，科學(xué)出版社，2000

2、矩陣和線(xiàn)性代數(shù)

同濟(jì)大學(xué)數(shù)學(xué)系編，工程數(shù)學(xué)線(xiàn)性代數(shù)（第五版），高等教育出版社2007

以上三本數(shù)學(xué)書(shū)，如果你對(duì)基礎(chǔ)概念忘了的話(huà)，可以選擇性看下相應(yīng)的篇章。

重申：

最好的數(shù)學(xué)學(xué)習(xí)方式是邊學(xué)邊補(bǔ)，沒(méi)必要百分之百看懂?dāng)?shù)學(xué)的推導(dǎo)過(guò)程，初級(jí)階段懂個(gè)70%也就夠了，有些實(shí)在太難的，就沒(méi)必要鉆牛角尖了。網(wǎng)上動(dòng)輒看到幾百塊錢(qián)的數(shù)學(xué)教程，希望大家不要被割智商稅。

討論學(xué)習(xí)，文章首發(fā)，公眾號(hào)：learningthem