資訊專欄INFORMATION COLUMN
摘要：前兩周的課程主要數(shù)學(xué)知識(shí)點(diǎn)為矩陣乘法如若可以相乘必然有，最后的結(jié)果為的在線性回歸中矩陣用處在于數(shù)據(jù)量有數(shù)據(jù)有實(shí)際值向量預(yù)測(cè)值向量監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)監(jiān)督學(xué)習(xí)我們的目標(biāo)是從輸入到輸出的一種映射關(guān)系。
1、前兩周的課程主要數(shù)學(xué)知識(shí)點(diǎn)為 矩陣 乘法
A m*n B k*y 如若 A*B 可以相乘 必然有 n=k，最后的結(jié)果為 m*y的matrix 在線性回歸中矩陣用處在于： x10 x11 x12 x13 y1 &1 x20 x21 x22 x23 y2 &2 . . . . . &3 . . . . . 數(shù)據(jù)量有 m &數(shù)據(jù)有 n X = m n Y=m 1(實(shí)際值向量) &=n 1 Final =X*Y Final=m 1 (預(yù)測(cè)值向量)
2、監(jiān)督學(xué)習(xí)與非監(jiān)督學(xué)習(xí)
監(jiān)督學(xué)習(xí)：我們的目標(biāo)是從輸入到輸出的一種映射關(guān)系。其中輸出的值已經(jīng)有了，其指導(dǎo)我們輸出的數(shù)據(jù)了。我們根據(jù)已經(jīng)有的輸出值，對(duì)輸入值進(jìn)行學(xué)習(xí)，尋找輸入值與輸出值之間的關(guān)系。例：一堆（x,y），數(shù)據(jù)學(xué)習(xí)其中x（輸入值）與y（輸出值）之間的關(guān)系。 非監(jiān)督學(xué)習(xí)：與監(jiān)督學(xué)習(xí)最大的區(qū)別在于，非監(jiān)督?jīng)]有已知的輸出值給予訓(xùn)練，完全依靠模型尋找輸入值之間內(nèi)在的關(guān)系。例：新聞聚類，給新聞分類 總：有輸出值得數(shù)據(jù)為監(jiān)督學(xué)習(xí)，沒有輸出值為非監(jiān)督學(xué)習(xí)。
3.1、線性回歸-代價(jià)函數(shù)(cost function)
y擬合=θ0x0+θ1x1
選擇合適θ0和θ1來使直線最好的擬合圖中的數(shù)據(jù)點(diǎn)。
所以這里有一個(gè)最小化的概念就是使假設(shè)函數(shù)與訓(xùn)練樣本之間的誤差最小。
最小化：就是直線最佳擬合圖中數(shù)據(jù)點(diǎn)。
求法：(y擬合(x)-y(x))^2, 其實(shí)就是求預(yù)測(cè)函數(shù)取x值是y預(yù)測(cè)到y(tǒng)真實(shí)的距離的平方，這是一個(gè)點(diǎn)，最后將每一個(gè)點(diǎn)都加和起來，求平均值
3.2、線性回歸-梯度下降（gradient descent）
梯度下降：重復(fù)計(jì)算直到收斂
圖中的 := 代表賦值符號(hào),而且需要注意的是每次更新都是同時(shí)賦值。
alpha 代表的是學(xué)習(xí)速率，它控制我們以多大的的幅度更新這個(gè)參數(shù)代表θj。也就是上面說的大步流星下山或是小碎步下山。
alpha大小取值過大會(huì)導(dǎo)致最終不能收斂。
過小會(huì)導(dǎo)致收斂次數(shù)對(duì)多，耗費(fèi)時(shí)間長。
3.2、線性回歸-特征縮放（Feature Scaling）
特征縮放：是梯度下降快速收斂到終止位置（閾值點(diǎn)）。
μi：所有特征(i)的平均值。
si：特征(i)的(max - min)或者標(biāo)準(zhǔn)偏差。
3.3、線性回歸-正常方程求解（Normal Equation）
梯度下降與正常方程求解優(yōu)缺點(diǎn)： 梯度下降 正常求解 需要選擇alpha大小 不需要考慮alpha大小 需要很多次迭代 不需要迭代 O(Kn^2) O(n^3),并且需要計(jì)算X"X 在特征比較多的時(shí)候使用 特征數(shù)量較小時(shí)使用
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/67568.html
摘要：是為結(jié)果導(dǎo)向型人群開設(shè)的深度學(xué)習(xí)在線課程。但是最關(guān)鍵的是，我想通過構(gòu)建簡單的深度學(xué)習(xí)解決方案來實(shí)現(xiàn)理論和實(shí)踐的相結(jié)合。我的目標(biāo)是在一天結(jié)束前進(jìn)入排名的前。我的時(shí)間都用于學(xué)習(xí)庫組織數(shù)據(jù)和評(píng)估結(jié)果都是一些與深度學(xué)習(xí)無關(guān)的簡單流程。 Fast.ai是Jeremy Howard為結(jié)果導(dǎo)向型人群開設(shè)的深度學(xué)習(xí)在線課程。我讀過很多關(guān)于機(jī)器學(xué)習(xí)的書，也參加過不少這方面的課程，但我認(rèn)為Fast.ai是迄今為...
摘要：在回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析如果回歸分析中包括兩個(gè)及以上個(gè)自變量，且因變量和自變量直接是線性關(guān)系，則稱之為多元線性回歸分析。參考斯坦福大學(xué)機(jī)器學(xué)習(xí)公開課 定義 假設(shè)函數(shù)與代價(jià)函數(shù)(損失函數(shù)) 特征量放縮 最小化代價(jià)函數(shù) 收斂判定 1.什么是線性回歸 在統(tǒng)計(jì)學(xué)中，線性回歸是利用被稱為線性回歸方程的最小平...
摘要：年，舉辦過一個(gè)很受歡迎的貓狗識(shí)別競(jìng)賽。當(dāng)時(shí)，正如比賽官網(wǎng)宣布的，在使用張貓和狗的圖像進(jìn)行訓(xùn)練后，較先進(jìn)的算法分辨貓狗的準(zhǔn)確率是。醫(yī)學(xué)診斷異常檢測(cè)圖像識(shí)別的工業(yè)應(yīng)用，等等。小結(jié)結(jié)果令人吃驚。 2013年，Kaggle舉辦過一個(gè)很受歡迎的貓狗識(shí)別競(jìng)賽（Dogs vs. Cats）。比賽的目標(biāo)是訓(xùn)練一種能夠檢測(cè)圖像中是否包含貓或者狗的算法。當(dāng)時(shí)，正如比賽官網(wǎng)宣布的，在使用13000張貓和狗的圖像進(jìn)...
摘要：截止到今天，已公開發(fā)行一周年。一年以來，社區(qū)中的用戶不斷做出貢獻(xiàn)和優(yōu)化，在此深表感謝。所以與衡量它的指標(biāo)包括在機(jī)器學(xué)習(xí)研究論文中的使用。來自香港科技大學(xué)的在上推出了面向普通觀眾的在線課程。 Yann LeCun Twitter截止到今天，PyTorch 已公開發(fā)行一周年。一年以來，我們致力于打造一個(gè)靈活的深度學(xué)習(xí)研究平臺(tái)。一年以來，PyTorch 社區(qū)中的用戶不斷做出貢獻(xiàn)和優(yōu)化，在此深表感謝...
摘要：是你學(xué)習(xí)從入門到專家必備的學(xué)習(xí)路線和優(yōu)質(zhì)學(xué)習(xí)資源。的數(shù)學(xué)基礎(chǔ)最主要是高等數(shù)學(xué)線性代數(shù)概率論與數(shù)理統(tǒng)計(jì)三門課程，這三門課程是本科必修的。其作為機(jī)器學(xué)習(xí)的入門和進(jìn)階資料非常適合。書籍介紹深度學(xué)習(xí)通常又被稱為花書，深度學(xué)習(xí)領(lǐng)域最經(jīng)典的暢銷書。 showImg(https://segmentfault.com/img/remote/1460000019011569); 【導(dǎo)讀】本文由知名開源平...
閱讀 1012·2023-04-26 02:21
閱讀 2828·2021-09-24 09:47
閱讀 1622·2019-08-30 15:55
閱讀 2176·2019-08-30 14:01
閱讀 2332·2019-08-29 14:01
閱讀 2057·2019-08-29 12:46
閱讀 826·2019-08-26 13:27
閱讀 1950·2019-08-26 12:23
