資訊專欄INFORMATION COLUMN
摘要：回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。
數(shù)據(jù)類型分為連續(xù)型和離散型。離散型的數(shù)據(jù)經(jīng)常用來(lái)表示分類，連續(xù)型的數(shù)據(jù)經(jīng)常用來(lái)表示不確定的值。比如一個(gè)產(chǎn)品質(zhì)量分為1類，2類，這是離散型。房?jī)r(jià)1.4萬(wàn)/平，3.4萬(wàn)/平，這是連續(xù)型。之前我們學(xué)的都是分類，那么對(duì)于一些連續(xù)型的數(shù)據(jù)，我們就可以通過(guò)回歸算法來(lái)進(jìn)行預(yù)測(cè)了。
回歸分析中，只包括一個(gè)自變量和一個(gè)因變量，且二者的關(guān)系可用一條直線近似表示，這種回歸分析稱為一元線性回歸分析。如果回歸分析中包括兩個(gè)或兩個(gè)以上的自變量，且因變量和自變量之間是線性關(guān)系，則稱為多元線性回歸分析。那么什么是線性關(guān)系和非線性關(guān)系？
比如說(shuō)在房?jī)r(jià)上，房子的面積和房子的價(jià)格有著明顯的關(guān)系。那么X=房間大小，Y=房?jī)r(jià)，那么在坐標(biāo)系中可以看到這些點(diǎn)：
如果房間面積大小和房?jī)r(jià)的關(guān)系可以用一根直線表示，那么這就是線性關(guān)系：
而如果不是一根直線，那么就是非線性關(guān)系：
線性回歸通過(guò)一個(gè)或者多個(gè)自變量與因變量之間進(jìn)行建模的回歸分析。其中特點(diǎn)為一個(gè)或多個(gè)稱為回歸系數(shù)的模型參數(shù)的線性組合。
線性回歸方程，就是有k個(gè)特征，然后每個(gè)特征都有相應(yīng)的系數(shù)，并且在所有特征值為0的情況下，目標(biāo)值有一個(gè)默認(rèn)值。因此線性回歸方程如下：
h ( ? ) = ? ? + ? ? ? ? ? + ? ? ? ? ? + … ?(?)= ?? + ??*?? + ??*??+… h(w)=w?+w??x?+w??x?+…
整合后的公式為：
h ( w ) = ∑ i n w i x i = θ T x h(w)=∑_i^nw_ixi=θ^Tx h(w)=i∑n?wi?xi=θTx
損失函數(shù)是一個(gè)貫穿整個(gè)機(jī)器學(xué)習(xí)重要的一個(gè)概念，大部分機(jī)器學(xué)習(xí)算法都會(huì)有誤差，我們得通過(guò)顯性的公式來(lái)描述這個(gè)誤差，并且將這個(gè)誤差優(yōu)化到最小值。
假設(shè)現(xiàn)在真實(shí)的值為y，預(yù)測(cè)的值為h，那么損失函數(shù)的公式如下：
J ( θ ) = 1 2 ∑ i m ( y ( i ) ? θ T x ( i ) ) 2 J(θ)=/frac{1}{2}∑_i^m(y^{(i)}-θ^Tx^{(i)})^2 J(θ)=21?i∑m?(y(i)?θTx(i))2
也就是所有誤差和的平方。損失函數(shù)值越小，說(shuō)明誤差越小.這個(gè)損失函數(shù)也有一個(gè)專門(mén)的叫法，叫做最小二乘法。
首先，我們是想要獲取到這樣一個(gè)公式：
h ( θ ) = θ 0 + θ 1 ? x 1 + θ 2 ? x 2 + … ?(θ)= θ_0 + θ_1*x_1 + θ_2*x_2+… h(θ)=θ0?+θ1??x1?+θ2??x2?+…
那么為了更好的計(jì)算，我們將這個(gè)公式進(jìn)行一些變形，將 w 0 w_0 w0?后面加個(gè) x 0 x_0 x0?，只不過(guò)這個(gè) x 0 x_0 x0?是為1。所以可以變化成以下：
h ( θ ) = ∑ i n θ i x i ?(θ)= ∑_i^nθ_ix_i h(θ)=i∑n?θi?xi?
而 θ i θ_i θi?和 x i x_i xi?可以寫(xiě)成一個(gè)矩陣：
[ θ 0 θ 1 θ 3 . . . ] /left[/begin{matrix} θ_0 θ_1 θ_3 ... /end{matrix} /right] [θ0?θ1?θ3?...?] x [ 1 x 1 x 3 . . . ] /left[/begin{matrix} 1 // x_1 // x_3 // ... /end{matrix} /right] ?????1x1?x3?...?????? = ∑ i n θ i x i ∑_i^nθ_ix_i ∑in?θi?xi? = θ T x θ^Tx θTx
用矩陣主要是方便計(jì)算。
其次，以上求得的，只是一個(gè)預(yù)測(cè)的值，而不是真實(shí)的值，他們中間肯定會(huì)存在誤差，因此會(huì)有以下公式：
y i = θ i x i + ? i y_i=θ_ix_i + ?_i yi?=θi?xi?+?i?
我們要做的，就是找出最小的 ? i ?_i ?i?，使得預(yù)測(cè)值和真實(shí)值的差距最小。
θ求解：然后， ? i ?_i ?i?是存在正數(shù)，也存在負(fù)數(shù)，所以可以簡(jiǎn)單的把這個(gè)數(shù)據(jù)集，看做是一個(gè)服從均值為0，方差為 σ 2 σ^2 σ2的正態(tài)分布。所以 ? i ?_i ?i?出現(xiàn)的概率為：
p ( ? i ) = 1 2 π σ e x p ? ( ? i ) 2 2 σ 2 p(?_i)=/frac{1}{/sqrt{2π}σ}exp{/frac{-(?_i)^2}{2σ^2}} p(?i?)=2π?σ1?exp2σ2?(?i?)2?
把 ? i = y i ? θ i x i ?_i=y_i-θ_ix_i ?i?=yi??θi?xi?代入到以上高斯分布的函數(shù)中，變成以下式子：
p ( ? i ) = 1 2 π σ e x p ? ( y i ? θ i x i ) 2 2 σ 2 p(?_i)=/frac{1}{/sqrt{2π}σ}exp{/frac{-(y_i-θ_ix_i)^2}{2σ^2}} p(?
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/123370.html
摘要：下文主要講述前饋神經(jīng)網(wǎng)絡(luò)這個(gè)值稱之為損失，我們的目標(biāo)就是使對(duì)所有訓(xùn)練數(shù)據(jù)的損失和盡可能的小。對(duì)于前饋神經(jīng)網(wǎng)絡(luò)中，這個(gè)有向圖是沒(méi)有回路的。反饋神經(jīng)網(wǎng)絡(luò)也是一類重要的神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)中的也屬于一種反饋神經(jīng)網(wǎng)絡(luò)。 監(jiān)督學(xué)習(xí)中，如果預(yù)測(cè)的變量是離散的，我們稱其為分類（如決策樹(shù)，支持向量機(jī)等）； 如果預(yù)測(cè)的變量是連續(xù)的，我們稱其為回歸。 反向傳播算法(back propagation alg...
摘要：機(jī)器學(xué)習(xí)算法類型從廣義上講，有種類型的機(jī)器學(xué)習(xí)算法。強(qiáng)化學(xué)習(xí)的例子馬爾可夫決策過(guò)程常用機(jī)器學(xué)習(xí)算法列表以下是常用機(jī)器學(xué)習(xí)算法的列表。我提供了對(duì)各種機(jī)器學(xué)習(xí)算法的高級(jí)理解以及運(yùn)行它們的代碼。決策樹(shù)是一種監(jiān)督學(xué)習(xí)算法，主要用于分類問(wèn)題。 showImg(https://segmentfault.com/img/remote/1460000019086462); 介紹 谷歌的自動(dòng)駕駛汽車(chē)和機(jī)...
閱讀 610·2021-11-18 13:12
閱讀 1328·2021-11-15 11:39
閱讀 2488·2021-09-23 11:22
閱讀 6223·2021-09-22 15:15
閱讀 3670·2021-09-02 09:54
閱讀 2321·2019-08-30 11:10
閱讀 3254·2019-08-29 14:13
閱讀 2919·2019-08-29 12:49
