摘要：得分與距離均值的標(biāo)準(zhǔn)偏差數(shù)相關(guān)。不過(guò)，在我們的模型中將表示為浮點(diǎn)特征將其看為一個(gè)浮點(diǎn)數(shù)，以它的數(shù)值大小為特征沒(méi)有意義。清查截至目前，我們假定用于訓(xùn)練和測(cè)試的所有數(shù)據(jù)都是值得信賴(lài)的。良好的機(jī)器學(xué)習(xí)依賴(lài)于良好的數(shù)據(jù)。

我們?cè)谶M(jìn)行機(jī)器學(xué)習(xí)的時(shí)候，采用的數(shù)據(jù)樣本往往是矢量（特征矢量），而我們的原始數(shù)據(jù)并不是以矢量的形式呈現(xiàn)給我們的，這是便需要將數(shù)據(jù)映射到特征

直接映射便ok（雖然機(jī)器學(xué)習(xí)是根據(jù)浮點(diǎn)值進(jìn)行的訓(xùn)練，但是不需要將整數(shù)6轉(zhuǎn)換為6.0，這個(gè)過(guò)程是默認(rèn)的）

好多時(shí)候，有的特征是字符串，比如此前訓(xùn)練的加利福尼亞房產(chǎn)數(shù)據(jù)集中的街區(qū)名稱(chēng)，機(jī)器學(xué)習(xí)是無(wú)法根據(jù)字符串來(lái)學(xué)習(xí)規(guī)律的，所以需要轉(zhuǎn)換。但是存在一個(gè)問(wèn)題，如果字符特征是""一環(huán)"" ""二環(huán)"" ""三環(huán)""...（代表某個(gè)城市的地理位置），那么對(duì)其進(jìn)行數(shù)值轉(zhuǎn)換的時(shí)候，是不可以編碼為形如1，2，3，4...這樣的數(shù)據(jù)的，因?yàn)槠浯嬖跀?shù)據(jù)大小的問(wèn)題，學(xué)習(xí)模型會(huì)把他們的大小關(guān)系作為特征而學(xué)習(xí)，所以我們需要引入獨(dú)熱編碼,（具體解釋見(jiàn)鏈接，解釋的很好）

當(dāng)?shù)玫教卣髦?，還是要進(jìn)行篩選的，因?yàn)橛械奶卣鳑](méi)有參考價(jià)值，就像我們的在做合成特征的時(shí)候，正常的特征數(shù)據(jù)是人均幾間房間，而有的人是幾十間，這明顯沒(méi)有參考價(jià)值
良好特征的幾點(diǎn)原則

避免很少使用的離散特征值：如果只是出現(xiàn)了一兩次的特征幾乎是沒(méi)有意義的

最好具有清晰明確的含義：特征的含義不僅僅是讓機(jī)器學(xué)習(xí)的模型學(xué)習(xí)的，人也要知道其具體的含義，不然不利于分析數(shù)據(jù)（最好將數(shù)值很大的秒轉(zhuǎn)換為天數(shù)，或者年，讓人看起來(lái)直觀一些）

將“神奇”的值與實(shí)際數(shù)據(jù)混為一談：有些特征中會(huì)出現(xiàn)一些"神奇的數(shù)據(jù)"，當(dāng)然這些數(shù)據(jù)并不是很少的特征，而是超出范圍的異常值，比如特征應(yīng)該是介于0——1之間的，但是因?yàn)檫@個(gè)數(shù)據(jù)是空缺的，而采用的默認(rèn)數(shù)值-1，那么這樣的數(shù)值就是"神奇"，解決辦法是，將該特征轉(zhuǎn)換為兩個(gè)特征：

一個(gè)特征只存儲(chǔ)質(zhì)正常范圍的值，不含神奇值。

一個(gè)特征存儲(chǔ)布爾值，表示的信息為是否為空

考慮上游不穩(wěn)定性：由經(jīng)驗(yàn)可知，特征的定義不應(yīng)隨時(shí)間發(fā)生變化，代表城市名稱(chēng)的話(huà)，那么特征值始終都該是城市的名稱(chēng)，但是有的時(shí)候，上游模型將特征值處理完畢后，返還給下游模型的卻變成了數(shù)值，這樣是不好的，因?yàn)檫@種表示在未來(lái)運(yùn)行其他模型時(shí)可能輕易發(fā)生變化，那么特征就亂套了

清理數(shù)據(jù),顧名思義，就是將數(shù)據(jù)清理（整理一下）.....好像是廢話(huà)。
在上一步后，我們現(xiàn)在得到的數(shù)據(jù)已經(jīng)全部是數(shù)值化的特征了，（這里肯定有但是的），但是，這樣的數(shù)據(jù)直接拿過(guò)來(lái)訓(xùn)練效果還是會(huì)很糟糕，因?yàn)槠渲写嬖谠S許多多的壞數(shù)據(jù)，就是一些值不是那么正常的數(shù)據(jù)，像之前說(shuō)的那種數(shù)值特別大的就屬于這一種，當(dāng)然除了數(shù)值異常的還有許許多多種的壞數(shù)據(jù)，下面就來(lái)看一看有哪些方法對(duì)付這些妖艷賤貨

縮放是指將浮點(diǎn)特征值從自然范圍（例如 100 到 900）轉(zhuǎn)換為標(biāo)準(zhǔn)范圍（例如 0 到 1 或 -1 到 +1）。如果某個(gè)特征集只包含一個(gè)特征，則縮放可以提供的實(shí)際好處微乎其微或根本沒(méi)有。不過(guò)，如果特征集包含多個(gè)特征，則縮放特征可以帶來(lái)以下優(yōu)勢(shì)：

幫助梯度下降法更快速地收斂（各個(gè)特征數(shù)值小，這樣算的跨的步子大呀）。

幫助避免“NaN 陷阱”。當(dāng)某個(gè)值在訓(xùn)練期間超出浮點(diǎn)精確率限制時(shí)，數(shù)值會(huì)變成NaN，并且模型中的所有其他數(shù)值最終也會(huì)因數(shù)學(xué)運(yùn)算而變成 NaN。（ NaN）

_NaN_，是Not a Number的縮寫(xiě)，在IEEE浮點(diǎn)數(shù)算術(shù)標(biāo)準(zhǔn)（IEEE 754）中定義，表示一些特殊數(shù)值（無(wú)窮與非數(shù)值（_NaN_）），為許多CPU與浮點(diǎn)運(yùn)算器所采用。

幫助模型為每個(gè)特征確定合適的權(quán)重。如果沒(méi)有進(jìn)行特征縮放，則模型會(huì)對(duì)范圍較大的特征投入過(guò)多精力。(因?yàn)槿绻渌奶卣鞣秶^(guò)大，模型在訓(xùn)練的時(shí)候會(huì)認(rèn)為此種模型的權(quán)值大，進(jìn)而影響模型的判斷)

由上可知，我們并不需要對(duì)每個(gè)浮點(diǎn)特征進(jìn)行完全相同的縮放。即使特征 A 的范圍是 -1 到 +1，同時(shí)特征 B 的范圍是 -3 到 +3，也不會(huì)產(chǎn)生什么惡劣的影響。不過(guò)，如果特征 B 的范圍是 5000 到 100000，您的模型會(huì)出現(xiàn)糟糕的響應(yīng)。

要縮放數(shù)字?jǐn)?shù)據(jù)，一種顯而易見(jiàn)的方法是將 [最小值，最大值] 以線性方式映射到較小的范圍，例如 [-1，+1]。
另一種熱門(mén)的縮放策略是計(jì)算每個(gè)值的 Z 得分。Z 得分與距離均值的標(biāo)準(zhǔn)偏差數(shù)相關(guān)。換而言之：
scaledvalue=(value?mean)/stddev.

例如，給定以下條件：
*   均值 = 100
*   標(biāo)準(zhǔn)偏差 = 20
*   原始值 = 130
則：
  scaled_value = (130 - 100) / 20
  scaled_value = 1.5
使用 Z 得分進(jìn)行縮放意味著，大多數(shù)縮放后的值將介于 -3 和 +3 之間，而少量值將略高于或低于該范圍。

還是舉加利福尼亞州住房數(shù)據(jù)集中的人均住房數(shù)的例子，有的極端值達(dá)到了50
對(duì)于這些極端值其實(shí)很好處理，無(wú)非幾個(gè)辦法

對(duì)數(shù)縮放

特征值限制到 某個(gè)上限或者下限

分箱其實(shí)是一個(gè)形象化的說(shuō)法，就是把數(shù)據(jù)分開(kāi)來(lái)，裝在一個(gè)個(gè)箱子里，這樣一個(gè)箱子里的數(shù)據(jù)就是一家人了。
那有什么用呢？下面就舉個(gè)栗子！

在數(shù)據(jù)集中，latitude 是一個(gè)浮點(diǎn)值（因?yàn)槭前凑找黄瑓^(qū)域統(tǒng)計(jì)的，所以緯度肯的增長(zhǎng)肯定是線性的了）。不過(guò)，在我們的模型中將 latitude 表示為浮點(diǎn)特征（將其看為一個(gè)浮點(diǎn)數(shù)，以它的數(shù)值大小為特征）沒(méi)有意義。這是因?yàn)榫暥群头课輧r(jià)值之間不存在線性關(guān)系（并不是那種緯度高房?jī)r(jià)就高）。例如，緯度 35 處的房屋并不比緯度 34 處的房屋貴 35/34（或更便宜）。但是，緯度或許能很好地預(yù)測(cè)房屋價(jià)值（在訓(xùn)練之前，我們也不知道能不能呢，但是從之前的散點(diǎn)圖可以看出來(lái)，房?jī)r(jià)和位置的分布好像是有關(guān)系的，所以我們把緯度也作為特征），因?yàn)椴皇浅示€性的關(guān)系了，所以把它作為分類(lèi)特征會(huì)更好。（如果無(wú)法理解的話(huà)，就好好想想模型會(huì)怎么處理數(shù)值數(shù)據(jù)和分類(lèi)數(shù)據(jù)），所以接下來(lái)我們將其分箱處理，如下圖。

我們現(xiàn)在擁有 11 個(gè)不同的布爾值特征（LatitudeBin1、LatitudeBin2、…、LatitudeBin11），而不是一個(gè)浮點(diǎn)特征。擁有 11 個(gè)不同的特征有點(diǎn)不方便，因此我們將它們統(tǒng)一成一個(gè) 11 元素矢量。這樣做之后，我們可以將緯度 37.4 表示為：

[0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0]

分箱之后，我們的模型現(xiàn)在可以為每個(gè)緯度學(xué)習(xí)完全不同的權(quán)重。（是不是覺(jué)得有點(diǎn)像獨(dú)熱編碼，沒(méi)錯(cuò)，就是的）

為了簡(jiǎn)單起見(jiàn)，我們?cè)诰暥葮颖局惺褂谜麛?shù)作為分箱邊界。如果我們需要更精細(xì)的解決方案，我們可以每隔 1/10 個(gè)緯度拆分一次分箱邊界。添加更多箱可讓模型從緯度 37.4 處學(xué)習(xí)和維度 37.5 處不一樣的行為，但前提是每 1/10 個(gè)緯度均有充足的樣本可供學(xué)習(xí)。
另一種方法是按分位數(shù)分箱，這種方法可以確保每個(gè)桶內(nèi)的樣本數(shù)量是相等的。按分位數(shù)分箱完全無(wú)需擔(dān)心離群值。

截至目前，我們假定用于訓(xùn)練和測(cè)試的所有數(shù)據(jù)都是值得信賴(lài)的。在現(xiàn)實(shí)生活中，數(shù)據(jù)集中的很多樣本是不可靠的，原因有以下一種或多種：

遺漏值。 例如，有人忘記為某個(gè)房屋的年齡輸入值。(值會(huì)為-1，所以要分為兩個(gè)特征，忘了的看上面)

重復(fù)樣本。 例如，服務(wù)器錯(cuò)誤地將同一條記錄上傳了兩次。

不良標(biāo)簽。 例如，有人錯(cuò)誤地將一顆橡樹(shù)的圖片標(biāo)記為楓樹(shù)。

不良特征值。 例如，有人輸入了多余的位數(shù)，或者溫度計(jì)被遺落在太陽(yáng)底下。

一旦檢測(cè)到存在這些問(wèn)題，通常需要將相應(yīng)樣本從數(shù)據(jù)集中移除，從而“修正”不良樣本。要檢測(cè)遺漏值或重復(fù)樣本，可以編寫(xiě)一個(gè)簡(jiǎn)單的程序。檢測(cè)不良特征值或標(biāo)簽可能會(huì)比較棘手。

除了檢測(cè)各個(gè)不良樣本之外，還必須檢測(cè)集合中的不良數(shù)據(jù)。直方圖是一種用于可視化集合中數(shù)據(jù)的很好機(jī)制。此外，收集如下統(tǒng)計(jì)信息也會(huì)有所幫助：

最大值和最小值

均值和中間值

標(biāo)準(zhǔn)偏差

考慮生成離散特征的最常見(jiàn)值列表，靠常識(shí)來(lái)判斷是否合理，是否適合自己觀察數(shù)據(jù)

遵循以下規(guī)則：

記住您預(yù)期的數(shù)據(jù)狀態(tài)。

確認(rèn)數(shù)據(jù)是否滿(mǎn)足這些預(yù)期（或者您可以解釋為何數(shù)據(jù)不滿(mǎn)足預(yù)期）。

仔細(xì)檢查訓(xùn)練數(shù)據(jù)是否與其他來(lái)源（例如信息中心）的數(shù)據(jù)一致。

像處理任何任務(wù)關(guān)鍵型代碼一樣謹(jǐn)慎處理您的數(shù)據(jù)。良好的機(jī)器學(xué)習(xí)依賴(lài)于良好的數(shù)據(jù)。