摘要：地址為什么使用遷移學習根據(jù)聯(lián)合創(chuàng)始人斯坦福副教授吳恩達介紹，遷移學習將會成為機器學習商業(yè)成就的下一驅(qū)動力。遷移學習是一種機器學習技術，允許在特定的數(shù)據(jù)集上再利用已訓練的卷積神經(jīng)網(wǎng)絡，并將其調(diào)整或遷移到其他數(shù)據(jù)集。

GitHub 地址：https://github.com/miguelgfierro/sciblog_support/blob/master/A_Gentle_Introduction_to_Transfer_Learning/Intro_Transfer_Learning.ipynb

為什么使用遷移學習？

根據(jù) Coursera 聯(lián)合創(chuàng)始人、斯坦福副教授吳恩達介紹，遷移學習（Transfer Learning）將會成為機器學習商業(yè)成就的下一驅(qū)動力。

遷移學習是一種機器學習技術，允許在特定的數(shù)據(jù)集上再利用已訓練的卷積神經(jīng)網(wǎng)絡（CNN），并將其調(diào)整或遷移到其他數(shù)據(jù)集。之所以要復用已經(jīng)訓練的 CNN，是因為訓練時間太長。例如，在 4 個英偉達 K80 GPU 中將 ResNet18 訓練 30 個 epoch 需要 3 天的時間；而在同樣的 GPU 上將 ResNet152 訓練 120 個 epoch 需要 4 個月。

遷移學習策略

總體而言，遷移學習有兩種策略，不過我還沒有看到關于命名的最終一致意見。微調(diào)（finetuning）——其中包括使用基礎數(shù)據(jù)集上的預訓練網(wǎng)絡以及在目標數(shù)據(jù)集中訓練所有層；凍結與訓練（freeze and train）——其中包括凍結除最后一層的所有層（權重不更新）并訓練最后一層。也可以凍結前面幾層，然后微調(diào)其余層，這是由于一些證據(jù)表明 CNN 的前幾層包含紋理過濾器（texture filter）和色彩斑點（color blob）。但是，我們這里的工作只分析兩種極端情況：訓練所有層，以及只訓練最后一層。

最常見的基本數(shù)據(jù)集是 ImageNet，它包含 120 萬個圖像、1000 個類別。這些類別主要被分為兩大類：動物和物體。每個類別的圖像數(shù)量大約為 1000 個。大多數(shù)深度學習庫都提供在 ImageNet 上預訓練的 CNN 模型。

在下圖中，我們可以看到上述提到的兩種遷移學習策略。我們在 ImageNet 上使用了一個預訓練的 CNN，并將 Simpsons 數(shù)據(jù)集的子集 Homer Simpson 作為目標集，用該網(wǎng)絡對其進行分類。這個子集包含 20 個類，每個類有 300-1000 個圖像。

然后，我們可以使用凍結與訓練，只訓練最后一層（如圖上方所示）；或者微調(diào)所有層（如圖下方所示）。

微調(diào) VS 凍結

我們很難知道在何種情況下應該只訓練最后一層，在何種情況下應該微調(diào)網(wǎng)絡。在「How transferable are features in deep neural networks?」(Yosinsky et. al., 2014) 中，作者解決了在 ImageNet 數(shù)據(jù)集中量化 CNN 特定層普適程度的問題。他們發(fā)現(xiàn)，由于層的相互適應，可遷移性會受到中間層分裂的負面影響。隨著任務性質(zhì)差異的增加，可遷移性的差距會逐漸增長。最終他們發(fā)現(xiàn)，通過權重遷移進行網(wǎng)絡初始化，而非從零權重開始訓練，能夠提高泛化性能。

正如 Karpathy 的深度學習教程中指出的，以下是在不同場景中對新數(shù)據(jù)集使用遷移學習的一些指導原則：

小目標集，圖像相似：當目標數(shù)據(jù)集與基礎數(shù)據(jù)集相比較小，且圖像相似時，建議采取凍結和訓練，只訓練最后一層。

大目標集，圖像相似：建議使用微調(diào)。

小目標集，圖像不同：建議采取凍結和訓練，訓練最后一層或最后幾層。

大目標集，圖像不同：建議使用微調(diào)。

在實驗中，我們使用了有限的幾個數(shù)據(jù)集，以及一個小型網(wǎng)絡 ResNet18，所以是否能將結果推廣到所有數(shù)據(jù)集和網(wǎng)絡還言之尚早。但是，這些發(fā)現(xiàn)可能會對何時使用遷移學習這一問題提供一些啟示。以下是結果的總結：

我們觀察到的第一個細節(jié)是，相比色度數(shù)據(jù)集而言，訓練灰度數(shù)據(jù)集準確率會下降。這與其他文章作者觀察一致，即基礎數(shù)據(jù)集和目標數(shù)據(jù)集之間的域差異越大，遷移效果越差。

我們同樣發(fā)現(xiàn)，對于 Simpson 和 Caltech256 數(shù)據(jù)集而言，凍結會使得準確率大大下降。這在 Simpson 數(shù)據(jù)集中可以理解，原因可能是域的區(qū)別太大了：在 ImageNet 中都是自然圖像，但在 Simpson 中大多數(shù)都是素色的。在 Caltech 數(shù)據(jù)集中，除了在凍結時產(chǎn)生的準確率下降，我們最先觀察到的是它本身只具有很低的準確率。這可能是因為，對于涵蓋很多類別的數(shù)據(jù)集，每個類別的圖像太少了，大約每個類只有幾百個而已。

貓狗（dogs vs cats）數(shù)據(jù)集的域和 ImageNet 最接近。事實上，ImageNet 中就包含著幾個品種的貓和狗。在這種情況下，微調(diào)和凍結沒有多大差別。

最后，在膜翅目昆蟲（hymenoptera）數(shù)據(jù)庫中，我們發(fā)現(xiàn)，在凍結時，色度數(shù)據(jù)集有一點小改善。這可能是因為域很靠近，且數(shù)據(jù)集比較小。在膜翅目昆蟲灰度數(shù)據(jù)庫中，凍結就沒有改善，這很可能是由于域的差異。

原文地址：https://miguelgfierro.com/blog/2017/a-gentle-introduction-to-transfer-learning-for-image-classification/

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754