摘要：雅虎開源了一個進(jìn)行色情圖像檢測的深度學(xué)習(xí)解決方案。卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)和權(quán)衡近年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像分類問題中取得了巨大成功。自年以來，新的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)一直在不斷改進(jìn)標(biāo)準(zhǔn)分類挑戰(zhàn)的精度。

雅虎開源了一個進(jìn)行色情圖像檢測的深度學(xué)習(xí)解決方案。據(jù)文章介紹，這可能是較早的識別 NSFW 圖像的開源模型。

開源地址：https://github.com/yahoo/open_nsfw

自動識別一張對工作做來說并不適合/不保險的圖像（Not Suitable/Safe For Work - NSFW）——包括暴力圖像和成人圖像——是研究者們幾十年來一直在試圖解決的重要問題。由于當(dāng)下圖像與用戶生成的內(nèi)容主宰了互聯(lián)網(wǎng)，過濾 NSFW 圖像成為網(wǎng)頁應(yīng)用和移動應(yīng)用的一個重要組成部分。

隨著計算機視覺、改進(jìn)的訓(xùn)練數(shù)據(jù)和深度學(xué)習(xí)算法的發(fā)展，計算機現(xiàn)在能夠以更高的精度來自動分類 NSFW 圖像內(nèi)容。

NSFW 素材的定義是主觀的，而識別這些圖像的任務(wù)并非沒有價值。此外，在某一語境下使人反感的東西卻可以適合于另一語境。為此，我們下文所描述的模型只側(cè)重于一種 NSFW 內(nèi)容：色情圖像。NSFW 簡筆圖、漫畫、文字、寫實暴力圖像或其他不當(dāng)內(nèi)容的識別解決方案不適用于此模型。

據(jù)我們目前所知，還沒有用以識別 NSFW 圖像的開源模型或算法。秉承合作精神并懷揣推進(jìn)這一努力的希望，我們發(fā)布了自己的深度學(xué)習(xí)模型，它能讓開發(fā)者使用一個 NSFW 檢測分類器來進(jìn)行實驗，同時向我們提供反饋以改善分類器的性能。

我們的通用 Caffe 深度神經(jīng)網(wǎng)絡(luò)模型（general purpose Caffe deep neural network model）以圖像作為輸入并輸出一個概率（即一個介于 0 和 1 之間的數(shù)字），可用于檢測和過濾 NSFW 圖像。開發(fā)者可以針對具體使用情況來用這個概率過濾掉 ROC 曲線上低于某個適當(dāng)閾值的圖像，或用在搜索結(jié)果中進(jìn)行圖像排名。

卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)和權(quán)衡

近年來，卷積神經(jīng)網(wǎng)絡(luò)已經(jīng)在圖像分類問題中取得了巨大成功。自 2012 年以來，新的卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)一直在不斷改進(jìn)標(biāo)準(zhǔn) ImageNet 分類挑戰(zhàn)的精度。一些主要突破包括了 AlexNet（2012）、GoogLeNet、VGG（2013）和殘差網(wǎng)絡(luò)（Residual Networks）（2015）。

這些網(wǎng)絡(luò)在運行時間、內(nèi)存需求和準(zhǔn)確性方面有不同的權(quán)衡。運行時間和內(nèi)存需求的主要指標(biāo)是：

Flops 或連接——一個神經(jīng)網(wǎng)絡(luò)中的連接數(shù)量決定了向前傳播過程之中的計算操作數(shù)量，這與圖像識別時的網(wǎng)絡(luò)運行時間成比例。

參數(shù)——一個神經(jīng)網(wǎng)絡(luò)中的參數(shù)數(shù)量決定了加載網(wǎng)絡(luò)所需的內(nèi)存量。

理想情況下，我們希望一個網(wǎng)絡(luò)擁有最少的 flops 和最少的參數(shù)，而達(dá)到較大精度。

訓(xùn)練用于 NSFW 識別的深度網(wǎng)絡(luò)

我們使用一個包含正（即 NSFW）圖像和負(fù)（即 SFW-suitable/safe for work）圖像的數(shù)據(jù)集來訓(xùn)練模型。

由于數(shù)據(jù)屬性的問題，我們沒有發(fā)布訓(xùn)練圖像或其他細(xì)節(jié)，但我們開源了可用于開發(fā)者獨立進(jìn)行分類的輸出模型。

我們使用 Caffe 深度學(xué)習(xí)庫（Caffe deep learning library）和 CaffeOnSpark；后者是一個用于分布式學(xué)習(xí)的強大開源框架，令你可以在 Hadoop 和 Spark 模型訓(xùn)練集群中使用 Caffe 深度學(xué)習(xí)。

在訓(xùn)練過程中，圖像被重新調(diào)整到 256x256 像素，水平翻轉(zhuǎn)進(jìn)行數(shù)據(jù)增強，并被隨機裁剪為 224x224 像素，然后送入網(wǎng)絡(luò)。在訓(xùn)練殘差網(wǎng)絡(luò)時，我們使用了 ResNet 論文中所描述的規(guī)模增大（scale augmentation）來避免過度擬合。我們評估各種架構(gòu)來找到運行時間和精度之間的權(quán)衡。

MS_CTC——這種架構(gòu)是由微軟限制時間成本的那篇論文提出。它在卷積層和全連接層相結(jié)合的速度和精度方面秒殺了 AlexNet。

Squeezenet——這種架構(gòu)提出了 fire 模塊——包含層擠壓，然后擴(kuò)大輸入數(shù)據(jù)團(tuán)。這有助于節(jié)省參數(shù)數(shù)量，使 Imagenet 的精度與 AlexNet 的一樣好，盡管內(nèi)存需求僅為 6MB。

VGG——這種架構(gòu)有 13 層卷積層和 3 層 FC 層。

GoogLeNet——GoogLeNet 提出了 Inception 模塊并擁有 20 個卷積層階段。它還在中間層中使用 hanging loss functions 來解決深度網(wǎng)絡(luò)中的梯度遞減問題。

ResNet——ResNet 使用快捷連接來解決梯度遞減問題。我們使用了作者所發(fā)布的 50 層的殘差網(wǎng)絡(luò)。

ResNet-thin——該模型是使用我們的 pynetbuilder 工具生成，并復(fù)制了殘差網(wǎng)絡(luò)論文中的 50 層網(wǎng)絡(luò)（每層過濾器的半數(shù)）。你可以在這里（https://github.com/jay-mahadeokar/pynetbuilder/tree/master/models/imagenet）找到更多有關(guān)如何生成和訓(xùn)練模型的細(xì)節(jié)。

不同架構(gòu)之間的權(quán)衡：精度 vs（網(wǎng)絡(luò)中的）flops 數(shù)量 vs（網(wǎng)絡(luò)中的）參數(shù)數(shù)量。

深度模型首次在 ImageNet 1000 類數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練。我們將每個網(wǎng)絡(luò)的最后一層（FC1000）更換為 2 節(jié)點的全連接層。然后我們精調(diào) NSFW 數(shù)據(jù)集中的權(quán)重。注意我們讓與最后的 FC 層相乘的學(xué)習(xí)率是精調(diào)后的其他層的 5 倍。我們還調(diào)整了超參數(shù)（hyper parameters）（步長、基本學(xué)習(xí)率）以優(yōu)化性能。

我們觀察到，NSFW 分類任務(wù)的模型性能與 ImageNet 分類任務(wù)中的預(yù)訓(xùn)練模型性能有關(guān)，所以如果我們有一個更好的預(yù)訓(xùn)練模型，它將有助于精調(diào)分類任務(wù)。下面的圖表顯示了我們所提出的 NSFW 評估集合的相對性能。請注意，圖中的假正率（FPR）和一個固定的假負(fù)率（FNR）所針對的是我們的評估數(shù)據(jù)，在這里作說明用。要用該模型進(jìn)行 NSFW 過濾的話，我們建議你們使用自己的數(shù)據(jù)來繪制 ROC 曲線并挑選一個合適的閾值。

在 Imagenet 上的模型與在 NSFW 數(shù)據(jù)集上精調(diào)的模型的性能比較

我們發(fā)布了 thin ResNet 50 模型，因為它在準(zhǔn)確度方面做了很好的折中，并且該模型在運行時間（CPU 上運行時間 < 0.5 秒）和內(nèi)存（~ 23 MB）方面體量輕巧。請參閱我們的 Git 庫來查看我們的模型指令和用法。我們鼓勵開發(fā)者嘗試將此模型用于 NSFW 過濾的情況。如有任何關(guān)于模型性能的問題或反饋，我們都會支持并盡快回復(fù)。

結(jié)果可以通過在你的數(shù)據(jù)集上精調(diào)模型來改進(jìn)。如果你改善了性能或者訓(xùn)練了一個使用不同架構(gòu)的 NSFW 模型，我們都鼓勵那么為模型貢獻(xiàn)出力或?qū)㈡溄臃窒淼轿覀兊拿枋鲰撁妗?/p>歡迎加入本站公開興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754