摘要：在本次競(jìng)賽中，南京信息工程大學(xué)和帝國(guó)理工學(xué)院的團(tuán)隊(duì)獲得了目標(biāo)檢測(cè)的最優(yōu)成績(jī)，最優(yōu)檢測(cè)目標(biāo)數(shù)量為平均較精確率為。最后在視頻目標(biāo)檢測(cè)任務(wù)中，帝國(guó)理工大學(xué)和悉尼大學(xué)所組成的團(tuán)隊(duì)取得了較佳表現(xiàn)。

在本次 ImageNet 競(jìng)賽中，南京信息工程大學(xué)和帝國(guó)理工學(xué)院的團(tuán)隊(duì) BDAT 獲得了目標(biāo)檢測(cè)的最優(yōu)成績(jī)，最優(yōu)檢測(cè)目標(biāo)數(shù)量為 85、平均較精確率為 0.732227。而在目標(biāo)定位任務(wù)中Momenta和牛津大學(xué)的 WMV 團(tuán)隊(duì)和 NUS-Qihoo_DPNs (CLS-LOC) 團(tuán)隊(duì)分別在提供的數(shù)據(jù)內(nèi)和加上額外數(shù)據(jù)上取得了最優(yōu)成績(jī)。最后在視頻目標(biāo)檢測(cè)任務(wù)中，帝國(guó)理工大學(xué)和悉尼大學(xué)所組成的 IC&USYD 團(tuán)隊(duì)取得了較佳表現(xiàn)。

ImageNet 2017 簡(jiǎn)介：

這次挑戰(zhàn)賽評(píng)估了從大規(guī)模的圖像/影像中進(jìn)行物體定位/檢測(cè)的算法。最成功和富有創(chuàng)新性的隊(duì)伍會(huì)被邀請(qǐng)至 CVPR 2017 workshop 進(jìn)行展示。

1. 對(duì) 1000 種類(lèi)別進(jìn)行物體定位

2. 對(duì) 200 種全標(biāo)注類(lèi)別進(jìn)行物體檢測(cè)

3. 對(duì) 30 種全標(biāo)注類(lèi)別的視頻進(jìn)行物體檢測(cè)

此次大賽是最后一屆 ImageNet 挑戰(zhàn)賽，并且聚焦于還未解決的問(wèn)題和未來(lái)的方向。此次大賽的重點(diǎn)是： 1）呈現(xiàn)挑戰(zhàn)賽的結(jié)果，包含新的測(cè)試器挑戰(zhàn)賽（tester challenges），2）通過(guò)圖像和視頻中的物體檢測(cè)，還有分類(lèi)（classification）競(jìng)賽，回顧識(shí)別領(lǐng)域的尖端科技，3）這些方法是如何與工業(yè)界采用的計(jì)算機(jī)視覺(jué)領(lǐng)域的較高端技術(shù)相關(guān)聯(lián)的——這也是本次挑戰(zhàn)賽的初衷之一。4）邀請(qǐng)者對(duì)將來(lái)仍然存在的挑戰(zhàn)提出了自己的看法，不論是從認(rèn)知視覺(jué)，到機(jī)器視覺(jué)，還是一些其他方面。

目標(biāo)檢測(cè)（Object detection）

如下所示，目標(biāo)檢測(cè)任務(wù)取得較好成績(jī)的是由南京信息工程大學(xué)和帝國(guó)理工學(xué)院組成的 BDAT，該隊(duì)成員 Hui Shuai、Zhenbo Yu、Qingshan Liu、 Xiaotong Yuan、Kaihua Zhang、Yisheng Zhu、Guangcan Liu 和 Jing Yang 來(lái)自于南京信息工程大學(xué)，Yuxiang Zhou 和 Jiankang Deng 來(lái)自于帝國(guó)理工學(xué)院（IC）。

該團(tuán)隊(duì)表示他們?cè)?LOC 任務(wù)中使用了適應(yīng)性注意力機(jī)制 [1] 和深度聯(lián)合卷積模型 [2,3]。Scale[4,5,6]、context[7]、采樣和深度聯(lián)合卷積網(wǎng)絡(luò)在 DET 任務(wù)中得到了有效的使用。同時(shí)他們的得分排名也使用了物體概率估計(jì)。

[1] Residual Attention Network for Image Classification[J]. arXiv:1704.06904, 2017.?

[2] Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.?

[3] Inception-v4, Inception-ResNet and the Impact of Residual Connections on Learning[C]//AAAI. 2017: 4278-4284.?

[4] U-net: Convolutional networks for biomedical image segmentation[J]. arXiv:1505.04597, 2015.?

[5] Feature pyramid networks for object detection[J]. arXiv:1612.03144, 2016.?

[6] Beyond skip connections: Top-down modulation for object detection[J]. arXiv:1612.06851, 2016.?

[7] Crafting GBD-Net for Object Detection[J]. arXiv:1610.02579, 2016.

任務(wù) 1a：使用提供的訓(xùn)練數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)

根據(jù)檢測(cè)出的目標(biāo)數(shù)量排序

根據(jù)平均準(zhǔn)確率排序

而在目標(biāo)檢測(cè)任務(wù)中新加坡國(guó)立大學(xué)（NUS）和奇虎 360 組成的 NUS-Qihoo_DPNs (DET) 也獲得了不錯(cuò)的成績(jī)。

他們?cè)诨?Faster R-CNN 的目標(biāo)檢測(cè)任務(wù)中，采用了一個(gè)包含全新雙路徑拓?fù)涞碾p路徑網(wǎng)絡(luò)（DPN／Dual Path Network）。DPN 中的特征共享機(jī)制和探索新特征的靈活性被證明在目標(biāo)檢測(cè)中有效。特別地，研究人員采用了若干個(gè) DPN 模型——即 DPN-92、DPN-107、DPN-131 等——作為 Faster R-CNN 框架中的中繼特征學(xué)習(xí)器（trunk feature learner）和頭分類(lèi)器（head classifier）。他們只使用最多 131 層的網(wǎng)絡(luò)，因?yàn)樵诖蠖鄶?shù)常用的 GPU 內(nèi)，它易于訓(xùn)練和適應(yīng)，且性能良好。對(duì)于區(qū)域提案生成，利用低級(jí)細(xì)粒度特征取得了有效的 proposals 召回。進(jìn)而，通過(guò)在分割成檢測(cè)框架中采用擴(kuò)展卷積，他們合并了有益的語(yǔ)境信息。在測(cè)試期間，他們?cè)O(shè)計(jì)了一個(gè)類(lèi)別加權(quán)策略，以探索不同類(lèi)別的專家模型，并根據(jù)多任務(wù)推斷把權(quán)重用到不同的專家。除此之外，他們?cè)趫D像分類(lèi)任務(wù)中采用了預(yù)訓(xùn)練的模型以提取整體語(yǔ)境信息，這可在整體輸入圖像中為探測(cè)結(jié)果的推理提供有益的線索。

任務(wù) 1b：使用額外的訓(xùn)練數(shù)據(jù)進(jìn)行目標(biāo)檢測(cè)

根據(jù)檢測(cè)出的目標(biāo)數(shù)量排序

根據(jù)平均準(zhǔn)確率排序

目標(biāo)定位（Object localization）

在給定訓(xùn)練數(shù)據(jù)進(jìn)行分類(lèi)和定位的任務(wù)中，WMW 取得了優(yōu)異的成績(jī)，分類(lèi)誤差率是較低的。

他們?cè)O(shè)計(jì)了一個(gè)新型結(jié)構(gòu)的構(gòu)造模塊，叫做「擠壓與激勵(lì)」（「Squeeze-and-Excitation——SE」）。每一個(gè)基礎(chǔ)構(gòu)造模塊通過(guò)「擠壓」操作在全局接收域中嵌入信息，并且通過(guò)「激勵(lì)」操作選擇性地引起增強(qiáng)型響應(yīng)（response enhancement）。SE 模型是該團(tuán)隊(duì)參賽作品的基礎(chǔ)。他們研發(fā)了多個(gè)版本的 SENet，比如 SE-ResNet，SE-ResNeXt 和 SE-Inception-ResNet，在增加少量運(yùn)算和 GPU 內(nèi)存的基礎(chǔ)上，這明顯超過(guò)了它們的非 SE 對(duì)應(yīng)部分。該團(tuán)隊(duì)在驗(yàn)證數(shù)據(jù)集中達(dá)到了 2.3% 的 top-5 誤差率。

任務(wù) 2a：使用提供的訓(xùn)練數(shù)據(jù)進(jìn)行分類(lèi)+定位

根據(jù)定位錯(cuò)誤率排序

根據(jù)分類(lèi)錯(cuò)誤率排名

在使用附加訓(xùn)練數(shù)據(jù)進(jìn)行分類(lèi)和定位的任務(wù)中，NUS-Qihoo_DPNs (CLS-LOC) 的定位誤差率和分類(lèi)誤差率如下所示都取得很好的成績(jī)。據(jù)該團(tuán)隊(duì)介紹，他們構(gòu)建了一個(gè)簡(jiǎn)單、高效、模塊化的雙路徑網(wǎng)絡(luò)，引入了全新雙路徑拓?fù)洹＿@一 DPN 模型包含一個(gè)殘差路徑和一個(gè)稠密連接路徑，二者能夠在保持學(xué)習(xí)探索新特征的靈活性的同時(shí)共享共同特征。DPN 是該團(tuán)隊(duì)完成全部任務(wù)使用的主要網(wǎng)絡(luò)。在 CLS-LOC 任務(wù)中，他們采用 DPN 來(lái)預(yù)測(cè) Top-5 目標(biāo)，然后使用基于 DPN 的 Faster RCNN 分配對(duì)應(yīng)的定位邊界框。

任務(wù) 2b：使用額外的訓(xùn)練數(shù)據(jù)進(jìn)行分類(lèi)+定位

根據(jù)定位錯(cuò)誤率排名

根據(jù)分類(lèi)錯(cuò)誤率排名

視頻目標(biāo)檢測(cè)（Object detection from video）

如下所示，在視頻目標(biāo)檢測(cè)任務(wù)中，帝國(guó)理工大學(xué)和悉尼大學(xué)所組成的 IC&USYD 團(tuán)隊(duì)在各個(gè)子任務(wù)和排序上都取得了最優(yōu)的成績(jī)。該團(tuán)隊(duì)是視頻目標(biāo)檢測(cè)任務(wù)中使用了流加速（Flow acceleration）[1, 2]。并且最終的分值也是適應(yīng)性地在檢測(cè)器（detector）和追蹤器（tracker）選擇。

任務(wù) 3a：使用提供的訓(xùn)練數(shù)據(jù)進(jìn)行視頻目標(biāo)檢測(cè)

根據(jù)檢測(cè)出的目標(biāo)數(shù)量排序

根據(jù)平均準(zhǔn)確率排序

同時(shí) NUS-Qihoo-UIUC_DPNs (VID) 在視頻任務(wù)中同樣有非凡的表現(xiàn)。他們?cè)谝曨l目標(biāo)檢測(cè)任務(wù)上的模型主要是基于 Faster R-CNN 并使用雙路徑網(wǎng)絡(luò)作為支柱。具體地他們采用了三種 DPN 模型（即 DPN-96、DPN-107 和 DPN-131）和 Faster R-CNN 框架下的頂部分類(lèi)器作為特征學(xué)習(xí)器。他們團(tuán)隊(duì)單個(gè)模型在驗(yàn)證集較好能實(shí)現(xiàn) 79.3%（mAP）。此外他們還提出了選擇性平均池化（selected-average-pooling）策略來(lái)推斷視頻情景信息，該策略能精煉檢測(cè)結(jié)果。

任務(wù) 3b：使用額外的訓(xùn)練數(shù)據(jù)進(jìn)行視頻目標(biāo)檢測(cè)

根據(jù)檢測(cè)出的物體數(shù)量排序

根據(jù)平均準(zhǔn)確率排序

任務(wù) 3c：使用提供的訓(xùn)練數(shù)據(jù)進(jìn)行視頻目標(biāo)檢測(cè)/跟蹤

任務(wù) 3d：使用額外的訓(xùn)練數(shù)據(jù)進(jìn)行視頻目標(biāo)檢測(cè)/跟蹤

本次 ImageNet 競(jìng)賽是最后一次，但同時(shí) WebVision 近日也發(fā)布了其視覺(jué)競(jìng)賽的結(jié)果。相對(duì)于人工標(biāo)注的 ImageNet 數(shù)據(jù)集，WebVision 中的數(shù)據(jù)擁有更多的噪聲，并且它們更多的是從網(wǎng)絡(luò)中獲取，因此成本要比 ImageNet 低廉地多。正如近日谷歌發(fā)表的論文「Revisiting Unreasonable Effectiveness of Data in Deep Learning Era」，他們表示隨著計(jì)算力的提升和模型性能的大大增強(qiáng)，我們很有必要構(gòu)建一個(gè)更大和不那么標(biāo)準(zhǔn)的數(shù)據(jù)集。在該篇論文中，谷歌發(fā)現(xiàn)巨型非標(biāo)準(zhǔn)數(shù)據(jù)集（帶噪聲）同樣能令模型的精度達(dá)到目前較好的水平，那么 ImageNet 下一步是否會(huì)被 JFT-300M 這樣的數(shù)據(jù)集替換？因此我們很有必要關(guān)注能在噪聲數(shù)據(jù)下學(xué)習(xí)到很好模型的競(jìng)賽——WebVision。

近日，WebVision 也發(fā)布了其視覺(jué)競(jìng)賽的結(jié)果，Malong AI Research 獲得了圖像分類(lèi)任務(wù)的最優(yōu)成績(jī)。

WebVision 2017 挑戰(zhàn)賽結(jié)果

WebVision 圖像分類(lèi)任務(wù)

Pascal VOC 遷移學(xué)習(xí)任務(wù)

獲勝團(tuán)隊(duì) Malong AI Research：

我們使用半監(jiān)督學(xué)習(xí)方法解決如何利用有噪聲的不均衡數(shù)據(jù)訓(xùn)練大規(guī)模深度神經(jīng)網(wǎng)絡(luò)的問(wèn)題。我們首先使用聚類(lèi)算法將訓(xùn)練數(shù)據(jù)分成兩部分：干凈數(shù)據(jù)和噪聲數(shù)據(jù)，然后使用干凈數(shù)據(jù)訓(xùn)練一個(gè)深度網(wǎng)絡(luò)模型。之后，我們使用所有數(shù)據(jù)（包括干凈數(shù)據(jù)和噪聲數(shù)據(jù)）來(lái)訓(xùn)練第一個(gè)模型（干凈數(shù)據(jù)訓(xùn)練出的模型）上的網(wǎng)絡(luò)。值得注意的是，我們?cè)谠摼W(wǎng)絡(luò)的原始卷積層上使用了兩個(gè)不同大小的卷積核（5,9）。至于訓(xùn)練，我們?cè)诟蓛魯?shù)據(jù)上進(jìn)行數(shù)據(jù)平衡，并設(shè)計(jì)了一個(gè)新的自適應(yīng) lr 下降系統(tǒng)，該系統(tǒng)根據(jù)噪聲的類(lèi)型（干凈數(shù)據(jù)和噪聲數(shù)據(jù)）略有不同。

WEBVISION 數(shù)據(jù)集

WebVision 數(shù)據(jù)集的設(shè)計(jì)是用來(lái)促進(jìn)從嘈雜互聯(lián)網(wǎng)數(shù)據(jù)中學(xué)習(xí)視覺(jué)表征的相關(guān)研究的。我們的目的是使深度學(xué)習(xí)方法從巨大的人工勞力（標(biāo)注大規(guī)模視覺(jué)數(shù)據(jù)集）中解脫出來(lái)。我們把這個(gè)大規(guī)模網(wǎng)絡(luò)圖像數(shù)據(jù)集作為基準(zhǔn)來(lái)發(fā)布，以推進(jìn)在網(wǎng)絡(luò)數(shù)據(jù)中進(jìn)行學(xué)習(xí)的相關(guān)研究，包括弱監(jiān)督視覺(jué)表征學(xué)習(xí)（weakly supervised visual representation learning），視覺(jué)遷移學(xué)習(xí)（visual transfer learning），文本與視覺(jué)（text and vision）等等（詳見(jiàn) WebVision 數(shù)據(jù)集的推薦環(huán)境配置）。

WebVision 數(shù)據(jù)集包含超過(guò) 24 萬(wàn)張的圖像，它們是從 Flickr 網(wǎng)站和谷歌圖像搜索引擎中爬取出來(lái)的。與 ILSVRC 2012 數(shù)據(jù)集相同的 1000 張圖像用于查詢（query），因此可以對(duì)一些現(xiàn)有方法直接進(jìn)行研究，而且可以與在 ILSVRC 2012 數(shù)據(jù)集中進(jìn)行訓(xùn)練的模型進(jìn)行比較，還可以使在大規(guī)模場(chǎng)景中研究數(shù)據(jù)集偏差（dataset bias）的問(wèn)題成為可能。伴隨那些圖片的文本信息（例如字注、用戶標(biāo)簽或描述）也作為附加的元數(shù)據(jù)信息（meta information）來(lái)提供。提供一個(gè)包括 50,000 張圖像（每一類(lèi)別 50 張）的驗(yàn)證數(shù)據(jù)集以推進(jìn)算法級(jí)研發(fā)。一個(gè)簡(jiǎn)單基準(zhǔn)的初級(jí)結(jié)果展示了 WebVision 在一些視覺(jué)任務(wù)中是能夠?qū)W習(xí)魯棒性表征的，其性能表現(xiàn)與在人工標(biāo)注的 ILSVRC 2012 數(shù)據(jù)集中學(xué)習(xí)的模型相類(lèi)似。

數(shù)據(jù)集詳情

數(shù)據(jù)統(tǒng)計(jì)

在我們的數(shù)據(jù)集中，每一類(lèi)別的圖像數(shù)量如圖 1 所示，從幾百到超過(guò) 10,000。每一類(lèi)別中的圖像數(shù)量依賴于：1）每一類(lèi)別中的同義詞集合生成的查詢指令（query）的數(shù)量，2）Flickr 和谷歌的圖像的有效性。

圖 1：WebVision 數(shù)據(jù)集中每一類(lèi)別的圖像數(shù)量

簡(jiǎn)易基準(zhǔn)評(píng)估

我們使用一個(gè)簡(jiǎn)單的基準(zhǔn)對(duì)用于學(xué)習(xí)視覺(jué)表征的網(wǎng)絡(luò)數(shù)據(jù)容量進(jìn)行了調(diào)查研究。我們把來(lái)自 Flickr 和 Google 的已查詢圖像作為我們的訓(xùn)練數(shù)據(jù)集，并且從零開(kāi)始在這一訓(xùn)練集上對(duì) AlexNet 模型進(jìn)行訓(xùn)練。然后我們?cè)?Caltech-256 數(shù)據(jù)集和 PASCAL VOC 2007 數(shù)據(jù)集的圖像分類(lèi)任務(wù)中對(duì)學(xué)習(xí)后的 AlexNet 模型進(jìn)行了評(píng)估，并且也在 PASCAL VOC 2007 數(shù)據(jù)集的物體識(shí)別相關(guān)任務(wù)中做了檢測(cè)。

圖像分類(lèi)

我們使用一個(gè)簡(jiǎn)單的基準(zhǔn)調(diào)查研究了用于學(xué)習(xí)深度網(wǎng)絡(luò)的網(wǎng)絡(luò)數(shù)據(jù)容量。我們分別在 WebVision 訓(xùn)練集和 ILSVRC 2012 數(shù)據(jù)集上從頭訓(xùn)練 AlexNet 模型，然后在 WebVision 驗(yàn)證集和 ILSVRC 2012 驗(yàn)證集上對(duì)這兩個(gè)模型進(jìn)行評(píng)估。需要注意的是，在 WebVision 數(shù)據(jù)集上訓(xùn)練模型時(shí)未使用人工標(biāo)注數(shù)據(jù)。這里我們對(duì) top-5（top-1）的準(zhǔn)確率進(jìn)行了報(bào)道。

結(jié)果如下：（1）使用 WebVision 數(shù)據(jù)集訓(xùn)練的 CNN 模型性能優(yōu)于使用人工標(biāo)注的 ILSVRC 2012 數(shù)據(jù)集訓(xùn)練的模型；（2）存在數(shù)據(jù)偏差，即在 WebVision 驗(yàn)證集上對(duì)這兩個(gè)模型進(jìn)行評(píng)估時(shí)，在 WebVision 上訓(xùn)練的模型優(yōu)于在 ILSVRC 2012 上訓(xùn)練的模型，反之亦然。這對(duì)領(lǐng)域適應(yīng)研究者可能是一個(gè)有意思的話題。

挑戰(zhàn)賽結(jié)果地址：http://image-net.org/challenges/LSVRC/2017/results

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754