摘要：表示類別為，坐標(biāo)是的預(yù)測(cè)熱點(diǎn)圖，表示相應(yīng)位置的，論文提出變體表示檢測(cè)目標(biāo)的損失函數(shù)由于下采樣，模型生成的熱點(diǎn)圖相比輸入圖像分辨率低。模型訓(xùn)練損失函數(shù)使同一目標(biāo)的頂點(diǎn)進(jìn)行分組，損失函數(shù)用于分離不同目標(biāo)的頂點(diǎn)。

好久沒(méi)有將較好的“干貨”分享給大家，那今天我給大家?guī)?lái)ECCV-2018年最優(yōu)paper之一，也是目標(biāo)檢測(cè)里的佼佼者，值得我們?nèi)ド钔?，去學(xué)習(xí)！

目標(biāo)檢測(cè)算法概述

CornerNet可以說(shuō)是今年ECCV一大亮點(diǎn)，其主要是由密歇根大學(xué)Hei Law等人創(chuàng)作，并在ECCV2018上發(fā)表，主要實(shí)現(xiàn)了更加精準(zhǔn)的目標(biāo)檢測(cè)算法。但是，今天在開(kāi)始介紹接下來(lái)主角“CornerNet”之前，我?guī)Т蠹蚁群?jiǎn)單回憶下object detection領(lǐng)域的主流算法，如果有興趣的您，可以瀏覽如下的文章：

超級(jí)干貨 | 從神經(jīng)元到CNN、RNN、GAN…神經(jīng)網(wǎng)絡(luò)看本文夠了

深度學(xué)習(xí)近期總結(jié)分析

接下來(lái)主要回顧之前流行算法的原因，是因?yàn)镃ornerNet的主要算法和現(xiàn)在的主流算法框架很很多不一樣。

在深度學(xué)習(xí)領(lǐng)域的目標(biāo)檢測(cè)算法中，現(xiàn)在主要分為One-stage(如：SSD, YOLO，YOLO后期還出了更多的較精確度和速度極高的版本)和Two-stage(如經(jīng)典的RCNN系列)兩種。

One-stage是直接在輸入的圖片上經(jīng)過(guò)各種卷積池化類的計(jì)算，從其意思也可以理解，就是一個(gè)階段，一般為end-to-end框架，經(jīng)過(guò)復(fù)雜的計(jì)算后，最終生成detections。但是，Two-stage則與其與眾不同，其主要是先去提取候選區(qū)域, 再基于提取的候選區(qū)域進(jìn)行第二次修正。

通過(guò)實(shí)驗(yàn)和框架的計(jì)算復(fù)雜度明顯可以看得出，One-stage的網(wǎng)絡(luò)框架速度快, 但是最終的檢測(cè)精度會(huì)較低點(diǎn)，而Two-stage精度高, 但由于框架復(fù)雜度提高，檢測(cè)速度會(huì)隨之變慢，最終的選擇取決使用的實(shí)際應(yīng)用。

自從AlexNet在ImageNet大賽上取得第一的成績(jī)，而且遠(yuǎn)遠(yuǎn)超越第二名，因此深度學(xué)習(xí)有一次出名，掀起了深度學(xué)習(xí)新的一次浪潮。之后，Ross Girshick又將卷積神經(jīng)網(wǎng)絡(luò)（CNN）取代了傳統(tǒng)的HOG、HOF和DPM等特征提取方法。

具體的一些之前流行算法，您可以點(diǎn)擊如下鏈接進(jìn)行閱讀。

深度學(xué)習(xí)近期總結(jié)分析

圖 1 Faster RCNN算法框架

Motivation

CornerNet認(rèn)為Two-stage目標(biāo)檢測(cè)最明顯的缺點(diǎn)是區(qū)域候選階段需要提取的anchor boxes。

提取的anchor boxes數(shù)量較多，比如DSSD使用40k，RetinaNet使用100k，anchor boxes眾多造成anchor boxes征服樣本均衡；

Anchor boxes需要調(diào)整很多超參數(shù)，比如anchor boxes數(shù)量、尺寸、比率，影響模型的訓(xùn)練和推斷速率。

本次提出的One-stage的檢測(cè)方法，舍棄傳統(tǒng)的 anchor boxes思路，提出CornerNet模型預(yù)測(cè)目標(biāo)邊界框的左上角和右下角一對(duì)頂點(diǎn)，即，使用單一卷積模型生成熱點(diǎn)圖和連接矢量：所有目標(biāo)的左上角和所有目標(biāo)的右下角熱點(diǎn)圖，每個(gè)頂點(diǎn)的連接矢量(embedding vector)。

圖 2 CornerNet框架

主要思路其實(shí)來(lái)源于一篇多人姿態(tài)估計(jì)的論文。

基于CNN的2D多人姿態(tài)估計(jì)方法，通常有2個(gè)思路（Bottom-Up Approaches和Top-Down Approaches）：

Top-Down framework：就是先進(jìn)行行人檢測(cè)，得到邊界框，然后在每一個(gè)邊界框中檢測(cè)人體關(guān)鍵點(diǎn)，連接成每個(gè)人的姿態(tài)，缺點(diǎn)是受人體檢測(cè)框影響較大，代表算法有RMPE；

Bottom-Up framework：就是先對(duì)整個(gè)圖片進(jìn)行每個(gè)人體關(guān)鍵點(diǎn)部件的檢測(cè)，再將檢測(cè)到的人體部位拼接成每個(gè)人的姿態(tài)，代表方法就是openpose。

本次的第一個(gè)創(chuàng)新是講目標(biāo)檢測(cè)上升到方法論，基于多人姿態(tài)估計(jì)的Bottom-Up思想，首先同時(shí)預(yù)測(cè)定位框的頂點(diǎn)對(duì)（左上角和右下角）熱點(diǎn)圖和embedding vector，根據(jù)embedding vector對(duì)頂點(diǎn)進(jìn)行分組。

第二個(gè)創(chuàng)新是提出了corner pooling用于定位頂點(diǎn)。自然界的大部分目標(biāo)是沒(méi)有邊界框也不會(huì)有矩形的頂點(diǎn)，依top-left corner pooling 為例，對(duì)每個(gè)channel，分別提取特征圖的水平和垂直方向的較大值，然后求和。

圖 3 corner pooling計(jì)算方式

本次paper認(rèn)為corner pooling之所以有效，是因?yàn)椋?/p>

目標(biāo)定位框的中心難以確定，和邊界框的4條邊相關(guān)，但是每個(gè)頂點(diǎn)只與邊界框的兩條邊相關(guān)，所以corner 更容易提?。?/p>

頂點(diǎn)更有效提供離散的邊界空間，實(shí)用O(wh)頂點(diǎn)可以表示O(w2h2) anchor boxes。

Paper的第三個(gè)創(chuàng)新是模型基于hourglass架構(gòu)，使用focal loss的變體訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

論文提出的CornerNet在MS COCO測(cè)試驗(yàn)證，達(dá)到42.1% AP，完勝所有的One-stage目標(biāo)檢測(cè)方法，基于PyTorch源碼請(qǐng)?jiān)诠娞?hào)回復(fù)CornerNet。

Architecture

Overview

圖 4 CornerNet模型架構(gòu)

如圖 4所示，CornerNet模型架構(gòu)包含三部分，Hourglass Network,Bottom-right corners&Top-left Corners Heatmaps和Prediction Module。

Hourglass Network是人體姿態(tài)估計(jì)的典型架構(gòu)，論文堆疊兩個(gè)Hourglass Network生成Top-left和Bottom-right corners，每一個(gè)corners都包括corners Pooling，以及對(duì)應(yīng)的Heatmaps, Embeddings vector和offsets。embedding vector使相同目標(biāo)的兩個(gè)頂點(diǎn)（左上角和右下角）距離最短， offsets用于調(diào)整生成更加緊密的邊界定位框。

Detecting Corners

Paper模型生成的heatmaps包含C channels（C是目標(biāo)的類別，沒(méi)有background channel），每個(gè)channel是二進(jìn)制掩膜，表示相應(yīng)類別的頂點(diǎn)位置。

對(duì)于每個(gè)頂點(diǎn)，只有一個(gè)ground-truth，其他位置都是負(fù)樣本。在訓(xùn)練過(guò)程，模型減少負(fù)樣本，在每個(gè)ground-truth頂點(diǎn)設(shè)定半徑r區(qū)域內(nèi)都是正樣本，這是因?yàn)槁湓诎霃絩區(qū)域內(nèi)的頂點(diǎn)依然可以生成有效的邊界定位框，論文中設(shè)置IoU=0.7。

pcij表示類別為c，坐標(biāo)是（i,j）的預(yù)測(cè)熱點(diǎn)圖，ycij表示相應(yīng)位置的ground-truth，論文提出變體Focal loss表示檢測(cè)目標(biāo)的損失函數(shù)：

由于下采樣，模型生成的熱點(diǎn)圖相比輸入圖像分辨率低。論文提出偏移的損失函數(shù)，用于微調(diào)corner和ground-truth偏移。

Grouping Corners

輸入圖像會(huì)有多個(gè)目標(biāo)，相應(yīng)生成多個(gè)目標(biāo)的左上角和右下角頂點(diǎn)。對(duì)頂點(diǎn)進(jìn)行分組，論文引入Associative Embedding的思想，模型在訓(xùn)練階段為每個(gè)corner預(yù)測(cè)相應(yīng)的embedding vector，通過(guò)embedding vector使同一目標(biāo)的頂點(diǎn)對(duì)距離最短，既模型可以通過(guò)embedding vector為每個(gè)頂點(diǎn)分組。

模型訓(xùn)練Lpull損失函數(shù)使同一目標(biāo)的頂點(diǎn)進(jìn)行分組， Lpush損失函數(shù)用于分離不同目標(biāo)的頂點(diǎn)。

Hourglass Network

Hourglass Network同時(shí)包含了bottom-up（from high resolutions to low resolutions)和top-down (from low resolutions to high resolutions)。而且，整個(gè)網(wǎng)絡(luò)有多個(gè)bottom-up和top-down過(guò)程。這樣設(shè)計(jì)的目的是在各個(gè)尺度下抓取信息。針對(duì)目標(biāo)檢測(cè)任務(wù)，論文調(diào)整了Hourglass一些策略。

Experiments

論文的訓(xùn)練損失函數(shù)包含了第三部分介紹的4個(gè)損失函數(shù)，α, β 和γ用于調(diào)整相應(yīng)損失函數(shù)的權(quán)重：

模型訓(xùn)練過(guò)程中使用10個(gè)Titan X (PASCAL) GPUs，詳細(xì)的訓(xùn)練參數(shù)可參考原論文。模型的推斷時(shí)間是244ms/ image (Titan XPASCAL GPU)。

CornerNet相比其它one-stage目標(biāo)檢測(cè)算法，MS COCO數(shù)據(jù)集測(cè)試AP有明顯提高，雖然性能接近于Two-stage檢測(cè)算法，但是推斷時(shí)間無(wú)明顯優(yōu)勢(shì)。

Table 4MS COCO test-dev數(shù)據(jù)集性能對(duì)比

Discussion

個(gè)人觀點(diǎn)：CornerNet創(chuàng)新來(lái)自于多人姿態(tài)估計(jì)的Bottom-Up思路，預(yù)測(cè)corner的heatmps,根據(jù)Embeddings vector對(duì)corner進(jìn)行分組，其主干網(wǎng)絡(luò)也來(lái)自于姿態(tài)估計(jì)的Hourglass Network。模型的源碼請(qǐng)?jiān)诠娞?hào)回復(fù)：CornerNet獲取，可以放心研究測(cè)試。

CV的很多任務(wù)之間是相通的，CVPR2018 best paper也印證這一觀點(diǎn)，在不同的子領(lǐng)域?qū)ふ蚁嗨菩?，遷移不同領(lǐng)域的算法，是CV行業(yè)一個(gè)趨勢(shì)。

多人姿態(tài)估計(jì)的Hourglass Network算法也不斷改進(jìn)中，其實(shí)論文模型的推斷速率受限于Hourglass Network的特征提取，有志青年也可以沿著這個(gè)思路取得更好的性能。

Newell, A., Huang, Z., Deng, J.: Associative embedding: End-to-end learning for joint detection and grouping. In: Advances in Neural Information Processing Systems. pp. 2274{2284 (2017)

Hei Law, Jia Deng :CornerNet: Detecting Objects as Paired Keypoints.ECCV2018

Girshick, R.: Fast r-cnn. arXiv preprint arXiv:1504.08083 (2015)

Girshick, R., Donahue, J., Darrell, T., Malik, J.: Rich feature hierarchies for accurate object detection and semantic segmentation. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 580{587 (2014)

Lin, T.Y., Goyal, P., Girshick, R., He, K., Doll′ar, P.: Focal loss for dense object detection. arXiv preprint arXiv:1708.02002 (2017)

Liu, W., Anguelov, D., Erhan, D., Szegedy, C., Reed, S., Fu, C.Y., Berg, A.C.:SSD: Single shot multibox detector. In: European conference on computer vision.pp. 21{37. Springer (2016)

Newell, A., Yang, K., Deng, J.: Stacked hourglass networks for human pose estimation. In: European Conference on Computer Vision. pp. 483{499. Springer (2016)

Amir R. Zamir , Alexander Sax Taskonomy: Disentangling Task Transfer Learning.CVPR2018

文章地址

https://arxiv.org/abs/1808.01244

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754