摘要：深度神經(jīng)網(wǎng)絡(luò)自出現(xiàn)以來，已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域一項(xiàng)舉足輕重的技術(shù)。歷屆冠軍架構(gòu)評析指標(biāo)自從年的競賽上，取得突破發(fā)展，成為第一個(gè)應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用，其他關(guān)于的更復(fù)雜的應(yīng)用也陸續(xù)出現(xiàn)。

深度神經(jīng)網(wǎng)絡(luò)自出現(xiàn)以來，已經(jīng)成為計(jì)算機(jī)視覺領(lǐng)域一項(xiàng)舉足輕重的技術(shù)。其中，ImageNet 圖像分類競賽極大地推動(dòng)著這項(xiàng)新技術(shù)的發(fā)展。較精確計(jì)算水平取得了穩(wěn)步的增長，但頗具吸引力的模型應(yīng)用尚未得到合理的利用。

本文將綜合分析實(shí)際應(yīng)用中的幾項(xiàng)重要指標(biāo)：準(zhǔn)確度、內(nèi)存占用、參數(shù)、操作時(shí)間、操作次數(shù)、推理時(shí)間、功耗，并得出了以下幾項(xiàng)主要研究結(jié)論：

功耗與批量大小、體系結(jié)構(gòu)無關(guān)；

準(zhǔn)確度與推理時(shí)間呈雙曲線關(guān)系；

能量限制是較大可達(dá)準(zhǔn)確度和模式復(fù)雜度的上限；

操作次數(shù)可以有效評估推理時(shí)間。

ImageNet 歷屆冠軍架構(gòu)評析指標(biāo)

自從2012年的ImageNet 競賽上，Alexnet取得突破發(fā)展，成為第一個(gè)應(yīng)用深度神經(jīng)網(wǎng)絡(luò)的應(yīng)用，其他關(guān)于DNN的更復(fù)雜的應(yīng)用也陸續(xù)出現(xiàn)。

圖像處理軟件分類挑戰(zhàn)賽的終極目標(biāo)是，在考慮實(shí)際推理時(shí)間的情況下，提高多層分類框架的準(zhǔn)確度。為了達(dá)到這個(gè)目標(biāo)，就要解決以下三方面的問題。第一，一般情況下，我們會(huì)在每個(gè)驗(yàn)證圖像的多個(gè)類似實(shí)例中運(yùn)行一個(gè)給定模型的多個(gè)訓(xùn)練實(shí)例。這種方法叫做模型平均或DNN集成，可以極大提高推理所需的計(jì)算量，以獲得published準(zhǔn)確度。第二，不同研究報(bào)告中對驗(yàn)證圖像做的預(yù)估模型（集合）的操作次數(shù)不一樣，模型選擇會(huì)受到影響，因此不同的抽樣方法（以及取樣集合的大小不同）得出的報(bào)告準(zhǔn)確度結(jié)果就會(huì)有所偏差。第三，加速推理過程是模型實(shí)際應(yīng)用的關(guān)鍵，影響著資源利用、功耗以及推理延遲等因素，而目前尚無方法使推理時(shí)間縮短。

本文旨在對過去4年圖像處理軟件分類挑戰(zhàn)賽上出現(xiàn)的不同種類的先進(jìn)的DNN架構(gòu)做對比，從計(jì)算需要和準(zhǔn)確度兩個(gè)角度做分析，主要比較這些架構(gòu)與資源利用實(shí)際部署相關(guān)的多個(gè)指標(biāo)，即準(zhǔn)確度、內(nèi)存占用、參數(shù)、操作時(shí)間、操作次數(shù)、推理時(shí)間、功耗。

文章主要目的是通過分析，強(qiáng)調(diào)這些指標(biāo)的重要性，因?yàn)檫@些指標(biāo)是優(yōu)化神經(jīng)網(wǎng)絡(luò)實(shí)際部署與應(yīng)用的基本硬性限制條件。

評析方法

為了比較不同模型的質(zhì)量，我們收集了文獻(xiàn)中的一些數(shù)據(jù)，分析發(fā)現(xiàn)不同的抽樣方法得出的結(jié)論也不一樣。比如，VGG-16和GoogleNet 的central-crop誤差分別是8.7%和10.07%，表明VGG-16性能優(yōu)于googleNet，而用10-crop抽樣，則誤差分別是9.33%和9.15%，VGG-16又比GoogleNet差了。于是，我們決定基于分析，對所有網(wǎng)絡(luò)重新評估，使用單個(gè)central-crop抽樣方法。

圖1: Top1 vs. 網(wǎng)絡(luò). ?Single-crop top-1 用較高評分體系檢測準(zhǔn)確度。上圖中不同的配色方案表示不同的架構(gòu)和作者。注意，同組網(wǎng)絡(luò)共享相同的色相，比如所有的ResNet系列都是用粉色系表示的。

圖 2: Top1 vs. 操作、數(shù)量大小、參數(shù) ?Top-1 one-crop 準(zhǔn)確度與單向前進(jìn)傳遞所需操作次數(shù)的對比。圖中氣泡大小與網(wǎng)絡(luò)參數(shù)數(shù)量成正比；右下角記錄的是從5*106 到155*106參數(shù)值的歷史較大值；所有數(shù)據(jù)都共享一個(gè)y軸，灰色點(diǎn)表示氣泡中心的值。

我們使用 cuDNN-v5和CUDA-v8配置的Torch 7來做推理時(shí)間和內(nèi)存占用測算。所有的試驗(yàn)都使用的是JstPack-2.3 NVIDIA Jetson TX1，內(nèi)置視覺計(jì)算系統(tǒng)，64-bit ARM ?A57 CPU。

使用這種限量級的設(shè)備是為了更好地強(qiáng)調(diào)網(wǎng)絡(luò)架構(gòu)的不同，主要是因?yàn)槭褂矛F(xiàn)存的大多數(shù)GPU，比如NVIDIA K40或者Titan X得出的結(jié)果基本都一樣。為了測算功耗，我們使用的是Keysight 1146B Hall電流探頭，內(nèi)置Keysight MSO-X 2024A 200MHz 數(shù)字顯波器，抽樣周期2s，采樣率50kSa/s。該系統(tǒng)由 Keysight E3645A GPIB數(shù)控直流電源供電。

具體結(jié)果

我們比較了以下 DDN：

AlexNet (Krizhevsky et al., 2012)；batch normalised AlexNet (Zagoruyko, 2016)；batch normalised Network In Network (NIN) (Lin et al., 2013)；

ENet (Paszke et al., 2016) for ImageNet (Culurciello, 2016)；

GoogLeNet (Szegedy et al., 2014)；

VGG-16 and -19 (Simonyan & Zisserman, 2014)；

ResNet-18, -34, -50, -101 and -152 (He et al., 2015)；

Inception-v3 (Szegedy et al., 2015) 以及 Inception-v4 (Szegedy et al., 2016)。

1. 準(zhǔn)確率（Accuracy）

圖 1 展示了提交給 ImageNet 挑戰(zhàn)賽的架構(gòu)的 1-crop 準(zhǔn)確率，最左邊的是 AlexNet，最右邊的是 Inception -v4。的 ResNet 和 Inception 架構(gòu)相比其他架構(gòu)準(zhǔn)確率至少高 7%。本文中，我們使用不同的顏色區(qū)分不同的架構(gòu)和他們的作者，同一個(gè)網(wǎng)絡(luò)的色系相同，例如粉色系的都是 ResNet。

圖2 則提供了各網(wǎng)絡(luò)更詳細(xì)的準(zhǔn)確率值，將計(jì)算成本和網(wǎng)絡(luò)參數(shù)的數(shù)量可視化呈現(xiàn)。首先非常明顯的是，VGG 不管從計(jì)算需求還是參數(shù)數(shù)量方面來說，都是迄今為止最昂貴的架構(gòu)，盡管它已經(jīng)被廣泛應(yīng)用于許多應(yīng)用程序。VGG 的16層和19層的實(shí)現(xiàn)實(shí)際上與其他所有網(wǎng)絡(luò)都是隔絕的。其他的架構(gòu)形成了一條斜線，到 Inception 和 ResNet 時(shí)，這條線開始變平緩。這表明這些模型在該數(shù)據(jù)集上到達(dá)一個(gè)拐點(diǎn)。在這個(gè)拐點(diǎn)上，計(jì)算成本（復(fù)雜性）開始超過準(zhǔn)確率上的好處。

2. 推理時(shí)間（Inference Time）

上圖（圖3）顯示了各架構(gòu)在每個(gè)圖像上的推理時(shí)間，作為一個(gè)圖像批大小（從1到64）函數(shù)。我們注意到 VGG 處理一張圖像所需時(shí)間約1/5秒，這使它在 NVIDIA TX1 上實(shí)時(shí)應(yīng)用的可能性較小。AlexNet 的批大小從1到64的變化中，處理速度提升了3倍，這是由于它的完全連接層的弱優(yōu)化，這個(gè)發(fā)現(xiàn)令人驚訝。

3. 功耗（Power）

由于電流消耗的高頻率波動(dòng)，功耗的測量相當(dāng)復(fù)雜，需要高采樣電流讀出以避免混淆。在本研究中，我們使用的測量工具是帶電流探頭的 200 MHz 數(shù)字示波器。如上圖所示，功耗多數(shù)情況下與批大小無關(guān)。由圖3可見，AlexNet （批大小為1）和 VGG（批大小為2）的低功耗與較慢的推理時(shí)間相關(guān)。

4 內(nèi)存（Memory）

分析使用 CPU 和 GPU 共享內(nèi)存的 TX1 設(shè)備的系統(tǒng)內(nèi)存消耗得到的結(jié)果由下圖可見，最初較大系統(tǒng)內(nèi)存使用情況是不變的，隨著批大小增加，內(nèi)存消耗增大。這是由于網(wǎng)絡(luò)模型的初始內(nèi)存分配以及批處理時(shí)的內(nèi)存需求隨著圖像數(shù)量的增加而成比例地增加。

分析使用 CPU 和 GPU 共享內(nèi)存的 TX1 設(shè)備的系統(tǒng)內(nèi)存消耗得到的結(jié)果由上圖可見，最初較大系統(tǒng)內(nèi)存使用情況是不變的，隨著批大小增加，內(nèi)存消耗增大。這是由于網(wǎng)絡(luò)模型的初始內(nèi)存分配以及批處理時(shí)的內(nèi)存需求隨著圖像數(shù)量的增加而成比例地增加。

從上圖中我們注意到，對規(guī)模小于 100 MB的網(wǎng)絡(luò)，初始內(nèi)存分配不會(huì)小于 200 MB，而且隨后呈現(xiàn)為一條斜率為1.3的線性函數(shù)。

5 運(yùn)算（Operations）

在神經(jīng)網(wǎng)絡(luò)加速器的自定義實(shí)現(xiàn)中，運(yùn)算量（operation count）對于預(yù)估推理時(shí)間和硬件電路體積是必要的。

分析發(fā)現(xiàn)，對批大小為16的圖像，每個(gè)圖像的運(yùn)算量和推理時(shí)間之間存在線性關(guān)系。因此，在設(shè)計(jì)網(wǎng)絡(luò)時(shí)，可以控制運(yùn)算量，以使處理速度保持在實(shí)時(shí)應(yīng)用或資源有限的應(yīng)用的可接受范圍內(nèi)。

6. 運(yùn)算和功耗

分析功耗和給定模型所需的運(yùn)算次數(shù)之間的關(guān)系后，我們發(fā)現(xiàn)不同架構(gòu)之間沒有特定的 power footprint（見上圖）。當(dāng)達(dá)到完全的資源利用時(shí)，通常批大小較大，所有網(wǎng)絡(luò)的額外消耗大致為 11.8 W，標(biāo)準(zhǔn)偏差為 0.7 W，空閑功率為 1.30 W。這是資源完全利用時(shí)的較大系統(tǒng)功耗。因此，如果功耗是我們要關(guān)注的點(diǎn)之一，例如電池設(shè)備限制，可以簡單地選擇滿足較低功耗要求的最慢的架構(gòu)。

7 準(zhǔn)確率和吞吐量

我們注意到，在單位時(shí)間里，準(zhǔn)確率和推理數(shù)量之間存在非平凡的線性上限。下圖顯示，對于給定的幀速率，可以實(shí)現(xiàn)的較大準(zhǔn)確率與幀速率本身形成線性比例。這里分析的所有網(wǎng)絡(luò)均來自公開出版論文，并且已經(jīng)得到其他研究團(tuán)隊(duì)的獨(dú)立訓(xùn)練。準(zhǔn)確率的線性擬合顯示了所有架構(gòu)的準(zhǔn)確率與速度之間的關(guān)系。

此外，選定一個(gè)推理時(shí)間，可以得出資源充分利用條件下理論上的較大準(zhǔn)確率。由于功耗固定，我們甚至可以進(jìn)一步得出能耗限制下的較大準(zhǔn)確率，這可以作為需要在嵌入式系統(tǒng)上運(yùn)行的網(wǎng)絡(luò)的基本設(shè)計(jì)因素。由于沒有了擾流器，考慮前向推理時(shí)間時(shí)，準(zhǔn)確率與吞吐量之間的線性關(guān)系轉(zhuǎn)變?yōu)殡p曲線關(guān)系。那么，假設(shè)運(yùn)算量與推理時(shí)間是線性關(guān)系，準(zhǔn)確率對網(wǎng)絡(luò)需要的運(yùn)算量則具有雙曲線依賴性（hyperbolical dependency）。

8 參數(shù)使用

我們已經(jīng)知道，DNN 在利用全部學(xué)習(xí)能力（參數(shù)數(shù)量/自由度）方面非常低效。Han et al., 2015 的研究利用 DNN 的這個(gè)缺陷，使用權(quán)重剪枝（weights pruning）、量化（quantisation）和變長編碼（variable-length symbol encoding）將網(wǎng)絡(luò)規(guī)模減小了50倍。值得注意的是，使用更高效的架構(gòu)能夠產(chǎn)生更緊湊的呈現(xiàn)。如上圖所示，雖然 VGG 比 AlexNet 的準(zhǔn)確率更高（圖1），但其信息密度不如 AlexNet。這意味著在 VGG 架構(gòu)中引入的自由度帶來的準(zhǔn)確率上的提高不大。

結(jié)語

本文從準(zhǔn)確性、內(nèi)存占用、參數(shù)、運(yùn)算量、推理時(shí)間和功耗方面，對 ImageNet 競賽中多個(gè)先進(jìn)深層神經(jīng)網(wǎng)絡(luò)進(jìn)行了分析，從而對設(shè)計(jì)用于實(shí)際應(yīng)用的高效神經(jīng)網(wǎng)絡(luò)提供參考并優(yōu)化資源，因?yàn)樵趯?shí)際部署中我們能使用的資源往往十分有限。從上文可知，神經(jīng)網(wǎng)絡(luò)的精度和推理時(shí)間呈雙曲關(guān)系：準(zhǔn)確度的微量增加也會(huì)花費(fèi)大量的計(jì)算時(shí)間。此外，網(wǎng)絡(luò)模型的運(yùn)算量能有效估計(jì)推理所需要的時(shí)間。

這也是我們?yōu)?ImageNet 創(chuàng)建 ENet（Efficient-Network）的原因。ENet 是當(dāng)前對參數(shù)空間利用率較好的架構(gòu)。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754