成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

[ResNet系] 006 DPN

plus2047 / 3446人閱讀

摘要：和是兩個(gè)非常重要的網(wǎng)絡(luò)，它們顯示了深層卷積神經(jīng)網(wǎng)絡(luò)的能力，并且指出使用極小的卷積核可以提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。也有工作考察與的關(guān)系，與其相似，本文考察了與的關(guān)系。與的網(wǎng)絡(luò)架構(gòu)配置以及復(fù)雜度見(jiàn)表。

DPN

Dual Path Networks
Yunpeng Chen, Jianan Li, Huaxin Xiao, Xiaojie Jin, Shuicheng Yan, Jiashi Feng

摘要

本文提出一種簡(jiǎn)單高效且高度模塊化的雙路網(wǎng)絡(luò)（Dual Path Networks，DPN），提出了一種新的網(wǎng)絡(luò)內(nèi)部連接的拓?fù)浣Y(jié)構(gòu)。通過(guò)考察ResNet和DenseNet與HORNN（higher order recurrent neural network）之間的等價(jià)性，我們發(fā)現(xiàn)ResNet可以重復(fù)利用網(wǎng)絡(luò)中的特征，而DenseNet可以探索新的特征，這兩個(gè)特性都有助于網(wǎng)絡(luò)學(xué)習(xí)到好的表示。本文提出的雙路網(wǎng)絡(luò)既可以共享網(wǎng)絡(luò)特征，也擁有探索新特征的能力，綜合了上面兩個(gè)最先進(jìn)網(wǎng)絡(luò)的優(yōu)點(diǎn)。在ImagNet-1k、Places365和PASCAL VOC數(shù)據(jù)集上的大量實(shí)驗(yàn)證明DPN的性能優(yōu)于之前的最先進(jìn)的網(wǎng)絡(luò)，特別是在ImagNet-1k數(shù)據(jù)集上，一個(gè)淺層DPN（模型規(guī)模小26%、計(jì)算復(fù)雜度少25%、內(nèi)存消耗低8%）的性能超過(guò)ResNeXt-101(64x4d)，一個(gè)更深層的DPN（DPN-131）相比于最先進(jìn)的單模型性能提升更多，但訓(xùn)練速度卻要快2倍左右。其他數(shù)據(jù)集上的實(shí)驗(yàn)也證明DPN在多個(gè)應(yīng)用上的性能要優(yōu)于ResNet、DenseNet和ResNeXt。

1. Introduction

本文的目標(biāo)是開(kāi)發(fā)一種新的深層網(wǎng)絡(luò)中的連接拓?fù)浣Y(jié)構(gòu)，主要聚焦于跳躍連接（skip connection），這種連接方式廣泛應(yīng)用于現(xiàn)代的深度神經(jīng)網(wǎng)絡(luò)中。跳躍連接使得輸入信息可以直接傳輸?shù)胶竺娴膶?，而梯度可以直接反傳到前面的層，有效緩解了梯度消失?wèn)題，網(wǎng)絡(luò)也更易于優(yōu)化。
深度殘差網(wǎng)絡(luò)（Deep Residual Network，ResNet）是成功使用跳躍連接的網(wǎng)絡(luò)之一，它將不同block（即殘差函數(shù)）用跳躍連接直接相連，這種跳躍連接在ResNet中被稱(chēng)為殘差路徑（residual path），殘差路徑的輸出和殘差函數(shù)的輸出通過(guò)加法操作結(jié)合，形成一個(gè)殘差單元。在ResNet也發(fā)展出了多種架構(gòu)，比如WRN、Inception-resnet、ResNeXt等。
不同于ResNet通過(guò)殘差路徑將輸入特征和輸出特征相加，最近發(fā)表的密集卷積網(wǎng)絡(luò)（Dense Convolutional Network，DenseNet）使用密集連接路徑（densely connected path）將輸入特征與輸入特征相連接，使得每一個(gè)block可以得到之前所有block的原始信息（注：同屬一個(gè)stage）。本文主要研究ResNet和DenseNet各自的優(yōu)點(diǎn)以及局限性，然后提出一種新的路徑設(shè)計(jì)方式——雙路徑架構(gòu)。通過(guò)考察DenseNet與HORNN之間的關(guān)系從另一個(gè)角度理解DenseNet，并且考察ResNet與DenseNet之間的關(guān)系。經(jīng)過(guò)上述研究我們發(fā)現(xiàn)，深度殘差網(wǎng)絡(luò)通過(guò)殘差路徑隱式的對(duì)特征進(jìn)行重復(fù)使用，而密集連接網(wǎng)絡(luò)通過(guò)密集連接路徑可以持續(xù)探索新的特征。
雙路網(wǎng)絡(luò)DPN繼承了上面兩個(gè)網(wǎng)絡(luò)的優(yōu)點(diǎn)，可以對(duì)特征進(jìn)行再利用（re-usage）、再開(kāi)發(fā)（re-exploitation）。DPN也有參數(shù)利用率高、計(jì)算復(fù)雜度低、內(nèi)存消耗少、易于優(yōu)化的優(yōu)點(diǎn)。

2. Related work

AlexNet和VGG是兩個(gè)非常重要的網(wǎng)絡(luò)，它們顯示了深層卷積神經(jīng)網(wǎng)絡(luò)的能力，并且指出使用極小的卷積核（3x3）可以提高神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。
ResNet中使用了跳躍連接，極大減緩了優(yōu)化難度并提高了模型性能，后續(xù)也有很多基于ResNet的網(wǎng)絡(luò)架構(gòu)。DenseNet通過(guò)沿通道維度串聯(lián)的方式連接輸入/輸出特征，所以密集連接路徑的寬度會(huì)隨著深度的增加而線性增加，所需的參數(shù)量平方增加，如果程序?qū)崿F(xiàn)沒(méi)有針對(duì)性的優(yōu)化就會(huì)消耗很大的GPU顯存，這就限制了通過(guò)加深或增寬DenseNet來(lái)進(jìn)一步提升模型準(zhǔn)確率。
ResNet-v2顯示了殘差路徑（恒等映射）對(duì)于緩解優(yōu)化問(wèn)題的重要性。也有工作考察ResNet與RNN的關(guān)系，與其相似，本文考察了DenseNet與HORNN的關(guān)系。

3. Revisiting ResNet, DenseNet and Higher Order RNN

首先將DenseNet和HORNN進(jìn)行類(lèi)比，然后簡(jiǎn)化DenseNet到ResNet，如圖1所示：

最后得出結(jié)論：ResNet可以促進(jìn)特征重復(fù)使用，減少特征冗余；DenseNet可以探索新的特征，但存在冗余問(wèn)題。

4. Dual Path Networks 4.2 Dual Path Networks

具體如圖2所示，將ResNet和DenseNet結(jié)合起來(lái)。實(shí)際實(shí)現(xiàn)的時(shí)候用ResNeXt來(lái)代替ResNet作為主體，然后使用“slice layer”和“concat layer”添加額外的DenseNet的路徑，最終得到DPN網(wǎng)絡(luò)。

DPN與DenseNet、ResNeXt的網(wǎng)絡(luò)架構(gòu)配置以及復(fù)雜度見(jiàn)表1。

5. Experiments

DPN在不同任務(wù)不同數(shù)據(jù)集上的表現(xiàn)如下：

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/19656.html

相關(guān)文章

  • [ResNet系] 007 SENet

    摘要：前面層中的以類(lèi)別無(wú)關(guān)的方式增強(qiáng)可共享的低層表示的質(zhì)量。通過(guò)調(diào)整網(wǎng)絡(luò)各層間的連接機(jī)制來(lái)提升深層網(wǎng)絡(luò)的學(xué)習(xí)和表示性能。基本都是常規(guī)處理和訓(xùn)練設(shè)置。根據(jù)輸入動(dòng)態(tài)調(diào)整各通道的特征，增強(qiáng)網(wǎng)絡(luò)的表示能力。 SENet Squeeze-and-Excitation NetworksJie Hu, Li Shen, Gang Sun 摘要 卷積神經(jīng)網(wǎng)絡(luò)顧名思義就是依賴(lài)卷積操作，使用局部感受區(qū)域（loc...

    huashiou 評(píng)論0 收藏0

  • 最后一屆ImageNet挑戰(zhàn)賽落幕，「末代」皇冠多被國(guó)人包攬

    摘要：在本次競(jìng)賽中，南京信息工程大學(xué)和帝國(guó)理工學(xué)院的團(tuán)隊(duì)獲得了目標(biāo)檢測(cè)的最優(yōu)成績(jī)，最優(yōu)檢測(cè)目標(biāo)數(shù)量為平均較精確率為。最后在視頻目標(biāo)檢測(cè)任務(wù)中，帝國(guó)理工大學(xué)和悉尼大學(xué)所組成的團(tuán)隊(duì)取得了較佳表現(xiàn)。 在本次 ImageNet 競(jìng)賽中，南京信息工程大學(xué)和帝國(guó)理工學(xué)院的團(tuán)隊(duì) BDAT 獲得了目標(biāo)檢測(cè)的最優(yōu)成績(jī)，最優(yōu)檢測(cè)目標(biāo)數(shù)量為 85、平均較精確率為 0.732227。而在目標(biāo)定位任務(wù)中Momenta和牛津...

    jimhs 評(píng)論0 收藏0

  • 經(jīng)典ResNet結(jié)果不能復(fù)現(xiàn)？何愷明回應(yīng)：它經(jīng)受住了時(shí)間的考驗(yàn)

    摘要：大神何愷明受到了質(zhì)疑。今天，上一位用戶(hù)對(duì)何愷明的提出質(zhì)疑，他認(rèn)為何愷明年的原始?xì)埐罹W(wǎng)絡(luò)的結(jié)果沒(méi)有被復(fù)現(xiàn)，甚至何愷明本人也沒(méi)有。我認(rèn)為，的可復(fù)現(xiàn)性經(jīng)受住了時(shí)間的考驗(yàn)。 大神何愷明受到了質(zhì)疑。今天，Reddit 上一位用戶(hù)對(duì)何愷明的ResNet提出質(zhì)疑，他認(rèn)為：何愷明 2015 年的原始?xì)埐罹W(wǎng)絡(luò)的結(jié)果沒(méi)有被復(fù)現(xiàn)，甚至何愷明本人也沒(méi)有。網(wǎng)友稱(chēng)，他沒(méi)有發(fā)現(xiàn)任何一篇論文復(fù)現(xiàn)了原始 ResNet 網(wǎng)絡(luò)的...

    Ilikewhite 評(píng)論0 收藏0

  • [ResNet系] 003 ResNeXt

    摘要：本文提出的網(wǎng)絡(luò)名為，意為維度基數(shù)。在空間通道維度分解網(wǎng)絡(luò)，減少冗余，可以對(duì)網(wǎng)絡(luò)進(jìn)行加速或精簡(jiǎn)。復(fù)雜度不變的情況下，隨著基數(shù)的增大錯(cuò)誤率持續(xù)減小?？疾煸黾由疃葘挾然鶖?shù)對(duì)網(wǎng)絡(luò)性能的提升。 ResNeXt Aggregated Residual Transformations for Deep Neural NetworksSaining Xie, Ross Girshick, Piotr ...

    kidsamong 評(píng)論0 收藏0

  • [ResNet系] 005 DenseNet

    摘要：將這些需要保留的信息直接通過(guò)恒等映射進(jìn)行傳輸，展示了中的很多層對(duì)最終的結(jié)果影響極小，可以在訓(xùn)練時(shí)隨機(jī)丟棄部分層。得益于密集連接的方式，可以同時(shí)具有恒等映射深度監(jiān)督和深度多樣性的特性。 DenseNet Densely Connected Convolutional NetworksGao Huang, Zhuang Liu, Kilian Q. Weinberger, Laurens ...

    CODING 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<