資訊專欄INFORMATION COLUMN
此篇文章主要是給大家介紹了Caffe神經(jīng)網(wǎng)絡(luò)視覺效果層VisionLayers及主要參數(shù)詳細說明，感興趣的小伙伴可以參考參考一下，希望可以有一定的幫助，祝愿大家多多的發(fā)展，盡早漲薪
前言
每一個層都有著的主要參數(shù)，如name,type,bottom,top和transform_param請參考我前篇文章：Caffe神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)訪問層及主要參數(shù)
文中只解讀視覺效果層（VisionLayers)的主要參數(shù)，視覺效果層包含Convolution,Pooling,LocalResponseNormalization(LRN),im2col等層。
1、Convolution層：
便是卷積層，是神經(jīng)網(wǎng)絡(luò)（CNN）的核心員工。
層種類：Convolution
lr_mult:學(xué)習(xí)率的指數(shù)，最后的學(xué)習(xí)率就是這個數(shù)乘以solver.prototxt環(huán)境變量中的base_lr。
若是有兩個lr_mult,則第一位表明權(quán)重值的學(xué)習(xí)率，第2個表明偏置項的學(xué)習(xí)率。通常偏置項的學(xué)習(xí)率是權(quán)重值學(xué)習(xí)率兩倍。
后邊的sonvolution_param中，我們能設(shè)定卷積層的獨有主要參數(shù)。
務(wù)必設(shè)定的主要參數(shù)：
num_output:全連接層（filter)的數(shù)量
kernel_size:全連接層大小。假如全連接層的長度寬度不一，要用kernel_h和kernel_w各自設(shè)定
其它主要參數(shù)：
stride:全連接層的步幅，默認1。還可以用stride_h和stride_w來設(shè)定。
pad:擴大邊沿，默認0，不擴大。擴大時是上下、上下對稱的，例如全連接層大小為5*5，那樣pad設(shè)為2，則4個邊沿都擴大2個清晰度，即寬和相對高度都擴大了4個清晰度,那樣離散卷積以后的特征圖也就不會縮小。還可以通過pad_h和pad_w來各自設(shè)定。
weight_filler:權(quán)重值復(fù)位。默認“constant",值均為0，有時候我們用"xavier"優(yōu)化算法去進行復(fù)位，還可以設(shè)為”gaussian"
bias_filler:偏置項的復(fù)位。通常設(shè)為"constant",值均為0。
bias_term:是不是打開偏置項，默認true,打開
group:分類，默認1組。假如超過1，大家限定卷積和聯(lián)接實際操作在這個子集合內(nèi)。假如我們依據(jù)圖象通道來分類，那樣第i個導(dǎo)出分類只有與第i個鍵入分類開展聯(lián)接。
如果設(shè)置stride為1，前后兩次卷積部分存在重疊。如果設(shè)置pad=(kernel_size-1)/2,則運算后，寬度和高度不變。
示例
layer{
name:"conv1"
type:"Convolution"
bottom:"data"
top:"conv1"
param{
lr_mult:1
}
param{
lr_mult:2
}
convolution_param{
num_output:20
kernel_size:5
stride:1
weight_filler{
type:"xavier"
}
bias_filler{
type:"constant"
}
}
}2、Pooling層
也叫池化層，為了減少運算量和數(shù)據(jù)維度而設(shè)置的一種層。
層類型：Pooling
必須設(shè)置的參數(shù)：
kernel_size:池化的核大小。也可以用kernel_h和kernel_w分別設(shè)定。
其它參數(shù)：
pool:池化方法，默認為MAX。目前可用的方法有MAX,AVE,或STOCHASTIC
pad:和卷積層的pad的一樣，進行邊緣擴充。默認為0
stride:池化的步長，默認為1。一般我們設(shè)置為2，即不重疊。也可以用stride_h和stride_w來設(shè)置。
示例：
layer{
name:"pool1"
type:"Pooling"
bottom:"conv1"
top:"pool1"
pooling_param{
pool:MAX
kernel_size:3
stride:2
}
}pooling層的運算方法基本是和卷積層是一樣的。
如果設(shè)置stride為2，前后兩次卷積部分不重疊。100*100的特征圖池化后，變成50*50.
3、Local Response Normalization(LRN)層
此層是對一個輸入的局部區(qū)域進行歸一化，達到“側(cè)抑制”的效果。可去搜索AlexNet或GoogLenet，里面就用到了這個功能
層類型：LRN
參數(shù)：全部為可選，沒有必須
local_size:默認為5。如果是跨通道LRN，則表示求和的通道數(shù)；如果是在通道內(nèi)LRN，則表示求和的正方形區(qū)域長度。
alpha:默認為1，歸一化公式中的參數(shù)。
beta:默認為5，歸一化公式中的參數(shù)。
norm_region:默認為ACROSS_CHANNELS。有兩個選擇，ACROSS_CHANNELS表示在相鄰的通道間求和歸一化。WITHIN_CHANNEL表示在一個通道內(nèi)部特定的區(qū)域內(nèi)進行求和歸一化。與前面的local_size參數(shù)對應(yīng)。
歸一化公式：對于每一個輸入,去除以
得到歸一化后的輸出
示例：
layers{
name:"norm1"
type:LRN
bottom:"pool1"
top:"norm1"
lrn_param{
local_size:5
alpha:0.0001
beta:0.75
}
}4、im2col層
如果對matlab比較熟悉的話，就應(yīng)該知道im2col是什么意思。它先將一個大矩陣，重疊地劃分為多個子矩陣，對每個子矩陣序列化成向量，最后得到另外一個矩陣。
看一看圖就知道了：
在caffe中，卷積運算就是先對數(shù)據(jù)進行im2col操作，再進行內(nèi)積運算（inner product)。這樣做，比原始的卷積操作速度更快。
看看兩種卷積操作的異同：
綜上所述，這篇文章就給大家介紹到這里了，希望可以給大家?guī)韼椭?/p>
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/128772.html
摘要：陳建平說訓(xùn)練是十分重要的，尤其是對關(guān)注算法本身的研究者。代碼生成其實在中也十分簡單，陳建平不僅利用車道線識別模型向我們演示了如何使用生成高效的代碼，同時還展示了在脫離環(huán)境下運行代碼進行推斷的效果。 近日，Mathworks 推出了包含 MATLAB 和 Simulink 產(chǎn)品系列的 Release 2017b（R2017b），該版本大大加強了 MATLAB 對深度學(xué)習(xí)的支持，并簡化了工程師、...
摘要：深度神經(jīng)網(wǎng)絡(luò)能夠煥發(fā)新春，大數(shù)據(jù)功不可沒，然而大數(shù)據(jù)的版權(quán)是否應(yīng)當(dāng)延伸到深度學(xué)習(xí)產(chǎn)生的知識，這是一個現(xiàn)實的問題。要獲得有用的學(xué)習(xí)效果，大型多層深度神經(jīng)網(wǎng)絡(luò)又名深度學(xué)習(xí)系統(tǒng)需要大量的標簽數(shù)據(jù)。 深度神經(jīng)網(wǎng)絡(luò)能夠煥發(fā)新春，大數(shù)據(jù)功不可沒，然而大數(shù)據(jù)的版權(quán)是否應(yīng)當(dāng)延伸到深度學(xué)習(xí)產(chǎn)生的知識，這是一個現(xiàn)實的問題。本文通過ImageNet可視化大數(shù)據(jù)、Caffe共享深度學(xué)習(xí)模型和家中訓(xùn)練三個場景審查了深...
摘要：將這些需要保留的信息直接通過恒等映射進行傳輸，展示了中的很多層對最終的結(jié)果影響極小，可以在訓(xùn)練時隨機丟棄部分層。得益于密集連接的方式，可以同時具有恒等映射深度監(jiān)督和深度多樣性的特性。 DenseNet Densely Connected Convolutional NetworksGao Huang, Zhuang Liu, Kilian Q. Weinberger, Laurens ...
早期成果卷積神經(jīng)網(wǎng)絡(luò)是各種深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的一種，在機器視覺的很多問題上都取得了當(dāng)前較好的效果，另外它在自然語言處理，計算機圖形學(xué)等領(lǐng)域也有成功的應(yīng)用。第一個真正意義上的卷積神經(jīng)網(wǎng)絡(luò)由LeCun在1989年提出[1]，后來進行了改進，它被用于手寫字符的識別，是當(dāng)前各種深度卷積神經(jīng)網(wǎng)絡(luò)的鼻祖。接下來我們介紹LeCun在早期提出的3種卷積網(wǎng)絡(luò)結(jié)構(gòu)。?文獻[1]的網(wǎng)絡(luò)由卷積層和全連接層構(gòu)成，網(wǎng)絡(luò)...
閱讀 956·2023-01-14 11:38
閱讀 936·2023-01-14 11:04
閱讀 787·2023-01-14 10:48
閱讀 2157·2023-01-14 10:34
閱讀 1005·2023-01-14 10:24
閱讀 895·2023-01-14 10:18
閱讀 545·2023-01-14 10:09
閱讀 622·2023-01-14 10:02
