資訊專欄INFORMATION COLUMN
摘要：近日，該論文的一作終于在上公開了該論文中的代碼。該項目上線天便獲得了個，并被了次。
當(dāng)前的深度學(xué)習(xí)理論是由Geoffrey Hinton大神在2007年確立起來的，但是如今他卻認(rèn)為，“CNN的特征提取層與次抽樣層交叉存取，將相同類型的相鄰特征檢測器的輸出匯集到一起”是大有問題的。
去年9月，在多倫多接受媒體采訪時，Hinton大神斷然宣稱要放棄反向傳播，讓整個人工智能從頭再造。10月，人們關(guān)注已久的Hinton大神那篇Capsule論文"Dynamic Routing between Capsules"終于揭開面紗。
在論文中，Capsule被Hinton大神定義為這樣一組神經(jīng)元：其活動向量所表示的是特定實體類型的實例化參數(shù)。他的實驗表明，鑒別式訓(xùn)練的多層Capsule系統(tǒng)，在MNIST手寫數(shù)據(jù)集上表現(xiàn)出目前較先進(jìn)的性能，并且在識別高度重疊數(shù)字的效果要遠(yuǎn)好于CNN。
近日，該論文的一作Sara Sabour終于在GitHub上公開了該論文中的代碼。該項目上線5天便獲得了217個Star，并被fork了14218次。下面讓我們一起來看看Sara Sabour開源的代碼吧。
膠囊模型的代碼在以下論文中使用：
"Dynamic Routing between Capsules" by Sara Sabour, Nickolas Frosst, Geoffrey E. Hinton.
要求
TensorFlow ( 訪問 http://www.tensorflow.org 了解如何安裝和升級)
NumPy (詳見 http://www.numpy.org/)
GPU
運行測試代碼驗證設(shè)置是否正確，比如：
python layers_test.py
快速MNIST測試結(jié)果：
從以下網(wǎng)址下載并提取MNIST記錄到 $DATA_DIR/：https://storage.googleapis.com/capsule_toronto/mnist_data.tar.gz
從以下網(wǎng)址下載并提取MNIST模型檢測點（checkpoint）到$CKPT_DIR：
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --train=false
--summary_dir=/tmp/ --
checkpoint=$CKPT_DIR/mnist_checkpoint/model.ckpt-1
快速CIFAR10 ensemble測試結(jié)果：
從以下網(wǎng)址下載并提取cifar10二進(jìn)制版本到$DATA_DIR/：
https://www.cs.toronto.edu/~kriz/cifar.html
從以下網(wǎng)址下載并提取cifar10模型檢測點（checkpoint）到$CKPT_DIR：
https://storage.googleapis.com/capsule_toronto/cifar_checkpoints.tar.gz
將提取的二進(jìn)制文件目錄作為data_dir傳遞給（$DATA_DIR）
python experiment.py --data_dir=$DATA_DIR --train=false --dataset=cifar10
--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false
--summary_dir=/tmp/ --checkpoint=$CKPT_DIR/cifar/cifar{}/model.ckpt-600000
--num_trials=7
Sample CIFAR10訓(xùn)練命令：
python experiment.py --data_dir=$DATA_DIR --dataset=cifar10 --max_steps=600000
--hparams_override=num_prime_capsules=64,padding=SAME,leaky=true,remake=false
--summary_dir=/tmp/
Sample MNIST完整訓(xùn)練命令：
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000
--summary_dir=/tmp/attempt0/
Sample MNIST 基線訓(xùn)練命令：
python experiment.py --data_dir=$DATA_DIR/mnist_data/ --max_steps=300000
--summary_dir=/tmp/attempt1/ --model=baseline
上述模型的訓(xùn)練期間在驗證集上進(jìn)行測試
訓(xùn)練中連續(xù)運行的注意事項：
在訓(xùn)練中 --validate = true
總共需要總共2塊GPU：一個用于訓(xùn)練，一個用于驗證
如果訓(xùn)練和驗證工作位于同一臺機(jī)器上，則需要限制每個任務(wù)的RAM占用量，因為TensorFlow會默認(rèn)為第一個任務(wù)分配所有的RAM，而第二個任務(wù)將無法進(jìn)行。
在MultiMNIST上測試/訓(xùn)練：
--num_targets = 2
--data_dir = $ DATA_DIR / multitest_6shifted_mnist.tfrecords@10
生成multiMNIST / MNIST記錄的代碼位于input_data / mnist / mnist_shift.py
生成multiMNIST測試分割的示例代碼：
python mnist_shift.py --data_dir=$DATA_DIR/mnist_data/ --split=test --shift=6?
--pad=4 --num_pairs=1000 --max_shard=100000 --multi_targets=true
為affNIST泛化能力建立expanded_mnist： --shift = 6；--pad = 6。
Github地址：
https://github.com/Sarasra/models/tree/master/research/capsules
論文地址：
https://arxiv.org/abs/1710.09829
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4739.html
摘要：本文試圖揭開讓人迷惘的云霧，領(lǐng)悟背后的原理和魅力，品嘗這一頓盛宴。當(dāng)然，激活函數(shù)本身很簡單，比如一個激活的全連接層，用寫起來就是可是，如果我想用的反函數(shù)來激活呢也就是說，你得給我解出，然后再用它來做激活函數(shù)。 由深度學(xué)習(xí)先驅(qū) Hinton 開源的 Capsule 論文 Dynamic Routing Between Capsules，無疑是去年深度學(xué)習(xí)界最熱點的消息之一。得益于各種媒體的各種...
摘要：近日，科大訊飛與華為在深圳簽署了戰(zhàn)略合作協(xié)議，科大訊飛董事長劉慶峰華為輪值董事長徐直軍均出席簽約儀式，足以看出雙方對此次合作的重視程度。華為云需要科大訊飛，特別是科大訊飛的智能語音技術(shù)。在云計算智能語音領(lǐng)域，BAT由于多年的互聯(lián)網(wǎng)基因，都有非常深厚的智能語音功底，百度有百度度秘，阿里有阿里小蜜，騰訊有騰訊小微。而華為云作為一家傳統(tǒng)ICT轉(zhuǎn)型做云的企業(yè)，似乎并沒有經(jīng)受太多互聯(lián)網(wǎng)智能語音訓(xùn)練。但...
摘要：而加快推動這一趨勢的，正是卷積神經(jīng)網(wǎng)絡(luò)得以雄起的大功臣。卷積神經(jīng)網(wǎng)絡(luò)面臨的挑戰(zhàn)對的深深的質(zhì)疑是有原因的。據(jù)此，也斷言卷積神經(jīng)網(wǎng)絡(luò)注定是沒有前途的神經(jīng)膠囊的提出在批判不足的同時，已然備好了解決方案，這就是我們即將討論的膠囊神經(jīng)網(wǎng)絡(luò)，簡稱。 本文作者 張玉宏2012年于電子科技大學(xué)獲計算機(jī)專業(yè)博士學(xué)位，2009~2011年美國西北大學(xué)聯(lián)合培養(yǎng)博士，現(xiàn)執(zhí)教于河南工業(yè)大學(xué)，電子科技大學(xué)博士后。中國計...
摘要：在底層的膠囊之后連接了層和層。膠囊效果的討論在論文最后，作者們對膠囊的表現(xiàn)進(jìn)行了討論。他們認(rèn)為，由于膠囊具有分別處理不同屬性的能力，相比于可以提高對圖像變換的健壯性，在圖像分割中也會有出色的表現(xiàn)。 背景目前的神經(jīng)網(wǎng)絡(luò)中，每一層的神經(jīng)元都做的是類似的事情，比如一個卷積層內(nèi)的每個神經(jīng)元都做的是一樣的卷積操作。而Hinton堅信，不同的神經(jīng)元完全可以關(guān)注不同的實體或者屬性，比如在一開始就有不同的神...
摘要：等人最近關(guān)于膠囊網(wǎng)絡(luò)的論文在機(jī)器學(xué)習(xí)領(lǐng)域造成相當(dāng)震撼的影響。它提出了理論上能更好地替代卷積神經(jīng)網(wǎng)絡(luò)的方案，是當(dāng)前計算機(jī)視覺領(lǐng)域的技術(shù)。而這就是這些膠囊網(wǎng)絡(luò)運行方式的本質(zhì)。為了簡化，我們將假設(shè)一個兩層的膠囊網(wǎng)絡(luò)。產(chǎn)生的結(jié)果值將被稱為。 Geoff Hinton等人最近關(guān)于膠囊網(wǎng)絡(luò)（Capsule networks）的論文在機(jī)器學(xué)習(xí)領(lǐng)域造成相當(dāng)震撼的影響。它提出了理論上能更好地替代卷積神經(jīng)網(wǎng)絡(luò)的...
閱讀 834·2023-04-25 19:40
閱讀 3492·2023-04-25 17:41
閱讀 3006·2021-11-11 11:01
閱讀 2622·2019-08-30 15:55
閱讀 3231·2019-08-30 15:44
閱讀 1360·2019-08-29 14:07
閱讀 485·2019-08-29 11:23
閱讀 1330·2019-08-27 10:54
