摘要：在嵌入式系統(tǒng)上的深度學(xué)習(xí)隨著人工智能幾乎延伸至我們生活的方方面面，主要挑戰(zhàn)之一是將這種智能應(yīng)用到小型低功耗設(shè)備上。領(lǐng)先的深度學(xué)習(xí)框架我們來詳細了解下和這兩個領(lǐng)先的框架。適用性用于圖像分類，但并非針對其他深度學(xué)習(xí)的應(yīng)用，例如文本或聲音。

在嵌入式系統(tǒng)上的深度學(xué)習(xí)

隨著人工智能 (AI) 幾乎延伸至我們生活的方方面面，主要挑戰(zhàn)之一是將這種智能應(yīng)用到小型、低功耗設(shè)備上。這需要嵌入式平臺，能夠處理高性能和極低功率的極深度神經(jīng)式網(wǎng)絡(luò) (NN)。然而，這仍不足夠。機器學(xué)習(xí)開發(fā)商需要一個快速和自動化方式，在這些嵌入式平臺上轉(zhuǎn)換、優(yōu)化和執(zhí)行預(yù)先訓(xùn)練好的網(wǎng)絡(luò)。

在這一系列發(fā)布的內(nèi)容中，我們將回顧當(dāng)前框架以及它們對嵌入式系統(tǒng)構(gòu)成的挑戰(zhàn)，并演示處理這些挑戰(zhàn)的解決方案。這些發(fā)布的內(nèi)容會指導(dǎo)你在幾分鐘之內(nèi)完成這個任務(wù)，而不是耗時數(shù)月進行手動發(fā)布和優(yōu)化。

在發(fā)布微信時我們也會更新不同部分的鏈接。

第一部分：深度學(xué)習(xí)框架、特征和挑戰(zhàn) ? ? ? ? ? ??

第二部分：如何克服嵌入式平臺中的深度學(xué)習(xí)挑戰(zhàn)

第三部分：CDNN – 一鍵生成網(wǎng)絡(luò) ? ?

深度學(xué)習(xí)框架、特征和挑戰(zhàn)

至今，深度學(xué)習(xí)的主要限制及其在實際生活中的應(yīng)用一直局限于計算馬力、功率限制和算法質(zhì)量。這些前端所取得的巨大進步使其在許多不同領(lǐng)域取得杰出成就，例如圖像分類、演說以及自然語言處理等。

列舉圖像分類的具體示例，過去五年，我們可看到 ImageNet 數(shù)據(jù)庫顯著提升四倍。深度學(xué)習(xí)技術(shù)于 2012 年達到 16% 的五大錯誤率，現(xiàn)在低于 5%，超出人為表現(xiàn)！如需了解更多有關(guān)神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)框架的介紹性信息，您可閱讀近期關(guān)于這個話題的博客。

深度學(xué)習(xí)技術(shù)近年來取得顯著成效（資料來源：Nervana）

神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)

將這些成就轉(zhuǎn)至移動、手持設(shè)備顯然是這個技術(shù)的下一個進化步驟。然而，這樣做會面臨相當(dāng)多的挑戰(zhàn)。首先，有許多相互競爭的框架。其中有兩個領(lǐng)先和最知名的框架分別為 UC Berkeley 開發(fā)的 Caffe 以及谷歌近期發(fā)布的 TensorFlow。除此之外，還有許多其他框架，例如微軟公司的計算網(wǎng)絡(luò)工具包 (CNTK)、Torch、Chainer 等。

除了眾多框架外，神經(jīng)網(wǎng)絡(luò)包括各種類型的層面，例如卷積、歸一化、池化及其他。進一步障礙是大批網(wǎng)絡(luò)拓撲。至今，神經(jīng)網(wǎng)絡(luò)都遵循一個單拓撲。由于網(wǎng)絡(luò)內(nèi)部網(wǎng)絡(luò)拓撲的出現(xiàn)，目前的情況更為復(fù)雜。例如，GoogLeNet 包括9個接收層，創(chuàng)造極為豐富和復(fù)雜的拓撲。

額外并發(fā)影響包括支持可變大小的感興趣區(qū)域 (ROI)。雖然以研究為導(dǎo)向的網(wǎng)絡(luò)（例如 AlexNet）在固定大小的 ROI 上運行，但優(yōu)化合適的解決方案需要更靈活的商業(yè)網(wǎng)絡(luò)。

領(lǐng)先的深度學(xué)習(xí)框架

我們來詳細了解下Caffe 和 TensorFlow這兩個領(lǐng)先的框架。通過比較這兩個框架來闡明各自的優(yōu)勢和劣勢。

成熟度

Caffe 推出時間較長。自 2014 年夏天推出，它可從一個支持各種圖像分類任務(wù)的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型大數(shù)據(jù)庫（即 Model Zoo）中受益匪淺。與之相比，TensorFlow 則在近期于 2015 年 11 月首次推出。

適用性

Caffe 用于圖像分類，但并非針對其他深度學(xué)習(xí)的應(yīng)用，例如文本或聲音。相反的，TensorFlow 除了圖像分類外，能夠解決一般的應(yīng)用。

建模能力

循環(huán)神經(jīng)網(wǎng)絡(luò) (RNN) 是保留先前狀態(tài)實現(xiàn)持久性的網(wǎng)絡(luò)，與人類思維過程類似。從這個層面來看，Caffe 不是非常靈活，因為其原有架構(gòu)需要定義每個新層面類型的前向、后向和梯度更新。TensorFlow 利用向量運算方法的符號圖，指明新網(wǎng)絡(luò)相當(dāng)簡易。

架構(gòu)

TensorFlow 擁有一個包含多個前端和執(zhí)行平臺的清理器、模塊化結(jié)構(gòu)。

領(lǐng)先的神經(jīng)網(wǎng)絡(luò)層

卷積神經(jīng)網(wǎng)絡(luò) (CNN) 是神經(jīng)網(wǎng)絡(luò)的特殊例子。CNN 包括一個或多個卷積層，通常帶有子采樣層，在標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)中后面跟著一個或多個完全連接層。在 CNN 中，用于特征提取的卷積層重量以及用于分類的完全連接層可在訓(xùn)練過程中確定。CNN 中的總層數(shù)可能從許多層到大約 24 層不等，例如 AlexNet，而如為 SegNet，則最多為 90 層。

我們根據(jù)與客戶和合伙人合作期間遇到的多個網(wǎng)絡(luò)，編輯了許多領(lǐng)先層列表。

卷積

標(biāo)準(zhǔn)化

池化（平均和較大）

完全連接

激活（ReLU、參數(shù) ReLU、TanH、Sigmoid）

去卷積

串聯(lián)

上采樣

Argmax

Softmax

由于 NN 不斷發(fā)展，這個列表可能也會更改和轉(zhuǎn)換。一個可行的嵌入式解決方案無法承擔(dān)每次在深度學(xué)習(xí)算法進步時而變得過時的代價。避免這個情況的關(guān)鍵是具備隨之發(fā)展進化的靈活性并處理新層。這種類型的靈活性通過 CEVA 在上個 CES大會上 運用所有 24 層運行實時 Alexnet 期間提出的 CEVA-XM4 視覺 DSP 處理器展現(xiàn)。

深度學(xué)習(xí)拓撲結(jié)構(gòu)

如果我們查看網(wǎng)絡(luò)，例如 AlexNet 或不同的 VGG 網(wǎng)絡(luò)，它們具備相同的單拓撲，即線性網(wǎng)絡(luò)。在這個拓撲中，每個神經(jīng)元點都有一個單端輸入和單端輸出。

更復(fù)雜的拓撲包括每級多層。在此情況下，可在處于相同級的多個神經(jīng)元之間分配工作，然后與其他神經(jīng)元結(jié)合。這種網(wǎng)絡(luò)可以 GoogLeNet 為例。擁有多個輸入多個輸出拓撲的網(wǎng)絡(luò)產(chǎn)生更多復(fù)雜性。

深度學(xué)習(xí)拓撲（資料來源：CEVA）

正如我們在上圖第 (c) 種情況看到，相同的神經(jīng)元可同時接收和發(fā)送多個輸入和輸出。這些類型的網(wǎng)絡(luò)可通過 GoogLeNet、SegNet 和 ResNet 例證。

除了這些拓撲，還有完全卷積網(wǎng)絡(luò)，這是關(guān)于單像素問題的快速、端對端模型。完全卷積網(wǎng)絡(luò)可接收任意大小的輸入，并通過有效推理和學(xué)習(xí)產(chǎn)生相應(yīng)大小的輸出。這更適合于 ROI 根據(jù)對象大小動態(tài)變化的商業(yè)應(yīng)用程序。

嵌入式神經(jīng)網(wǎng)絡(luò)的挑戰(zhàn)

預(yù)訓(xùn)練網(wǎng)絡(luò)之后的下一個巨大挑戰(zhàn)是在嵌入式系統(tǒng)中實施，這可是一個極具挑戰(zhàn)性的任務(wù)！障礙可分為兩個部分：

1、寬頻限制以及嵌入式系統(tǒng)的計算能力。

NN 需要大量數(shù)據(jù)，利用 DDR 在各層之間進行傳輸。如為卷積和完全連接數(shù)據(jù)重量來自 DDR，數(shù)據(jù)傳輸極其龐大。在這些情況下，也要使用浮點精度。在許多情況下，相同網(wǎng)絡(luò)用于處理多個 ROI。雖然大型、高功耗電機器可執(zhí)行這些任務(wù)，但嵌入式平臺制定了嚴格的限制條件。為實現(xiàn)成本效益、低功率及最小規(guī)模，嵌入式解決方案使用少量數(shù)據(jù)，限制內(nèi)存大小，通常以整數(shù)精度運行，這與浮點截然相反。

2、竭力為嵌入式平臺移植和優(yōu)化 NN。

向嵌入式平臺移植預(yù)訓(xùn)練 NN 的任務(wù)相當(dāng)耗時，需要有關(guān)目標(biāo)平臺的編程知識和經(jīng)驗。在完成初步發(fā)布后，還必須為特定平臺進行優(yōu)化，以實現(xiàn)快速和有效性能。

這些挑戰(zhàn)如果處理不當(dāng)，將構(gòu)成重大威脅。一方面，必須要克服硬件限制條件，以在嵌入式平臺上執(zhí)行 NN。另一方面，必須要克服挑戰(zhàn)的第二部分，以便快速達成解決方案，因為上市時間是關(guān)鍵。還原至硬件解決方案以加速上市時間也不是一個明智選擇，因為它無法提供靈活性，并將快速成為發(fā)展進化神經(jīng)網(wǎng)絡(luò)領(lǐng)域中的障礙。

為找出如何快速且毫不費勁地跨越這些障礙，請下次關(guān)注第二部分。屆時我們將以 GoogLeNet 為例，討論和演示我們的解決方案。

同時，可點擊了解更多有關(guān) CDNN – CEVA 深度神經(jīng)網(wǎng)絡(luò) 的信息。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754