資訊專欄INFORMATION COLUMN
摘要：因為這些設(shè)備直接連接傳感器數(shù)據(jù)攝像頭麥克風(fēng)陀螺儀等，所以在終端設(shè)備上部署機器學(xué)習(xí)具有極大的吸引力。論文地址摘要我們提出了在分布式計算層級上的分布式深度神經(jīng)網(wǎng)絡(luò)，包含云邊緣設(shè)備以及終端設(shè)備。垂直線表示通道，連接水平線神經(jīng)網(wǎng)絡(luò)層。
近年來，深度神經(jīng)網(wǎng)絡(luò)在多種應(yīng)用上取得了極大的成功，網(wǎng)絡(luò)架構(gòu)也變得越來越深。以卷積神經(jīng)網(wǎng)絡(luò)為例，從 1998 年 LeNet 的 5 層，發(fā)展到 2015 年產(chǎn)生了 152 層的 ResNet。
在網(wǎng)絡(luò)架構(gòu)變化的同時，包括物聯(lián)網(wǎng)在內(nèi)的終端設(shè)備數(shù)量也越來越多，有著急劇的增長。因為這些設(shè)備直接連接傳感器數(shù)據(jù)（攝像頭、麥克風(fēng)、陀螺儀等），所以在終端設(shè)備上部署機器學(xué)習(xí)具有極大的吸引力。
但現(xiàn)在看來，較高級的機器學(xué)習(xí)系統(tǒng)還無法滿足終端設(shè)備的現(xiàn)狀：1. 要么把傳感器數(shù)據(jù)輸入到云端的大型神經(jīng)網(wǎng)絡(luò)模型；2. 要么直接在終端設(shè)備上使用簡單的機器學(xué)習(xí)模型（如線性支持向量機）。前者有通信成本、延遲的問題，后者會降低系統(tǒng)的準(zhǔn)確率。
為了克服這些問題，自然而然地就想到了分布式計算方法。層級分布式計算架構(gòu)包括云、邊緣與終端設(shè)備，這種架構(gòu)有固有的優(yōu)勢，例如支持中心調(diào)節(jié)與局部決策，具有系統(tǒng)可擴展性，特別是對基于位置分布的 IoT 設(shè)備上的大規(guī)模智能任務(wù)。
雖然業(yè)內(nèi)也有一些分布式方法，但依然面臨多種挑戰(zhàn)，例如終端設(shè)備存儲與能源有限、通信成本等。那有沒有一種系統(tǒng)能夠訓(xùn)練一個端到端模型，把模型在云與終端設(shè)備之間劃分開？
為了這個目標(biāo)，作者們提出了在云、邊緣以及終端設(shè)備這樣的分布式計算層級上的分布式深度神經(jīng)網(wǎng)絡(luò)（DDNN）。論文內(nèi)容摘要如下，具體細節(jié)請查看論文原文。
論文：Distributed Deep Neural Networks over the Cloud, the Edge and End Devices
地址：https://arxiv.org/abs/1709.01921
摘要：我們提出了在分布式計算層級上的分布式深度神經(jīng)網(wǎng)絡(luò)（DDNNs)，包含云、邊緣設(shè)備以及終端設(shè)備。在能夠適應(yīng)云上的神經(jīng)網(wǎng)絡(luò)推理的同時，DDNN 也允許在邊緣、終端設(shè)備上使用神經(jīng)網(wǎng)絡(luò)的淺層部分進行更快、本地化的推理。在可延展的分布式計算層級支持下，DDNN 能按比例擴大網(wǎng)絡(luò)大小，且在區(qū)域跨度上進行擴展。由于其分布式特性，DDNN 增強了傳感器融合、系統(tǒng)故障容錯、數(shù)據(jù)隱私。在 DDNN 的實現(xiàn)上，我們繪制了 DNN 在不同分布式計算層級上的部分。通過聯(lián)合訓(xùn)練這些部位，我們最小化了設(shè)備上的通信和資源使用，較大化了在云中使用的提取特征的有效性。最終的系統(tǒng)內(nèi)建了對自動傳感器融合、故障容錯的支持。作為此概念的證實，我們演示了一個 DDNN 能夠利用傳感器的多元性改進目標(biāo)識別的準(zhǔn)確率、減少通信成本。在我們的實驗中，對比傳統(tǒng)的在云中卸載原始傳感器數(shù)據(jù)的方法，DDNN 能夠在終端設(shè)備本地處理大部分傳感器數(shù)據(jù)，同時取得高準(zhǔn)確率，通信成本能夠降低 20 倍。
圖 2：DDNN 架構(gòu)的概覽。垂直線表示 DNN 通道，連接水平線（神經(jīng)網(wǎng)絡(luò)層）。（a) 是標(biāo)準(zhǔn)的深度神經(jīng)網(wǎng)絡(luò)（完全在云端處理）；（b）是引入了終端設(shè)備和本地出口點（exit point)，可能分類云之前的樣本；（c）是（b）的擴展，增加了多個終端設(shè)備，聚合在一起進行分類；（d) 和（e）是（b) 和（c）的拓展，增加了云與終端設(shè)備之間的邊緣層；（f）展示了邊緣也能像終端設(shè)備一樣被分布。
歡迎加入本站公開興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4626.html
摘要：與云計算中心不同，廣域網(wǎng)的網(wǎng)絡(luò)情況更為復(fù)雜，帶寬可能存在一定的限制因此，如何從設(shè)備層支持服務(wù)的快速配置，是邊緣計算中的一個核心問題。邊緣計算可汲取云計算發(fā)展的經(jīng)驗，研究適合邊緣計算場景下的隔離技術(shù)。 作者：施巍松團隊（張星洲、王一帆、張慶陽） 計算模型的創(chuàng)新帶來的是技術(shù)的升級換代，而邊緣計算的迅速發(fā)展也得益于技術(shù)的進步。本節(jié)總結(jié)了推動邊緣計算發(fā)展的7項核心技術(shù)，它們包括網(wǎng)絡(luò)、隔離技術(shù)、...
摘要：行分封制，邊緣計算列土封侯邊緣計算可認(rèn)為是從內(nèi)容傳送網(wǎng)絡(luò)技術(shù)演變而來。我們經(jīng)常會談及邊緣計算的應(yīng)用前景，主要在于人工智能可以讓云計算邊緣計算的協(xié)同合作機制發(fā)揮最大效率?；仡櫧陙碓朴嬎恪⑦吘売嬎?、人工智能等技術(shù)的發(fā)展，從云計算對傳統(tǒng)IT架構(gòu)做出的顛覆性架構(gòu)變革，到邊緣計算實現(xiàn)計算能力的下沉，再到人工智能為各種平臺構(gòu)建算法和模型，各種新興技術(shù)的風(fēng)云角逐與3000年西周一統(tǒng)天下后的權(quán)力分配又何其...
摘要：不只云端電信業(yè)者紛紛押寶邊緣計算的市場，連全球較大開源社群基金會今年月也決定成立新項目來大力推動邊緣計算，要打造一套通用物聯(lián)網(wǎng)邊緣計算框架，超過家軟硬件廠商和新創(chuàng)加入，包括等。為何有人開始主張邊緣計算將會吃掉云計算，也有人相信純云計算時代正邁向終結(jié)，而且不只云端龍頭、商用軟件巨頭都搶著要押寶，連全球較大開源社群也大力支持，原因是什么？ 云端服務(wù)龍頭Amazon每年冬天在美國拉斯韋加斯舉...
摘要：不只云端電信業(yè)者紛紛押寶邊緣計算的市場，連全球較大開源社群基金會今年月也決定成立新項目來大力推動邊緣計算，要打造一套通用物聯(lián)網(wǎng)邊緣計算框架，超過家軟硬件廠商和新創(chuàng)加入，包括等。 為何有人開始主張邊緣計算將會吃掉云計算，也有人相信純云計算時代正邁向終結(jié)，而且不只云端龍頭、商用軟件巨頭都搶著要押寶，連全球較大開源社群也大力支持，原因是什么？云端服務(wù)龍頭Amazon每年冬天在美國拉斯韋加斯舉行的r...
摘要：于年成立移動邊緣計算規(guī)范工作組，正式宣布推動移動邊緣計算標(biāo)準(zhǔn)化工作。其基本思想是把云計算平臺從移動核心網(wǎng)絡(luò)內(nèi)部遷移到移動接入網(wǎng)邊緣，實現(xiàn)計算及存儲資源的彈性利用。 本文選自最近人民郵電出版社新書《從云端到邊緣：邊緣計算的產(chǎn)業(yè)鏈與行業(yè)應(yīng)用》第一章第二節(jié)5G時代的邊緣計算，作者吳冬升，5G產(chǎn)...
閱讀 2087·2023-04-25 21:11
閱讀 2973·2021-09-30 09:47
閱讀 2286·2021-09-24 09:48
閱讀 4447·2021-08-23 09:43
閱讀 908·2019-08-30 15:54
閱讀 573·2019-08-28 18:01
閱讀 1412·2019-08-27 10:55
閱讀 597·2019-08-27 10:55
