橡樹嶺國家實(shí)驗(yàn)室是如何以神經(jīng)元等搭建超混合深度學(xué)習(xí)框架的？

Yang_River 發(fā)布于2019-04-25 18:11 / 3496人閱讀

摘要：橡樹嶺國家實(shí)驗(yàn)室的研究人員通過使用基于的方法，將數(shù)千個(gè)網(wǎng)絡(luò)劃分開，在超過個(gè)上運(yùn)行，從而進(jìn)行大規(guī)模深度學(xué)習(xí)。神經(jīng)元裝置，特別是那些像橡樹嶺國家實(shí)驗(yàn)室開發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)，，可以卸載一些包含時(shí)間序列元素神經(jīng)網(wǎng)絡(luò)。

橡樹嶺國家實(shí)驗(yàn)室圖

從系統(tǒng)的架構(gòu)的復(fù)雜性上來講，摩爾定律很難對其適用。

盡管如此，過去兩年來，我們一直在迎來了新一輪針對深度學(xué)習(xí)和其他專業(yè)工作的新架構(gòu)熱潮，并涌現(xiàn)出FPGA、更快的GPU，以及迅速出現(xiàn)的開放架構(gòu)等。這些架構(gòu)在頂尖的系統(tǒng)架構(gòu)師中一樣不落，它們急于被應(yīng)用，以建立可以有效消化不斷增長的數(shù)據(jù)集的系統(tǒng)，具有更好的性能、更低的功耗，同時(shí)保持可編程性和可擴(kuò)展性。

橡樹嶺國家實(shí)驗(yàn)室的研究人員通過使用基于MPI的方法，將數(shù)千個(gè)網(wǎng)絡(luò)劃分開，在超過18000個(gè)GPU上運(yùn)行，從而進(jìn)行大規(guī)模深度學(xué)習(xí)。正如科研人員所討論的那樣，將深度學(xué)習(xí)和機(jī)器學(xué)習(xí)添加到超級計(jì)算應(yīng)用程序組合中，可以更好地利用大量的科學(xué)數(shù)據(jù)庫，并提高了仿真的復(fù)雜性和最終的功能。

Thomas Potok

科學(xué)家創(chuàng)建自動(dòng)生成的神經(jīng)網(wǎng)絡(luò)，以方便研究人員對神經(jīng)網(wǎng)絡(luò)進(jìn)行更進(jìn)一步的硬件調(diào)查。托馬斯?波托克（Thomas Potok）和他的團(tuán)隊(duì)建立了一個(gè)新穎的深度學(xué)習(xí)工作流，充分利用了超級計(jì)算機(jī)、神經(jīng)元設(shè)備和量子計(jì)算機(jī)。Thomas E. Potok博士是橡樹嶺國家實(shí)驗(yàn)室（ORNL）計(jì)算數(shù)據(jù)分析小組的創(chuàng)始人。

titan超算圖

他們評估了這三個(gè)計(jì)算平臺的優(yōu)勢，并發(fā)現(xiàn)他們能夠通過使用HPC模擬數(shù)據(jù)作為其在titan超算上的自動(dòng)網(wǎng)絡(luò)工具生成的卷積神經(jīng)網(wǎng)絡(luò)的基準(zhǔn)線，然后將該網(wǎng)絡(luò)的單元移動(dòng)到量子計(jì)算機(jī)（使用南加州大學(xué) /洛克希德設(shè)計(jì)的1000量子位計(jì)算機(jī)）和神經(jīng)元（由橡樹嶺國家實(shí)驗(yàn)室開發(fā)）設(shè)備上，來處理他們最擅長的單元。

比較超算、量子計(jì)算機(jī)和神經(jīng)元裝置在深度學(xué)習(xí)應(yīng)用中的性能是比較困難的，因?yàn)闇y量標(biāo)準(zhǔn)是不同的，有各有所長。Potok表示，量子系統(tǒng)可以提供深度連接的網(wǎng)絡(luò)并表達(dá)更多的信息，而不需要傳統(tǒng)機(jī)器的計(jì)算成本，但是，無法跨越整個(gè)深度學(xué)習(xí)工作流。

上圖顯示了ORNL研究人員應(yīng)用的超混合深度學(xué)習(xí)架構(gòu)。數(shù)據(jù)運(yùn)行在Titan超算上的卷積網(wǎng)絡(luò)上，之后移動(dòng)到量子計(jì)算一側(cè)，然后脈沖神經(jīng)網(wǎng)絡(luò)/神經(jīng)元利用以時(shí)間為中心的數(shù)據(jù)深挖這些結(jié)果。

神經(jīng)元裝置，特別是那些像橡樹嶺國家實(shí)驗(yàn)室（DANNA）開發(fā)的脈沖神經(jīng)網(wǎng)絡(luò)（spiking neural network，SNN），可以卸載一些包含時(shí)間序列元素神經(jīng)網(wǎng)絡(luò)。換句話說，HPC模擬和網(wǎng)絡(luò)初始化在超級計(jì)算機(jī)上完成地較好，卷積神經(jīng)網(wǎng)絡(luò)的高階函數(shù)可以通過量子機(jī)來解決，而結(jié)果則可以從神經(jīng)網(wǎng)絡(luò)設(shè)備以時(shí)間層面進(jìn)行進(jìn)一步分析。

“有了科學(xué)的數(shù)據(jù)，你通常會(huì)得到一個(gè)與時(shí)間相關(guān)的成像。你會(huì)得到一個(gè)與粒子交互的傳感器。對于神經(jīng)網(wǎng)絡(luò)，我們可以采用標(biāo)準(zhǔn)卷積神經(jīng)網(wǎng)絡(luò)，并且具有互補(bǔ)的脈沖神經(jīng)網(wǎng)絡(luò)，用于數(shù)據(jù)或?qū)嶒?yàn)的時(shí)間單元。我們可以同時(shí)使用這些技術(shù)，不僅可以從圖像中的某個(gè)位置層面看待這個(gè)問題，而且可以在時(shí)間層面上看待這個(gè)問題?！?/p>

“三四年前，當(dāng)我們開始關(guān)注這一領(lǐng)域的時(shí)候，吳恩達(dá)和其他人都試圖在節(jié)點(diǎn)之間擴(kuò)展神經(jīng)網(wǎng)絡(luò)。問題是，人們沒法超過64個(gè)節(jié)點(diǎn)”，Potok解釋說，“我們采取了不同的做法；我們選擇了難度較大的挑戰(zhàn)，通過配置網(wǎng)絡(luò)、構(gòu)建拓?fù)浜蛥?shù)，并使用進(jìn)化優(yōu)化來自動(dòng)配置它，而不是建立一個(gè)巨大的18000個(gè)節(jié)點(diǎn)的深度學(xué)習(xí)系統(tǒng)，我們使它成為了一個(gè)優(yōu)化問題。

“大公司已經(jīng)能夠自動(dòng)執(zhí)行標(biāo)注圖像或識別語音，但是這需要很多人為這些網(wǎng)絡(luò)辛苦工作。在HPC中，有很多數(shù)據(jù)集，但是沒有很多人在使用它們，了解它們的人更少，”Potok說?！霸噲D建立一個(gè)在那里工作的深度學(xué)習(xí)網(wǎng)絡(luò)將是艱巨的，這就是HPC開始流行的原因。我們可以很快地為一個(gè)新的數(shù)據(jù)集定制一個(gè)深度學(xué)習(xí)網(wǎng)絡(luò)，并快速獲得結(jié)果。最重要的是，它可以在Titan上進(jìn)行擴(kuò)展，然后到Summit超算或者是一臺超級計(jì)算機(jī)上。”

所有這些可能聽起來像是對集成發(fā)起了挑戰(zhàn)，即許多數(shù)據(jù)類型的工作朝著同一個(gè)最終結(jié)果進(jìn)行——即使在整個(gè)問題中，輸入和輸出在分布式網(wǎng)絡(luò)上是分步生成的。Potok認(rèn)為上述的架構(gòu)確實(shí)有效，但實(shí)際測試將會(huì)合并CNN和SNN，看看可能會(huì)取得什么樣的結(jié)果。最終，較大的問題就是混合架構(gòu)如何需要滿足計(jì)算和應(yīng)用需求。擁有一種新的、更強(qiáng)大的、可擴(kuò)展的方式來創(chuàng)建更復(fù)雜的模擬結(jié)果將是有益的，但是很多設(shè)備尚未規(guī)模化生產(chǎn)。

當(dāng)然，超大型理論工作是國家實(shí)驗(yàn)室最擅長的部分，但這可能會(huì)超越下一代機(jī)器的概念。Potok并不認(rèn)為在未來五年內(nèi)會(huì)出現(xiàn)如此大規(guī)模的混合體系結(jié)構(gòu)，而是認(rèn)為，在未來十年，所有三種計(jì)算模式都將有希望。換句話說，不僅計(jì)算平臺是全新的，而且解決問題的方式也是全新的。

歡迎加入本站公開興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識

QQ群：81035754

GPU云服務(wù)器云服務(wù)器深度學(xué)習(xí)是如何學(xué)習(xí) 機(jī)器學(xué)習(xí)深度神經(jīng)網(wǎng)絡(luò) 深度學(xué)習(xí)是怎么學(xué)習(xí)的學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)是什么

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/4511.html