文章庫ARTICLE COLUMN
摘要：膠囊網(wǎng)絡(luò)是一種熱門的新型神經(jīng)網(wǎng)絡(luò)架構(gòu)，它可能會對深度學(xué)習(xí)特別是計算機(jī)視覺領(lǐng)域產(chǎn)生深遠(yuǎn)的影響。下幾層膠囊也嘗試檢測對象及其姿態(tài)，但工作方式非常不同，即使用按協(xié)議路由算法。 膠囊網(wǎng)絡(luò)（Capsule networks, CapsNets）是一種熱門的新型神經(jīng)網(wǎng)絡(luò)架...
摘要：這是機(jī)器學(xué)習(xí)課程中的一個典型例子，他把演講者的聲音和背景音樂分開。雖然用于啟動檢測的技術(shù)主要依賴于音頻特征工程和機(jī)器學(xué)習(xí)，但在這里可以很容易地使用深度學(xué)習(xí)來優(yōu)化結(jié)果。 介紹 想象一個能理解你想要什么，且當(dāng)你打電話給客戶服務(wù)中心時能...
摘要：原作說，加權(quán)梯度類激活映射通過任意目標(biāo)概念的梯度比如說類別狗的分對數(shù)甚至是狗這個字，將這些知識傳遞到最后的卷積層進(jìn)而產(chǎn)生一張粗略的定位圖，用于凸顯圖像中對于預(yù)測相關(guān)概念至關(guān)重要的區(qū)域。這種技術(shù)不僅適用于定位，還可用于視覺問答圖像標(biāo)注等...
摘要：但年月，宣布將在年終止的開發(fā)和維護(hù)。性能并非最優(yōu)，為何如此受歡迎粉絲團(tuán)在過去的幾年里，出現(xiàn)了不同的開源深度學(xué)習(xí)框架，就屬于其中典型，由谷歌開發(fā)和支持，自然引發(fā)了很大的關(guān)注。 Keras作者Fran?ois Chollet剛剛在Twitter貼出一張圖片，是近三個...
摘要：在飛蛾腦中，章魚胺可以幫助加強(qiáng)產(chǎn)生成功的神經(jīng)線路。廣泛來說，此項(xiàng)研究成果可能給人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域帶來極大的影響。 作為現(xiàn)代機(jī)器學(xué)習(xí)基石的深度神經(jīng)網(wǎng)絡(luò)，雖然模仿的是生物神經(jīng)網(wǎng)絡(luò)，但其實(shí)這兩者之間有著極大的區(qū)別。拋開僅有的一些相似處，有些重...
摘要：目前，生成對抗網(wǎng)絡(luò)的大部分應(yīng)用都是在計算機(jī)視覺領(lǐng)域。生成對抗網(wǎng)絡(luò)生成對抗網(wǎng)絡(luò)框架是由等人于年設(shè)計的生成模型。在設(shè)置中，兩個由神經(jīng)網(wǎng)絡(luò)進(jìn)行表示的可微函數(shù)被鎖定在一個游戲中。我們提出了深度卷積生成對抗網(wǎng)絡(luò)的實(shí)現(xiàn)。 讓我們假設(shè)這樣一種情景：...
摘要：目錄一引言二輕量化模型三網(wǎng)絡(luò)對比一引言自年以來，卷積神經(jīng)網(wǎng)絡(luò)簡稱在圖像分類圖像分割目標(biāo)檢測等領(lǐng)域獲得廣泛應(yīng)用。創(chuàng)新點(diǎn)利用和這兩個操作來設(shè)計卷積神經(jīng)網(wǎng)絡(luò)模型以減少模型使用的參數(shù)數(shù)量。 本文就近年提出的四個輕量化模型進(jìn)行學(xué)習(xí)和對比，四個模...
摘要：在此，我們將借用和的算子，分析硬件加速的需求。池化層池化層主要用于尺度變換，提取高維特征。此種類型主要用于深度卷積神經(jīng)網(wǎng)絡(luò)中卷積部分與部分的連接。和可以認(rèn)為是的特例。 NNVM是由陳天奇團(tuán)隊(duì)提出的一套可復(fù)用的計算流圖中間表達(dá)層，它提供了一...
摘要：通過在中結(jié)合進(jìn)化算法執(zhí)行架構(gòu)搜索，谷歌開發(fā)出了當(dāng)前較佳的圖像分類模型。本文是谷歌對該神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索算法的技術(shù)解讀，其中涉及兩篇論文，分別是和。此外，谷歌還使用其新型芯片來擴(kuò)大計算規(guī)模。 通過在 AutoML 中結(jié)合進(jìn)化算法執(zhí)行架構(gòu)搜索，谷歌...
摘要：目前目標(biāo)檢測領(lǐng)域的深度學(xué)習(xí)方法主要分為兩類的目標(biāo)檢測算法的目標(biāo)檢測算法。原來多數(shù)的目標(biāo)檢測算法都是只采用深層特征做預(yù)測，低層的特征語義信息比較少，但是目標(biāo)位置準(zhǔn)確高層的特征語義信息比較豐富，但是目標(biāo)位置比較粗略。 目前目標(biāo)檢測領(lǐng)域的深...
斯蒂文認(rèn)為機(jī)器學(xué)習(xí)有時候像嬰兒學(xué)習(xí)，特別是在物體識別上。比如嬰兒首先學(xué)會識別邊界和顏色，然后將這些信息用于識別形狀和圖形等更復(fù)雜的實(shí)體。比如在人臉識別上，他們學(xué)會從眼睛和嘴巴開始識別最終到整個面孔。當(dāng)他們看一個人的形象時，他們大腦認(rèn)出了兩...
摘要：目前，自動化前端開發(fā)的較大阻礙是計算能力。但我們已經(jīng)可以使用目前的深度學(xué)習(xí)算法，以及合成訓(xùn)練數(shù)據(jù)來探索人工智能自動構(gòu)建前端的方法。我們無需輸入正確的標(biāo)記，網(wǎng)絡(luò)會接收它目前生成的標(biāo)記，然后預(yù)測下一個標(biāo)記。 項(xiàng)目鏈接：https://github.com/em...
摘要：我的核心觀點(diǎn)是盡管我提出了這么多問題，但我不認(rèn)為我們需要放棄深度學(xué)習(xí)。對于層級特征，深度學(xué)習(xí)是非常好，也許是有史以來效果較好的。認(rèn)為有問題的是監(jiān)督學(xué)習(xí)，并非深度學(xué)習(xí)。但是，其他監(jiān)督學(xué)習(xí)技術(shù)同病相連，無法真正幫助深度學(xué)習(xí)。 所有真理必經(jīng)...
摘要：訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要大量的內(nèi)存，用戶使用這個工具包，可以在計算時間成本僅增加的基礎(chǔ)上，在上運(yùn)行規(guī)模大倍的前饋模型。使用導(dǎo)入此功能，與使用方法相同，使用梯度函數(shù)來計算參數(shù)的損失梯度。隨后，在反向傳播中重新計算檢查點(diǎn)之間的節(jié)點(diǎn)。 OpenAI是...
摘要：截止到今天，已公開發(fā)行一周年。一年以來，社區(qū)中的用戶不斷做出貢獻(xiàn)和優(yōu)化，在此深表感謝。所以與衡量它的指標(biāo)包括在機(jī)器學(xué)習(xí)研究論文中的使用。來自香港科技大學(xué)的在上推出了面向普通觀眾的在線課程。 Yann LeCun Twitter截止到今天，PyTorch 已公開...
摘要：近幾年來，目標(biāo)檢測算法取得了很大的突破。本文主要講述算法的原理，特別是算法的訓(xùn)練與預(yù)測中詳細(xì)細(xì)節(jié)，最后將給出如何使用實(shí)現(xiàn)算法。但是結(jié)合卷積運(yùn)算的特點(diǎn)，我們可以使用實(shí)現(xiàn)更高效的滑動窗口方法。這其實(shí)是算法的思路。下面將詳細(xì)介紹算法的設(shè)計理...
摘要：首先，我們一起來開一個腦洞想象一個最理想的深度學(xué)習(xí)引擎應(yīng)該是什么樣子的，或者說深度學(xué)習(xí)引擎的終極形態(tài)是什么看看這會給深度學(xué)習(xí)框架和專用芯片研發(fā)帶來什么啟發(fā)。眾所周知，現(xiàn)在是深度學(xué)習(xí)領(lǐng)域應(yīng)用最廣的計算設(shè)備，據(jù)說比更加強(qiáng)大，不過目前只有可...
摘要：昨天，研究院開源了，業(yè)內(nèi)較佳水平的目標(biāo)檢測平臺。項(xiàng)目地址是實(shí)現(xiàn)頂尖目標(biāo)檢測算法包括的軟件系統(tǒng)。因此基本上已經(jīng)是最目前包含最全與最多目標(biāo)檢測算法的代碼庫了。 昨天，F(xiàn)acebook AI 研究院（FAIR）開源了 Detectron，業(yè)內(nèi)較佳水平的目標(biāo)檢測平臺。...
摘要：我想重溫過去幾年深度學(xué)習(xí)背景下的神經(jīng)網(wǎng)絡(luò)設(shè)計史。卷積神經(jīng)網(wǎng)絡(luò)成為深度學(xué)習(xí)的主力，深度學(xué)習(xí)是可以完成有用任務(wù)的大型神經(jīng)網(wǎng)絡(luò)的新名字。和的開始探索減少深度神經(jīng)網(wǎng)絡(luò)的計算負(fù)擔(dān)，提出了第一個架構(gòu)。 深度神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)是強(qiáng)大、流行的算法。它...
摘要：剛剛，發(fā)布了正式版，很多人都期待已久，最重大的改動是支持和，這承諾將使上的訓(xùn)練速度翻倍。此外，預(yù)覽版可用，也將吸引不少初學(xué)者。其他為添加必要的形狀支持。，，現(xiàn)在支持具有和支持的任意擴(kuò)展。允許稀疏浮動分割以支持多值特征列。 剛剛，TensorF...
摘要：在這篇文章中我們嘗試了用分類類圖像。實(shí)際上我們將每張訓(xùn)練集中的圖像認(rèn)為成一類。我們采用了一個簡單的方法在最后分類前，讓文本和圖像使用一個，那么在過程中會用一個軟的約束，這就完成了詳見論文。類似圖像的操作吧。 Motivation在這篇文章中我們...
摘要：現(xiàn)在，官方版開源代碼終于來了。同時發(fā)布的，是這項(xiàng)研究背后的一個基礎(chǔ)平臺。是的物體檢測平臺，今天宣布開源，它基于，用寫成，這次開放的代碼中就包含了的實(shí)現(xiàn)。說，將平臺開源出來，是想要加速世界各地實(shí)驗(yàn)室的研究，推動物體檢測的進(jìn)展。 等代碼...
摘要：就像在權(quán)重擾動中，而不同于串?dāng)_的是，最小的全局協(xié)調(diào)是必須的每個神經(jīng)元僅需要接收指示全局成本函數(shù)的反饋信號。在深度強(qiáng)化學(xué)習(xí)中比如可否使用不可微分的目標(biāo)函數(shù)呢值得探索相反，反向傳播通過基于系統(tǒng)的分層結(jié)構(gòu)計算成本函數(shù)對每個權(quán)重的靈敏度來工作...
摘要：例如，是一些神經(jīng)元的特征，其中突觸權(quán)重變化的符號取決于突觸前后的較精確至毫秒量級相對定時。，是大腦自身調(diào)整其神經(jīng)元之間的連接強(qiáng)度的生物過程。從他博士期間就開始研究至今，目前可以說深度學(xué)習(xí)占領(lǐng)著機(jī)器學(xué)習(xí)的半壁江山，而則是深度學(xué)習(xí)的核心。...
摘要：我們認(rèn)為，在基準(zhǔn)測試平臺中，包含真實(shí)數(shù)據(jù)的測量非常重要。其他結(jié)果訓(xùn)練合成數(shù)據(jù)訓(xùn)練真實(shí)數(shù)據(jù)詳情環(huán)境下表列出了用于測試的批量大小和優(yōu)化器。在給定平臺上，以缺省狀態(tài)運(yùn)行。 圖像分類模型的結(jié)果InceptionV3[2]、ResNet-50[3]、ResNet-152[4]、VGG16[...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時根據(jù)訓(xùn)練、推理能力由高到低做了...
89542767
社區(qū)管理員
白馬嘯西風(fēng)