文章庫ARTICLE COLUMN
摘要：同樣以里的模塊為例，替換前后的卷積分支復(fù)雜度如下中使用與卷積級聯(lián)替代卷積中提出了卷積的，在確保感受野不變的前提下進一步簡化。 在梳理CNN經(jīng)典模型的過程中，我理解到其實經(jīng)典模型演進中的很多創(chuàng)新點都與改善模型計算復(fù)雜度緊密相關(guān)，因此今天就讓...
摘要：如今在機器學(xué)習中突出的人工神經(jīng)網(wǎng)絡(luò)最初是受神經(jīng)科學(xué)的啟發(fā)。雖然此后神經(jīng)科學(xué)在機器學(xué)習繼續(xù)發(fā)揮作用，但許多主要的發(fā)展都是以有效優(yōu)化的數(shù)學(xué)為基礎(chǔ)，而不是神經(jīng)科學(xué)的發(fā)現(xiàn)。 開始之前看一張有趣的圖 - 大腦遺傳地圖：Figure 0. The Genetic Geograph...
摘要：首先，的概念與卷積的概念大部分是獨立的。但是，請注意，這個特征的較精確位置已經(jīng)被丟棄。結(jié)合和，這意味著我們的網(wǎng)絡(luò)使用的是不同于一般類型的非線性。之間的這就是網(wǎng)絡(luò)如此與眾不同的原因。與普通的層相比，層是完全不同的。 首先，capsule 的概念...
摘要：等人最近關(guān)于膠囊網(wǎng)絡(luò)的論文在機器學(xué)習領(lǐng)域造成相當震撼的影響。它提出了理論上能更好地替代卷積神經(jīng)網(wǎng)絡(luò)的方案，是當前計算機視覺領(lǐng)域的技術(shù)。而這就是這些膠囊網(wǎng)絡(luò)運行方式的本質(zhì)。為了簡化，我們將假設(shè)一個兩層的膠囊網(wǎng)絡(luò)。產(chǎn)生的結(jié)果值將被稱為。 G...
摘要：總的來說，是一種采用數(shù)據(jù)流圖，用于數(shù)值計算的開源軟件庫。其中代表傳遞的數(shù)據(jù)為張量多維數(shù)組，代表使用計算圖進行運算。數(shù)據(jù)流圖用結(jié)點和邊組成的有向圖來描述數(shù)學(xué)運算。 本文非常適合初學(xué)者了解如何使用 TensorFlow 構(gòu)建基本的神經(jīng)網(wǎng)絡(luò)，它全面展示...
摘要：傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的問題到目前為止，圖像分類問題上較先進的方法是。我們把卡戴珊姐姐旋轉(zhuǎn)出現(xiàn)這個問題的原因，用行話來說是旋轉(zhuǎn)的程度超出了較大池化所帶來的旋轉(zhuǎn)不變性的限度。 Capsule Networks，或者說CapsNet，這個名字你應(yīng)該已經(jīng)聽過好幾次了。這是...
摘要：要理解網(wǎng)絡(luò)中的單個特征，比如特定位置的某個神經(jīng)元或者一整個通道，就可以找讓這個特征產(chǎn)生很高的值的樣本。另一方面，也能看到一些神經(jīng)元同時對多個沒什么關(guān)系的概念產(chǎn)生響應(yīng)。實際操作經(jīng)驗中，我們也認為是一組神經(jīng)元的組合共同表征了一張圖像。 深...
摘要：隨著知識在開發(fā)者圈子里的擴散，這將會是一個長長的緩慢上升過程，但我預(yù)測，年之內(nèi)，大多數(shù)軟件工作都不會再涉及編程。 周末，特斯拉AI負責人Andrej Karpathy發(fā)文論述軟件2.0的概念，他說，神經(jīng)網(wǎng)絡(luò)給編程工作帶來了根本性的變革。今天，跟他聊過...
摘要：的這項研究，總共生成了篇深度學(xué)習論文的和代碼，還創(chuàng)建了一個網(wǎng)站，供同行們眾包編輯這些代碼。來自印度研究院。目前是印度研究院的實習生。 深度學(xué)習的論文越來越多了~多到什么程度？Google scholar的數(shù)據(jù)顯示，2016年以來，人工智能領(lǐng)域新增的論文已...
摘要：近幾年來，由于其作為機器學(xué)習模型的使用已成倍增長，所以移動設(shè)備和嵌入式設(shè)備也出現(xiàn)了部署需求。使機器學(xué)習模型設(shè)備能夠?qū)崿F(xiàn)低延遲的推理。設(shè)計初衷輕量級允許在具有很小的二進制大小和快速初始化啟動的機器學(xué)習模型設(shè)備上進行推理。 谷歌今天終于發(fā)...
摘要：詳細信息，可以參見科技評論之前發(fā)文微軟聯(lián)合推出標準，號稱要解決開發(fā)框架碎片化共筑開放生態(tài)標準得到華為英特爾等更多廠商支持日前，基礎(chǔ)平臺部副總在發(fā)文宣布，亞馬遜將加入開放生態(tài)，將對提供支持。 早前，F(xiàn)aceBook 攜手微軟發(fā)布了一個全新的開源項...
摘要：幸運的是，這些正是深度學(xué)習所需的計算類型。幾乎可以肯定，英偉達是目前執(zhí)行深度學(xué)習任務(wù)較好的選擇。今年夏天，發(fā)布了平臺提供深度學(xué)習支持。該工具適用于主流深度學(xué)習庫如和。因為的簡潔和強大的軟件包擴展體系，它目前是深度學(xué)習中最常見的語言。 ...
摘要：后來成，就沒有內(nèi)存錯誤了，但是代碼運行了一晚上都不結(jié)束，因此使用貓狗大戰(zhàn)圖片無法復(fù)現(xiàn)效果，這里轉(zhuǎn)發(fā)另外一個博客使用復(fù)現(xiàn)出的結(jié)果，如下圖。圖當然了，在貓狗大戰(zhàn)數(shù)據(jù)集當中不適合使用，因為一般沒有倒過來的動物。 圖像深度學(xué)習任務(wù)中，面對小數(shù)...
摘要：本論文將嘗試概述卷積網(wǎng)絡(luò)的架構(gòu)，并解釋包含激活函數(shù)損失函數(shù)前向傳播和反向傳播的數(shù)學(xué)推導(dǎo)。本文試圖只考慮帶有梯度下降優(yōu)化的典型卷積神經(jīng)網(wǎng)絡(luò)架構(gòu)的制定。 近日南洋理工大學(xué)研究者發(fā)布了一篇描述卷積網(wǎng)絡(luò)數(shù)學(xué)原理的論文，該論文從數(shù)學(xué)的角度闡述整...
摘要：很長一段時間以來，我注意到很多自稱深度學(xué)習專家大咖的人，其實名不副實。大多數(shù)公司不知道如何辨別這些所謂的專家，面試官也不懂深度學(xué)習，不在乎。所以當這些專家的深度學(xué)習解決方案不行時，這些公司就會認為一切只是一場炒作。 進入門檻太低正在毀...
摘要：作者在論文中將這種新的譜歸一化方法與其他歸一化技術(shù)，比如權(quán)重歸一化，權(quán)重削減等，和梯度懲罰等，做了比較，并通過實驗表明，在沒有批量歸一化權(quán)重衰減和判別器特征匹配的情況下，譜歸一化改善生成的圖像質(zhì)量，效果比權(quán)重歸一化和梯度懲罰更好。 就...
摘要：在現(xiàn)有深度學(xué)習框架下，我們所編寫的卷積層往往是一個單行語句，它可以抽象出許多結(jié)構(gòu)細節(jié)。本文試圖闡述卷積層的一個特定的解剖特征，而這是在大多數(shù)文章和相關(guān)討論中被忽略的問題。來自卷積層的輸出經(jīng)常用作后續(xù)卷積層的輸入。 近來，深度學(xué)習的火爆...
摘要：我認為在大多數(shù)深度學(xué)習中，算法層面上隨機梯度的下降是大家所認可的。但目前似乎存在兩個問題計算層面納什平衡達不到可能會退化。 去年我一直在研究如何更好地調(diào)整GANs中的不足，但因為之前的研究方向只關(guān)注了損失函數(shù)，完全忽略了如何尋找極小值問題...
摘要：但年在機器學(xué)習的較高級大會上，蘋果團隊的負責人宣布，公司已經(jīng)允許自己的研發(fā)人員對外公布論文成果。蘋果第一篇論文一經(jīng)投放，便在年月日，斬獲較佳論文。這項技術(shù)由的和開發(fā)，使用了生成對抗網(wǎng)絡(luò)的機器學(xué)習方法。 GANs「對抗生成網(wǎng)絡(luò)之父」Ian Goodf...
摘要：單層年發(fā)表的文章使用了單層解決機器翻譯中不同長度的源語言對齊問題。使用的基本思想是目標語言端的詞往往只與源語言端部分詞相關(guān)。其中計算上下文環(huán)境與源語言詞語的相關(guān)得分，是根據(jù)語言特性設(shè)計的一個對齊模型，感興趣的朋友可以深入了解一下。 1. ...
摘要：我們對種用于數(shù)據(jù)科學(xué)的開源深度學(xué)習庫作了排名。于年月發(fā)布了第名，已經(jīng)躋身于深度學(xué)習庫的上半部分。是最流行的深度學(xué)習前端第位是排名較高的非框架庫。頗受對數(shù)據(jù)集使用深度學(xué)習的數(shù)據(jù)科學(xué)家的青睞。深度學(xué)習庫的完整列表來自幾個來源。 我們對23種...
摘要：在底層的膠囊之后連接了層和層。膠囊效果的討論在論文最后，作者們對膠囊的表現(xiàn)進行了討論。他們認為，由于膠囊具有分別處理不同屬性的能力，相比于可以提高對圖像變換的健壯性，在圖像分割中也會有出色的表現(xiàn)。 背景目前的神經(jīng)網(wǎng)絡(luò)中，每一層的神經(jīng)元...
摘要：可以這樣說，庫使得創(chuàng)建深度學(xué)習模型變得快速且簡單。在本教程中，你將了解如何用中更具靈活性的函數(shù)式來定義深度學(xué)習模型。如何使用函數(shù)式定義簡單的多層感知器卷積神經(jīng)網(wǎng)絡(luò)以及循環(huán)神經(jīng)網(wǎng)絡(luò)模型。 可以這樣說，Keras Python庫使得創(chuàng)建深度學(xué)習模型變...
Apache MXNet v0.12來了。今天凌晨，亞馬遜宣布了MXNet新版本，在這個版本中，MXNet添加了兩個重要新特性：支持英偉達Volta GPU，大幅減少用戶訓(xùn)練和推理神經(jīng)網(wǎng)絡(luò)模型的時間。在存儲和計算效率方面支持稀疏張量（Sparse Tensor），讓用戶通過稀疏矩陣訓(xùn)練模...
摘要：自從年月開源以來，我們做了一些重大改進?，F(xiàn)在，讓我們再回到這個項目開始的地方，回顧我們的進展過程，并分享我們下一步的方向。 自從2016年2月 TensorFlow Serving 開源以來，我們做了一些重大改進?，F(xiàn)在，讓我們再回到這個項目開始的地方，回顧我們...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時根據(jù)訓(xùn)練、推理能力由高到低做了...
89542767
社區(qū)管理員
白馬嘯西風