文章庫(kù)ARTICLE COLUMN
摘要：然而，盡管訓(xùn)練技術(shù)有了進(jìn)步，深度學(xué)習(xí)的規(guī)模還是存在問(wèn)題。這種更具擴(kuò)展性的深度網(wǎng)絡(luò)使百度得以實(shí)施一種端對(duì)端的語(yǔ)音識(shí)別系統(tǒng)，它被稱之為。研究人員試圖用分布式處理來(lái)構(gòu)建更廣泛的深度學(xué)習(xí)網(wǎng)絡(luò)，以便能處理更大的數(shù)據(jù)集。 隨著理論和硬件的飛速發(fā)展...
摘要：年的時(shí)候，首先推出了單核含個(gè)神經(jīng)元，個(gè)突觸和個(gè)軸突的芯片原型。個(gè)內(nèi)核，萬(wàn)個(gè)神經(jīng)元億個(gè)突觸集成在直徑只有幾厘米的方寸是年原型大小的之間，而且能耗只有不到毫瓦，的集成的確令人印象深刻。 郵票大小、重量只有幾克，但卻集成了54億個(gè)硅晶體管，內(nèi)...
地址的識(shí)別和分析是本地搜索必不可少的技術(shù)，盡管有許多識(shí)別和分析地址的方法，最有效的是有限狀態(tài)機(jī)。一個(gè)有限狀態(tài)機(jī)是一個(gè)特殊的有向圖（參見(jiàn)有關(guān)圖論的系列），它包括一些狀態(tài)（節(jié)點(diǎn)）和連接這些狀態(tài)的有向弧。下圖是一個(gè)識(shí)別中國(guó)地址的有限狀態(tài)機(jī)的簡(jiǎn)單...
摘要：的杰出工程師阿米特辛格博士就是為設(shè)計(jì)阿卡沖鋒槍的人，在公司內(nèi)部，的排序算法便是以他的名字命名的。每一次，辛格總是堅(jiān)持找簡(jiǎn)單有效的解決方案。辛格非常鼓勵(lì)年輕人不怕失敗，大膽嘗試。 槍迷或者看過(guò)尼古拉斯.凱奇（Nicolas Cage)主演的電影戰(zhàn)爭(zhēng)...
摘要：百度北京深度學(xué)習(xí)實(shí)驗(yàn)室主任余凱和吳是朋友，就是他力勸吳恩達(dá)加入百度的，余凱說(shuō)實(shí)驗(yàn)室確實(shí)以基礎(chǔ)技術(shù)為目標(biāo)。實(shí)驗(yàn)結(jié)果證實(shí)，深度學(xué)習(xí)是開發(fā)機(jī)器學(xué)習(xí)軟件的切實(shí)可行的辦法。 百度是中國(guó)網(wǎng)民上網(wǎng)時(shí)的常用工具，它致力于成為影響全球的力量。作為世界上...
摘要：在中，算法專家凱文斯拉文提起這個(gè)故事，并向觀眾展示了算法控制的圖景。斯拉文把算法稱之為計(jì)算機(jī)用于決策的數(shù)學(xué)。凱文斯拉文表示我們正在用炸藥和巖石鋸打穿美國(guó)，讓算法能早微秒完成交易，所有的一切都是為了一個(gè)前所未有的通訊系統(tǒng)。 The Making of...
摘要：近期，機(jī)器學(xué)習(xí)領(lǐng)域?qū)＜覀冴P(guān)于深度學(xué)習(xí)的一些言論引起了極大的轟動(dòng)。近來(lái)，深度學(xué)習(xí)由于其在模式識(shí)別方面的巨大作用激起了人們的廣泛興趣。綜上所述，當(dāng)前的深度學(xué)習(xí)主要完成的是對(duì)大數(shù)據(jù)的分類和預(yù)測(cè)。 近期，機(jī)器學(xué)習(xí)領(lǐng)域?qū)＜覀冴P(guān)于深度學(xué)習(xí)的一些言...
摘要：今年下半年，高通會(huì)開始對(duì)外透露如何把這項(xiàng)技術(shù)鑲嵌進(jìn)各種電子設(shè)備使用的硅片中。該公司今年將招募研究人員來(lái)測(cè)試這項(xiàng)技術(shù)。而鑒于高通在向其他企業(yè)授權(quán)技術(shù)許可方面獲利豐厚，它可能也會(huì)出售對(duì)神經(jīng)形態(tài)芯片上運(yùn)行的算法的使用權(quán)。 『在不久的將來(lái)，構(gòu)...
摘要：京東更是已經(jīng)實(shí)現(xiàn)深度學(xué)習(xí)的初步運(yùn)用。目前深度學(xué)習(xí)推廣的條件已經(jīng)成熟。李成華表示，隨著深度學(xué)習(xí)的發(fā)展和成熟，的機(jī)器學(xué)習(xí)算法將會(huì)被取代。京東研究深度學(xué)習(xí)的初衷客服對(duì)電商發(fā)展的重要性毋庸置疑。隨后深度學(xué)習(xí)技術(shù)的風(fēng)靡，加深了京東完善的想法。 ...
摘要：等一下，什么樣的神經(jīng)網(wǎng)絡(luò)才算是小型的哈哈這不一定，會(huì)隨著時(shí)間改變。我們一般是依照神經(jīng)網(wǎng)絡(luò)之間的連接數(shù)劃分。訓(xùn)練的神經(jīng)網(wǎng)絡(luò)的連接數(shù)量一般可以達(dá)到幾百億。許多語(yǔ)言學(xué)家對(duì)此表示強(qiáng)烈的不滿，甚至公開地向我表示反對(duì)。 在原文作者Caleb Garling對(duì)話...
摘要：深度學(xué)習(xí)現(xiàn)在被視為能夠超越那些更加直接的機(jī)器學(xué)習(xí)的關(guān)鍵一步。的加入只是谷歌那一季一系列重大聘任之一。當(dāng)下谷歌醉心于深度學(xué)習(xí)，顯然是認(rèn)為這將引發(fā)下一代搜索的重大突破。移動(dòng)計(jì)算的出現(xiàn)已經(jīng)迫使谷歌改變搜索引擎的本質(zhì)特征。 Geoffrey Hiton說(shuō)：...
摘要：以下為譯文年夏天，我在網(wǎng)絡(luò)音樂(lè)平臺(tái)紐約實(shí)習(xí)，致力于使用卷積神經(jīng)網(wǎng)絡(luò)做基于內(nèi)容的音樂(lè)推薦。深度學(xué)習(xí)預(yù)測(cè)聽(tīng)眾喜好基于音頻信號(hào)的音樂(lè)推薦。深度學(xué)習(xí)預(yù)測(cè)聽(tīng)眾喜好去年十二月，我和同事在上發(fā)表了一篇關(guān)于這個(gè)主題的論文，題目是基于內(nèi)容的深度音樂(lè)推薦...
摘要：幾乎沒(méi)有人比歲的更能與深度學(xué)習(xí)緊密地聯(lián)系在一起。他于年成為紐約大學(xué)教授，并從此引領(lǐng)了深度學(xué)習(xí)的發(fā)展。最近，深度學(xué)習(xí)及其相關(guān)領(lǐng)域已然成為最活躍的計(jì)算機(jī)研究領(lǐng)域之一。 本文原載IEEE，作者Lee Gomes，由機(jī)器之心翻譯出品，參與成員：電子羊、翬、...
摘要：有幾次，人工智能死在人工神經(jīng)網(wǎng)絡(luò)上。在過(guò)去十年中，他一直在舉辦為期一周的有關(guān)神經(jīng)網(wǎng)絡(luò)的暑期學(xué)校，我曾經(jīng)拜訪過(guò)。神經(jīng)網(wǎng)絡(luò)壓縮信息之后，這些信息無(wú)法復(fù)原。 魔法已經(jīng)進(jìn)入這個(gè)世界。如今，許多美國(guó)人口袋里裝著薄薄的黑色平板，這些機(jī)器接入遙遠(yuǎn)的...
摘要：長(zhǎng)期以來(lái)，困擾人工神經(jīng)網(wǎng)絡(luò)的難題就是如何設(shè)計(jì)出一套系統(tǒng)，不僅能夠自行學(xué)習(xí)，而且在嘗試新事物時(shí)，仍然記得曾經(jīng)學(xué)過(guò)的東西。 DeepMind的研究人員指出，讓系統(tǒng)學(xué)會(huì)「記憶」是一塊全新的研究領(lǐng)域，他們正在試圖解決這個(gè)難題。這篇文章正好談到這個(gè)問(wèn)題...
摘要：考慮這樣一個(gè)計(jì)算集合，它可以被允許在每一個(gè)節(jié)點(diǎn)和可能的圖結(jié)構(gòu)中，并定義了一個(gè)函數(shù)族。傳統(tǒng)的前饋神經(jīng)網(wǎng)絡(luò)能夠被看做擁有等于層數(shù)的深度比如對(duì)于輸出層為隱層數(shù)加。理論結(jié)果證實(shí)那些事實(shí)上所需要的節(jié)點(diǎn)數(shù)隨著輸入的大小指數(shù)增長(zhǎng)的函數(shù)族是存在的。 ...
摘要：最近一直在看，各類博客論文看得不少但是說(shuō)實(shí)話，這樣做有些疏于實(shí)現(xiàn)，一來(lái)呢自己的電腦也不是很好，二來(lái)呢我目前也沒(méi)能力自己去寫一個(gè)只是跟著的寫了些已有框架的代碼這部分的代碼見(jiàn)后來(lái)發(fā)現(xiàn)了一個(gè)的的，發(fā)現(xiàn)其代碼很簡(jiǎn)單，感覺(jué)比較適合用來(lái)學(xué)習(xí)算法再...
摘要：微軟研究人員在深度神經(jīng)網(wǎng)絡(luò)上取得突破，使其在性能上能趕上目前較先進(jìn)的語(yǔ)音識(shí)別技術(shù)。上沒(méi)寫那個(gè)，不過(guò)我已經(jīng)不大懂了，順帶鏈接還有給的微軟原文鏈接以下為兩個(gè)回答何曉寧多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。 微軟研究人員在深度神經(jīng)網(wǎng)絡(luò)...
摘要：實(shí)驗(yàn)基礎(chǔ)其實(shí)實(shí)現(xiàn)該功能的主要步驟還是需要計(jì)算出網(wǎng)絡(luò)的損失函數(shù)以及其偏導(dǎo)數(shù)，具體的公式可以參考前面的博文八。生成均勻分布的偽隨機(jī)數(shù)。 前言： 現(xiàn)在來(lái)進(jìn)入sparse autoencoder的一個(gè)實(shí)例練習(xí)，參考Ng的網(wǎng)頁(yè)教程：Exercise:Sparse Autoencoder。 ...
摘要：還有一些以后補(bǔ)充。十分推薦更多的教程斯坦福的公開課教學(xué)語(yǔ)言是。加盟百度前，余凱博士在美國(guó)研究院擔(dān)任部門主管，領(lǐng)導(dǎo)團(tuán)隊(duì)在機(jī)器學(xué)習(xí)圖像識(shí)別多媒體檢索視頻監(jiān)控，以及數(shù)據(jù)挖掘和人機(jī)交互等方面的產(chǎn)品技術(shù)研發(fā)。 轉(zhuǎn)載自http://baojie.org/blog/2013/...
deeplearning tutorials： http://deeplearning.net/tutorials/ http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf Restricted boltzmann machine： http://deeplearning.net/tutorial/rbm.html http://blog...
摘要：畢設(shè)做的是的相關(guān)研究，翻過(guò)一些資料，在此做個(gè)匯總。深度學(xué)習(xí)的介紹性文章，可做入門材料。可以當(dāng)作深度學(xué)習(xí)的學(xué)習(xí)材料。一份訓(xùn)練的較佳實(shí)踐。闡述了非監(jiān)督預(yù)訓(xùn)練的作用。這篇博客給出的材料更加全面，作者來(lái)自復(fù)旦大學(xué)，現(xiàn)似乎是在北京研究院工作。 ...
摘要：在每一層學(xué)習(xí)到的結(jié)果表示作為下一層的輸入用監(jiān)督訓(xùn)練來(lái)調(diào)整所有層加上一個(gè)或者更多的用于產(chǎn)生預(yù)測(cè)的附加層當(dāng)前，國(guó)外在這方面的研究就是三分天下的局面，的與微軟合作，的和合作，以及的計(jì)算機(jī)科學(xué)家和。深度學(xué)習(xí)的入門材料。 轉(zhuǎn)載自：http://doctorim...
摘要：此原因在一定程度上阻礙了深度學(xué)習(xí)的發(fā)展，并將大多數(shù)機(jī)器學(xué)習(xí)和信號(hào)處理研究，從神經(jīng)網(wǎng)絡(luò)轉(zhuǎn)移到相對(duì)較容易訓(xùn)練的淺層學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)算法可以看成核機(jī)器學(xué)習(xí)中一個(gè)優(yōu)越的特征表示方法。 摘要：深度學(xué)習(xí)是一類新興的多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。因其緩解...
ChatGPT和Sora等AI大模型應(yīng)用，將AI大模型和算力需求的熱度不斷帶上新的臺(tái)階。哪里可以獲得...
大模型的訓(xùn)練用4090是不合適的，但推理（inference/serving）用4090不能說(shuō)合適，...
圖示為GPU性能排行榜，我們可以看到所有GPU的原始相關(guān)性能圖表。同時(shí)根據(jù)訓(xùn)練、推理能力由高到低做了...
89542767
社區(qū)管理員
白馬嘯西風(fēng)