資訊專欄INFORMATION COLUMN
摘要：長期以來，困擾人工神經(jīng)網(wǎng)絡(luò)的難題就是如何設(shè)計(jì)出一套系統(tǒng)，不僅能夠自行學(xué)習(xí)，而且在嘗試新事物時(shí)，仍然記得曾經(jīng)學(xué)過的東西。
DeepMind的研究人員指出，讓系統(tǒng)學(xué)會(huì)「記憶」是一塊全新的研究領(lǐng)域，他們正在試圖解決這個(gè)難題。這篇文章正好談到這個(gè)問題并介紹了當(dāng)前的研究進(jìn)展。
雖然諸多科技大佬（譬如Musk、霍金）都悲觀的認(rèn)為，人類終究會(huì)被自己制造出來的數(shù)字「生物」奴役。但現(xiàn)在，即便是最復(fù)雜的計(jì)算機(jī)，也無法與人類大腦比肩，其中一個(gè)原因就是那些模仿人腦的神經(jīng)網(wǎng)絡(luò)還無法像人類那樣進(jìn)行記憶，但好（壞）消息是，的研究正在改變這種狀況。
長期以來，困擾人工神經(jīng)網(wǎng)絡(luò)的難題就是如何設(shè)計(jì)出一套系統(tǒng)，不僅能夠自行學(xué)習(xí)，而且在嘗試新事物時(shí)，仍然記得曾經(jīng)學(xué)過的東西。神經(jīng)網(wǎng)絡(luò)輸入時(shí)，它會(huì)在數(shù)字神經(jīng)元與輸出方案之間建立聯(lián)系。而當(dāng)它學(xué)習(xí)新事物時(shí)，神經(jīng)網(wǎng)絡(luò)不得不重新建立新的聯(lián)系，同時(shí)有效覆蓋舊的聯(lián)系。
這被稱之為「災(zāi)難性忘卻」（catastrophic forgetting），儼然成了人工智能實(shí)現(xiàn)與真實(shí)世界與時(shí)俱進(jìn)路上的絆腳石。之前解決這個(gè)問題的一個(gè)方法是將神經(jīng)網(wǎng)絡(luò)接入一個(gè)外部記憶裝置，這個(gè)裝置儲(chǔ)存著機(jī)器學(xué)習(xí)過的一切信息。但是，問題在于，神經(jīng)網(wǎng)絡(luò)能夠自己學(xué)會(huì)記憶嗎？
既然人工神經(jīng)網(wǎng)絡(luò)的靈感源自生物學(xué)，當(dāng)一個(gè)集合了法國、挪威和美國研究人員的國際團(tuán)隊(duì)試圖從動(dòng)物大腦獲取的靈感，利用模塊化（modularity）來解決「災(zāi)難性忘卻」的難題，也就不足為奇了。
這個(gè)方法的出發(fā)點(diǎn)在于，動(dòng)物大腦由許多緊密的神經(jīng)元（組成某個(gè)團(tuán)簇的神經(jīng)元也和其他團(tuán)簇松散相連）團(tuán)簇模塊組成。通過將神經(jīng)網(wǎng)絡(luò)劃分為若干模塊，動(dòng)物能夠?qū)W習(xí)更多的東西，那么通過這個(gè)辦法，人工神經(jīng)網(wǎng)絡(luò)的「記憶」研究能有新突破嗎？
圖片來自視頻截圖
在最近發(fā)布在PLoS Computational Biology（這是一份面向計(jì)算生物學(xué)的月刊，創(chuàng)立于2005年——譯者注）上的一篇論文中，研究人員展現(xiàn)了如何將動(dòng)物進(jìn)化原則以及現(xiàn)代記憶學(xué)習(xí)理論運(yùn)用到神經(jīng)網(wǎng)絡(luò)，從而讓虛擬大腦中產(chǎn)生模塊。
科學(xué)家認(rèn)為，受生物學(xué)啟發(fā)的第一個(gè)設(shè)計(jì)原則是大腦記憶成分布狀。當(dāng)你回想某些信息時(shí)，并不存在一個(gè)供你提取信息的「中央記憶銀行」。研究人員面臨的第一個(gè)任務(wù)就是按照下述方式復(fù)制神經(jīng)網(wǎng)絡(luò)——當(dāng)大腦處理某個(gè)任務(wù)時(shí)，關(guān)閉某些神經(jīng)元；在大腦處理其他任務(wù)時(shí)，再將關(guān)閉的神經(jīng)元打開，在此過程中，將神經(jīng)網(wǎng)絡(luò)分割成若干模塊 （segmenting the network into modules）。
第二個(gè)啟發(fā)點(diǎn)則是隨著時(shí)間的推移，在大腦內(nèi)部建立連接需要一定成本，比如能量。通過為神經(jīng)網(wǎng)絡(luò)連接活動(dòng)設(shè)定「成本」，研究人員迫使神經(jīng)網(wǎng)絡(luò)節(jié)約用于處理輸入的節(jié)點(diǎn)，并以此鼓勵(lì)上述分割設(shè)計(jì)。由于「成本」很高，
網(wǎng)絡(luò)也不會(huì)變成一團(tuán)亂的糾纏節(jié)點(diǎn)。
第三個(gè)原則就是人類、動(dòng)物心理學(xué)中的一個(gè)古老原則：獎(jiǎng)懲效應(yīng)——通過獎(jiǎng)勵(lì)鼓勵(lì)學(xué)習(xí)。換句話說，通過一定手段對(duì)神經(jīng)網(wǎng)絡(luò)的節(jié)點(diǎn)進(jìn)行獎(jiǎng)懲，鼓勵(lì)神經(jīng)網(wǎng)絡(luò)僅學(xué)習(xí)那些符合獎(jiǎng)勵(lì)信號(hào)要求的輸出。
最后，在神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何完成兩種不同的任務(wù)時(shí)，研究人員讓網(wǎng)絡(luò)自主地進(jìn)化與變化，利用前述三種設(shè)計(jì)原則引導(dǎo)神經(jīng)網(wǎng)絡(luò)進(jìn)化出最終組織形式。
結(jié)果，研究人員發(fā)現(xiàn)，分割（segmentation）和迫使減少連接的壓力，使得神經(jīng)網(wǎng)絡(luò)最終進(jìn)化成一種高度模塊化的網(wǎng)絡(luò)，它能在學(xué)習(xí)其他技能時(shí)，記住之前學(xué)到的一切。
這正是邁向能夠進(jìn)化、學(xué)習(xí)新事物的神經(jīng)網(wǎng)絡(luò)的一步，同時(shí)也是人工智能能與真實(shí)世界與時(shí)俱進(jìn)的關(guān)鍵一步。但是，當(dāng)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)如何新事物的時(shí)候，可能需要重復(fù)十幾次這樣的學(xué)習(xí)過程。
讓數(shù)字大腦學(xué)會(huì)「記憶」，可不是件容易的事兒。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4290.html
摘要：摘要本文著重介紹了深度學(xué)習(xí)的一些關(guān)鍵術(shù)語，其中包括生物神經(jīng)元，多層感知器，前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)最近取得了令人吃驚的成就。人工神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)架構(gòu)最初是由深度學(xué)習(xí)的腦神經(jīng)尤其是神經(jīng)元所啟發(fā)的。 摘要： 本文著重介紹了深度學(xué)習(xí)的一些關(guān)鍵術(shù)語，其中包括生物神經(jīng)元，多層感知器（MLP），前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)。對(duì)于初學(xué)者來說，掌握它們可以防止在學(xué)習(xí)請(qǐng)教時(shí)的尷尬~ 深度學(xué)習(xí)已...
摘要：接上文深度學(xué)習(xí)和的聯(lián)合綜述上卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)被設(shè)計(jì)用來處理到多維數(shù)組數(shù)據(jù)的，比如一個(gè)有個(gè)包含了像素值圖像組合成的一個(gè)具有個(gè)顏色通道的彩色圖像。近年來，卷積神經(jīng)網(wǎng)絡(luò)的一個(gè)重大成功應(yīng)用是人臉識(shí)別。 三大牛Yann LeCun、Yoshua Bengio和Geoffrey Hinton在深度學(xué)習(xí)領(lǐng)域的地位無人不知。為紀(jì)念人工智能提出60周年，的《Nature》雜志專門開辟了一個(gè)人工智能 +...
摘要：深度學(xué)習(xí)現(xiàn)在被視為能夠超越那些更加直接的機(jī)器學(xué)習(xí)的關(guān)鍵一步。的加入只是谷歌那一季一系列重大聘任之一。當(dāng)下谷歌醉心于深度學(xué)習(xí)，顯然是認(rèn)為這將引發(fā)下一代搜索的重大突破。移動(dòng)計(jì)算的出現(xiàn)已經(jīng)迫使谷歌改變搜索引擎的本質(zhì)特征。 Geoffrey Hiton說：我需要了解一下你的背景，你有理科學(xué)位嗎？Hiton站在位于加利福尼亞山景城谷歌園區(qū)辦公室的一塊白板前，2013年他以杰出研究者身份加入這家公司。H...
閱讀 3891·2021-09-10 11:22
閱讀 2364·2021-09-03 10:30
閱讀 3677·2019-08-30 15:55
閱讀 1921·2019-08-30 15:44
閱讀 855·2019-08-30 15:44
閱讀 603·2019-08-30 14:04
閱讀 3056·2019-08-29 17:18
閱讀 1277·2019-08-29 15:04
