資訊專欄INFORMATION COLUMN
摘要：近日，團(tuán)隊(duì)提出了基于近鄰節(jié)點(diǎn)注意機(jī)制的網(wǎng)絡(luò)架構(gòu)，可用于處理復(fù)雜不規(guī)則結(jié)構(gòu)的計(jì)算圖，并在三種困難的基準(zhǔn)測(cè)試中得到了業(yè)內(nèi)較佳水平，研究人員稱該模型有望在未來(lái)處理任意不規(guī)則結(jié)構(gòu)圖。
近日，Bengio 團(tuán)隊(duì)提出了基于近鄰節(jié)點(diǎn)注意機(jī)制的網(wǎng)絡(luò)架構(gòu) GAT，可用于處理復(fù)雜、不規(guī)則結(jié)構(gòu)的計(jì)算圖，并在三種困難的基準(zhǔn)測(cè)試中得到了業(yè)內(nèi)較佳水平，研究人員稱該模型有望在未來(lái)處理任意不規(guī)則結(jié)構(gòu)圖。該論文現(xiàn)已提交至 ICLR 2018 大會(huì)。
卷積神經(jīng)網(wǎng)絡(luò)已成功應(yīng)用于解決圖像分類、語(yǔ)義分割、機(jī)器翻譯等問(wèn)題，其中背后的數(shù)據(jù)表證有著網(wǎng)格狀的結(jié)構(gòu)。這些結(jié)構(gòu)通過(guò)把學(xué)習(xí)到的參數(shù)應(yīng)用到所有的輸入位置，能高效的重復(fù)使用局部過(guò)濾器。
然而，許多有趣任務(wù)的數(shù)據(jù)并不能表示為網(wǎng)格狀的結(jié)構(gòu)，而是分布在不規(guī)則的區(qū)域。這就像是 3D 網(wǎng)格、社交網(wǎng)絡(luò)、通信網(wǎng)絡(luò)、生物網(wǎng)絡(luò)或者大腦連接組一樣。這樣的數(shù)據(jù)通常用圖（graph）的形式表示。
目前的文獻(xiàn)中，已經(jīng)有很多嘗試來(lái)拓展神經(jīng)網(wǎng)絡(luò)以解決圖隨意的架構(gòu)。早期的研究使用遞歸神經(jīng)網(wǎng)絡(luò)在圖域中把數(shù)據(jù)直接表達(dá)為有向非循環(huán)圖。圖神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)（GNN）首次出現(xiàn)于 Gori 等人（2005）與 Scarselli 等人（2009）的論文，把它作為遞歸神經(jīng)網(wǎng)絡(luò)的泛化形式，能夠直接處理更普遍的圖類，比如循環(huán)圖、有向和無(wú)向的圖。GNN 包括一個(gè)迭代過(guò)程，來(lái)傳播節(jié)點(diǎn)狀態(tài)直到平衡；然后是一個(gè)神經(jīng)網(wǎng)絡(luò)，基于其狀態(tài)為每個(gè)節(jié)點(diǎn)生成一個(gè)輸出；之后，這種思路被 Li 等人（2016）采用并改進(jìn)，提出在傳播步驟中使用門(mén)控循環(huán)單元（Cho et al.,2014)。
因此，把卷積泛化到圖域中一直是個(gè)引發(fā)研究者興趣的課題。在這個(gè)方面的進(jìn)步通常可被歸類為光譜方法與非光譜方法。
在這篇論文中，作者們提出了一種基于注意機(jī)制的架構(gòu)，能夠完成圖結(jié)構(gòu)數(shù)據(jù)的節(jié)點(diǎn)分類。該方法的思路是通過(guò)注意其鄰位節(jié)點(diǎn)，計(jì)算圖中每個(gè)節(jié)點(diǎn)的隱藏表征，還帶有自注意策略。這種注意架構(gòu)有多重性質(zhì)：
（1）運(yùn)算高效，因?yàn)榕R近節(jié)點(diǎn)對(duì)可并行；
（2）可以通過(guò)對(duì)近鄰節(jié)點(diǎn)指定任意的權(quán)重應(yīng)用于不同 degree 的圖節(jié)點(diǎn)；
（3）該模型可以直接應(yīng)用于歸納學(xué)習(xí)問(wèn)題中，其中包括了需要將模型泛化到此前未見(jiàn)的圖的任務(wù)。
作者們提出的通過(guò)節(jié)點(diǎn)連接共享神經(jīng)網(wǎng)絡(luò)計(jì)算的方法和關(guān)系網(wǎng)絡(luò)（Santoro et al., 2017）的形式類似，其中對(duì)象之間的關(guān)系（用卷積神經(jīng)網(wǎng)絡(luò)提取圖像中的區(qū)域特征）通過(guò)應(yīng)用一種共享機(jī)制將所有的對(duì)象兩兩配對(duì)然后聚合而成。他們?cè)谌N有挑戰(zhàn)性的基準(zhǔn)測(cè)試上驗(yàn)證了提出的方法：Cora 和 Citeseer 引用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集和一個(gè)蛋白質(zhì)與蛋白質(zhì)相互作用的數(shù)據(jù)集，新方法在這些測(cè)試中均獲得了當(dāng)前較佳的結(jié)果，展現(xiàn)了基于注意的模型處理任意結(jié)構(gòu)圖的潛力。
論文：Graph Attention Networks
論文鏈接：https://arxiv.org/abs/1710.10903
我們提出了圖注意網(wǎng)絡(luò)（graph attention networks，GATs），這是一種新型的神經(jīng)網(wǎng)絡(luò)架構(gòu)，用于處理圖結(jié)構(gòu)化的數(shù)據(jù)（graph-structured data），利用隱藏的自注意層克服了過(guò)去的基于圖卷積或其近似的方法的缺點(diǎn)。這些層的節(jié)點(diǎn)可以注意近鄰節(jié)點(diǎn)的特征，通過(guò)將這些層堆疊起來(lái)，我們可以為不同節(jié)點(diǎn)的近鄰指定不同的權(quán)重，而不需要耗費(fèi)任何繁重的矩陣計(jì)算（比如矩陣求逆），也不需要預(yù)先知道圖的結(jié)構(gòu)。通過(guò)這種方法，我們同時(shí)解決了多個(gè)基于頻譜的圖神經(jīng)網(wǎng)絡(luò)的關(guān)鍵挑戰(zhàn)，并準(zhǔn)備將模型應(yīng)用于歸納問(wèn)題以及直推問(wèn)題。我們的 GAT 模型在三種公認(rèn)的直推和歸納圖基準(zhǔn)測(cè)試中取得了當(dāng)前較佳的結(jié)果：Cora 和 Citeseer 引用神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集和一個(gè)蛋白質(zhì)與蛋白質(zhì)相互作用的數(shù)據(jù)集（其中的測(cè)試圖在訓(xùn)練過(guò)程中完全不可見(jiàn)）。
GAT 的架構(gòu)
圖 1. 左方：GAT 模型中應(yīng)用的注意機(jī)制 a(W~hi ,W~hj )，通過(guò)一個(gè)權(quán)重向量參數(shù)化~a ∈ R^2F"。右方：節(jié)點(diǎn) 1 對(duì)其近鄰節(jié)點(diǎn)的多頭注意（其中 K=3 heads）。不同的箭頭格式和顏色表示獨(dú)立的注意計(jì)算。來(lái)自每個(gè)頭的聚合特征連接或平均后得到 ~h1"。
表 1：實(shí)驗(yàn)中使用的數(shù)據(jù)集。
表 2：對(duì) Cora 和 Citeseer 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果（分類準(zhǔn)確度）的總結(jié)。
表 3：對(duì) PPI 數(shù)據(jù)集的實(shí)驗(yàn)結(jié)果（微平均的 F1 分?jǐn)?shù)）的總結(jié)。
圖 2. 在 Cora 數(shù)據(jù)集上對(duì)一個(gè)預(yù)訓(xùn)練的 GAT 模型的第一個(gè)隱藏層的計(jì)算特征表示的 t-SNE 圖。節(jié)點(diǎn)顏色表示類別。邊的粗細(xì)表示節(jié)點(diǎn) i 和 j 之間的聚合歸一化注意系數(shù)，由所有 8 個(gè)注意頭計(jì)算得出：
歡迎加入本站公開(kāi)興趣群商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4653.html
摘要：神經(jīng)網(wǎng)絡(luò)在自然語(yǔ)言處理方面，未來(lái)有巨大的應(yīng)用潛力。講座學(xué)者之一與深度學(xué)習(xí)大神蒙特利爾大學(xué)學(xué)者在大會(huì)上發(fā)表了論文，進(jìn)一步展現(xiàn)神經(jīng)機(jī)器翻譯的研究結(jié)果。那些指令的語(yǔ)義就是習(xí)得的進(jìn)入嵌入中，來(lái)較大化翻譯質(zhì)量，或者模型的對(duì)數(shù)似然函數(shù)。 在 8月7日在德國(guó)柏林召開(kāi)的2016 計(jì)算語(yǔ)言學(xué)(ACL)大會(huì)上，學(xué)者Thang Luong、Kyunghyun Cho 和 Christopher D. Mannin...
摘要：另外，當(dāng)損失函數(shù)接近全局最小時(shí)，概率會(huì)增加。降低訓(xùn)練過(guò)程中的學(xué)習(xí)率。對(duì)抗樣本的訓(xùn)練據(jù)最近信息顯示，神經(jīng)網(wǎng)絡(luò)很容易被對(duì)抗樣本戲弄。使用高度正則化會(huì)有所幫助，但會(huì)影響判斷不含噪聲圖像的準(zhǔn)確性。 由 Yoshua Bengio、 Leon Bottou 等大神組成的講師團(tuán)奉獻(xiàn)了 10 天精彩的講座，劍橋大學(xué)自然語(yǔ)言處理與信息檢索研究組副研究員 Marek Rei 參加了本次課程，在本文中，他精煉地...
摘要：深度學(xué)習(xí)通過(guò)組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度學(xué)習(xí)的概念由等人于年提出。但是自年以來(lái)，機(jī)器學(xué)習(xí)領(lǐng)域，取得了突破性的進(jìn)展。 深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來(lái)解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學(xué)習(xí)是無(wú)監(jiān)督學(xué)習(xí)的一種。 深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知...
摘要：八月初，我有幸有機(jī)會(huì)參加了蒙特利爾深度學(xué)習(xí)暑期學(xué)校的課程，由最知名的神經(jīng)網(wǎng)絡(luò)研究人員組成的為期天的講座。另外，當(dāng)損失函數(shù)接近全局最小時(shí)，概率會(huì)增加。降低訓(xùn)練過(guò)程中的學(xué)習(xí)率。對(duì)抗樣本的訓(xùn)練據(jù)最近信息顯示，神經(jīng)網(wǎng)絡(luò)很容易被對(duì)抗樣本戲弄。 8月初的蒙特利爾深度學(xué)習(xí)暑期班，由Yoshua Bengio、 Leon Bottou等大神組成的講師團(tuán)奉獻(xiàn)了10天精彩的講座，劍橋大學(xué)自然語(yǔ)言處理與信息檢索研...
摘要：因?yàn)樯疃葘W(xué)習(xí)的正統(tǒng)觀念在該領(lǐng)域已經(jīng)很流行了。在機(jī)器和深度學(xué)習(xí)空間中進(jìn)行的大多數(shù)數(shù)學(xué)分析傾向于使用貝葉斯思想作為參數(shù)。如果我們接受了目前深度學(xué)習(xí)的主流觀點(diǎn)任何一層的微分都是公平的，那么或許我們應(yīng)該使用存儲(chǔ)多種變體的復(fù)分析。 深度學(xué)習(xí)只能使用實(shí)數(shù)嗎？本文簡(jiǎn)要介紹了近期一些將復(fù)數(shù)應(yīng)用于深度學(xué)習(xí)的若干研究，并指出使用復(fù)數(shù)可以實(shí)現(xiàn)更魯棒的層間梯度信息傳播、更高的記憶容量、更準(zhǔn)確的遺忘行為、大幅降低的網(wǎng)...
閱讀 709·2021-09-30 09:47
閱讀 2900·2021-09-04 16:40
閱讀 886·2019-08-30 13:18
閱讀 3478·2019-08-29 16:22
閱讀 1587·2019-08-29 12:36
閱讀 638·2019-08-29 11:11
閱讀 1503·2019-08-26 13:47
閱讀 1156·2019-08-26 13:32
