摘要：是直接作用于圖的卷積神經(jīng)網(wǎng)絡(luò)，允許對結(jié)構(gòu)化數(shù)據(jù)進行端到端的學(xué)習(xí)，也即輸入可以是任意大小和形狀的圖。圖譜卷積和圖卷積神經(jīng)網(wǎng)絡(luò)舉個例子，讓我們看下面這個十分簡單的分層優(yōu)化傳播規(guī)律是神經(jīng)網(wǎng)絡(luò)層的權(quán)矩陣，是像這樣的非線性激活函數(shù)。

Graph Convolutional Network（GCN）是直接作用于圖的卷積神經(jīng)網(wǎng)絡(luò)，GCN 允許對結(jié)構(gòu)化數(shù)據(jù)進行端到端的學(xué)習(xí)，也即輸入可以是任意大小和形狀的圖。本文介紹 GCN 進展，討論各種方法的優(yōu)勢和缺陷。GCN 未來如何拓展用于解決特定類型的問題，例如學(xué)習(xí)指示圖或關(guān)系圖，以及怎樣用學(xué)習(xí)的圖嵌入更多任務(wù)，也值得期待。

現(xiàn)實世界里很多重要的數(shù)據(jù)集都以圖表或網(wǎng)絡(luò)的形式呈現(xiàn)，例如：社交網(wǎng)絡(luò)、知識圖譜、蛋白質(zhì)相互作用網(wǎng)絡(luò)、萬維網(wǎng)，等等。然而直到最近，神經(jīng)網(wǎng)絡(luò)模型對這些結(jié)構(gòu)化數(shù)據(jù)集的泛化仍然很少得到關(guān)注。

過去幾年，很多研究重新思考了推廣神經(jīng)網(wǎng)絡(luò)用于任意結(jié)構(gòu)化圖表的問題（Bruna et al., ICLR 2014; Henaff et al., 2015; Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Defferrard et al., NIPS 2016; Kipf & Welling, 2016），其中有些已經(jīng)在某些領(lǐng)域取得了非常不錯的結(jié)果，而這些領(lǐng)域過去使用基于核函數(shù)的方法、基于圖的正則化技術(shù)或其他方法。

在這篇文章里，我將對這個領(lǐng)域的進展作一個簡要概述，并指出各種方法的強處和不足。這些討論主要關(guān)注最近的兩篇論文：

Kipf & Welling (2016), Semi-Supervised Classification with Graph Convolutional Networks (免責聲明: 我是這篇的第一作者)

Defferrard et al. (NIPS 2016), Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

以及 Ferenc Huszar 的評論文章：How powerful are Graph Convolutions? 這篇文章討論了這些類型的模型的一些限制。

圖神經(jīng)網(wǎng)絡(luò)模型（Neural Network Models on Graphs）簡要介紹

圖卷積網(wǎng)絡(luò)有多強大？

推廣成熟的神經(jīng)模型例如RNN或CNN用于任意結(jié)構(gòu)圖表是個有挑戰(zhàn)性的問題。最近的一些論文，介紹了針對特定問題的架構(gòu)（e.g. Duvenaud et al., NIPS 2015; Li et al., ICLR 2016; Jain et al., CVPR 2016），還有一些利用譜圖理論（Bruna et al., ICLR 2014; Henaff et al., 2015）的圖卷積來定義用于多層神經(jīng)網(wǎng)絡(luò)模型的參數(shù)化濾波器，類似我們熟悉的“經(jīng)典”CNN。

最近的研究關(guān)注縮小快速的啟發(fā)式算法和較慢、但更有規(guī)則性的譜分方法間的差距。Defferrard 等人（NIPS 2016）用神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)的自由參數(shù)的Chebyshev多項式模擬了譜域的平滑濾波。他們在正則區(qū)域（像是MNIST）得到了有說服力的結(jié)果，很接近簡單2D CNN模型的結(jié)果。

Kipf & Welling （2016）的研究采用了類似的方法，從圖譜卷積框架開始，介紹了許多情況下能同時顯著加快訓(xùn)練時間和提高預(yù)測準確度的最簡化方法，在許多基準圖集上得到了極好的分類結(jié)果。

圖卷積神經(jīng)網(wǎng)絡(luò)（GCN）定義

目前，大多數(shù)圖神經(jīng)網(wǎng)絡(luò)模型都有一個某種程度上通用的普遍框架。我把這些模型稱作圖卷積網(wǎng)絡(luò)（Graph Convolutional Networks, GCNs）；卷積，是因為濾波器參數(shù)通常在圖的所有位置中共享（或在其子集，參見 Duvenaud et al. NIPS 2015）。

對這些模型來說，目標是學(xué)習(xí)圖的信號/特征函數(shù)G =（V, E），它的輸入如下：

對每個節(jié)點 i 的特征描述為 xi；概括在特征矩陣 N×D（N：節(jié)點數(shù)，D：輸入特征數(shù)）

以矩陣形式對圖結(jié)構(gòu)的代表描述；通常以鄰接矩陣 A（或其他函數(shù)）的形式

然后生成一個節(jié)點層的輸出 Z（N×F 特征矩陣，F(xiàn)是每個節(jié)點輸出特征的數(shù)量）。圖層面的輸出可以引入一些池化操作（參見：e.g. Duvenaud et al., NIPS 2015）。

每個神經(jīng)網(wǎng)絡(luò)層可以寫成一個非線性函數(shù)：

H(0) = X 和 H(L) = Z （或在圖層面的輸出時，z），L表示層數(shù)。模型不同的只有怎樣選擇f(··，·)的參數(shù)設(shè)定。

圖譜卷積和圖卷積神經(jīng)網(wǎng)絡(luò)

舉個例子，讓我們看下面這個十分簡單的分層優(yōu)化傳播規(guī)律：

W(l) 是神經(jīng)網(wǎng)絡(luò) l 層的權(quán)矩陣，σ(?)是像ReLU這樣的非線性激活函數(shù)。雖然這個模型非常簡單，但它已經(jīng)是非常強大的。

但讓我們先了解這個簡單模型的兩點局限性：A的增殖意味著對每個節(jié)點，我們需要把所有相鄰節(jié)點的所有特征矢量相加，但不能加上節(jié)點本身（除非圖上有自回路）。我們可以強迫圖執(zhí)行自回路：在單位矩陣中加上A。

第二個主要的局限是A 通常不是標準化的，所以A的增殖會完全改變特征矢量是規(guī)模。標準化A能解決這個問題，例如將所有列歸一，即D?1A，D是對角線節(jié)點次數(shù)矩陣。用D?1A相乘符合相鄰節(jié)點特征的平均值。在實踐中，使用對稱標準化，即?

這就不僅是相鄰節(jié)點的平均值，動態(tài)性會顯得更有趣。把這兩個小技巧結(jié)合在一起，我們最終得到了 Kipf &Welling(2016) 論文中介紹的傳播規(guī)律：

其中，I 是單位矩陣，是的對角線節(jié)點的度矩陣。

總結(jié)

這個課題的研究才剛剛起步。過去幾個月里已經(jīng)能看到令人興奮的成果，但我們可能才剛剛觸及這些類型的表面。圖神經(jīng)網(wǎng)絡(luò)將怎樣應(yīng)用于解決特定類型的問題，例如，對指示圖或關(guān)系圖的學(xué)習(xí)，以及怎樣用學(xué)習(xí)的圖嵌入更多任務(wù)等等。這里列舉的還不是全部，我期待在不久的將來有更多人對應(yīng)用和擴展感興趣。

了解更多 & 編譯來源：

http://tkipf.github.io/graph-convolutional-networks/#gcns-part-iii-embedding-the-karate-club-network

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754