摘要：老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為深度學(xué)習(xí)的幾何觀點(diǎn)的報(bào)告，匯報(bào)了這方面的進(jìn)展情況。特別是深度學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)能力取決于網(wǎng)絡(luò)的超參數(shù)，如何設(shè)計(jì)超參數(shù)，目前主要依賴于經(jīng)驗(yàn)。

（最近，哈佛大學(xué)丘成桐先生領(lǐng)導(dǎo)的團(tuán)隊(duì)，大連理工大學(xué)羅鐘鉉教授、雷娜教授領(lǐng)導(dǎo)的團(tuán)隊(duì)?wèi)?yīng)用幾何方法研究深度學(xué)習(xí)。老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為“深度學(xué)習(xí)的幾何觀點(diǎn)”的報(bào)告，匯報(bào)了這方面的進(jìn)展情況。這里是報(bào)告的簡(jiǎn)要記錄，具體內(nèi)容見【1】。）

上一次博文（深度學(xué)習(xí)的幾何理解（1） - 流形分布定律）引發(fā)很大反響，許多新朋老友和老顧聯(lián)系，深入探討學(xué)術(shù)細(xì)節(jié)，并給出寶貴意見和建議，在此一并深表謝意。特別是中國(guó)科學(xué)技術(shù)大學(xué)的陳發(fā)來教授提出了和傳統(tǒng)流形學(xué)習(xí)相比較的建議；和熊楚渝先生提出通用學(xué)習(xí)機(jī)的X-形式理論等等。

圖1. 巴塞羅那的馬賽克（barcelona mosaic）兔子，揭示深度學(xué)習(xí)的本質(zhì)。

（感謝李慧斌教授，贈(zèng)送給我們藝術(shù)品，啟發(fā)我們領(lǐng)悟深度學(xué)習(xí)。）

圖2. 流形結(jié)構(gòu)。

萬(wàn)有逼近定理

但是，我們更為關(guān)心的是給定一個(gè)流形，給定一個(gè)深度神經(jīng)網(wǎng)絡(luò)，這個(gè)網(wǎng)絡(luò)能否學(xué)習(xí)這個(gè)流形，即能否實(shí)現(xiàn)參數(shù)化映射，構(gòu)造參數(shù)表示？

網(wǎng)絡(luò)學(xué)習(xí)過程的觀察

圖3. 自動(dòng)編碼器學(xué)習(xí)一條螺旋線。

我們考察一個(gè)更為簡(jiǎn)單的例子，如圖3所示，一條螺旋線嵌入在二維平面上（上行左幀），autoencoder計(jì)算了編碼映射，將其映射到一維直線上（上行中幀），同時(shí)計(jì)算了解碼映射，將直線映回平面，得到重建的曲線（上行右?guī)?。編碼映射誘導(dǎo)了平面的胞腔分解（下行左幀），編碼映射和解碼映射的復(fù)合誘導(dǎo)了更為細(xì)致的胞腔分解（下行中幀），編碼映射的水平集顯示在下行右?guī)?/p>

由此可見，ReLU深度神經(jīng)網(wǎng)絡(luò)的每個(gè)神經(jīng)元代表一個(gè)超平面，將輸入空間一分為二；眾多超平面將輸入空間剖分，然后將每個(gè)胞腔線性映射到輸出空間，由此得到編碼、解碼映射的分片線性逼近。進(jìn)一步，我們可以得到如下關(guān)鍵的觀察：流形（螺旋線）被輸入空間上的胞腔分解分割成很多片，每片流形所在的胞腔被線性映射到參數(shù)域上（一段直線），這個(gè)線性映射限制在流形上是拓?fù)渫摺?/p>

我們將這一計(jì)算框架和有限元方法進(jìn)行類比。線性有限元也是將空間剖分，然后用分片線性函數(shù)來逼近目標(biāo)函數(shù)。但是，在有限元方法中，空間剖分和線性逼近是分離的兩個(gè)過程。在深度學(xué)習(xí)中，這兩個(gè)過程混合在一起，密不可分。有限元的剖分更加局部靈活，深度學(xué)習(xí)的剖分全局刻板。同時(shí)，兩者都是基于變分法則，即在函數(shù)空間中優(yōu)化某種損失函數(shù)。我們可以將每個(gè)神經(jīng)元的參數(shù)歸一化，那么深度網(wǎng)絡(luò)的所有參數(shù)構(gòu)成一個(gè)緊集，損失函數(shù)是網(wǎng)絡(luò)參數(shù)的連續(xù)函數(shù)，必然存在較大最小值。在傳統(tǒng)有限元計(jì)算中，人們往往尋求凸能量，這樣可以保證解的性。在深度學(xué)習(xí)中，損失函數(shù)的凸性比較難以分析。

從歷史經(jīng)驗(yàn)我們知道，有限元分析中更為困難的步驟在于設(shè)計(jì)胞腔分解，這直接關(guān)系到解的存在性和計(jì)算的精度和穩(wěn)定性。深度神經(jīng)網(wǎng)絡(luò)所誘導(dǎo)的輸入空間剖分對(duì)于優(yōu)化過程實(shí)際上也是至關(guān)重要的，我們可以定量地分析網(wǎng)絡(luò)的空間剖分能力。

網(wǎng)絡(luò)學(xué)習(xí)的能力

圖4. 米勒佛的參數(shù)化（編碼）映射。

我們參看彌勒佛曲面的編碼映射，如圖4所示，編碼映射（參數(shù)化映射）可以被ReLU神經(jīng)網(wǎng)絡(luò)表示成分片線性映射，右列顯示了輸入空間和參數(shù)空間的胞腔分解。

為網(wǎng)絡(luò)的分片線性復(fù)雜度（Rectified Linear Complexity）。

這一粗略估計(jì)給出了神經(jīng)網(wǎng)絡(luò)所表達(dá)的所有分片線性函數(shù)的片數(shù)的上限，亦即網(wǎng)絡(luò)分片線性復(fù)雜度的上限。這一不等式也表明：相對(duì)于增加網(wǎng)絡(luò)寬度，增加網(wǎng)絡(luò)的深度能夠更為有效地加強(qiáng)網(wǎng)絡(luò)的復(fù)雜度，即加強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

流形被學(xué)習(xí)的難度

圖6. 克萊因瓶。

如果的維數(shù)小于隱空間的維數(shù)，情形更加復(fù)雜。比如背景空間為4維歐氏空間，流形為克萊因瓶（Klein bottle），隱空間為3維歐氏空間。那么根據(jù)矢量叢理論，克萊因瓶無(wú)法嵌入到三維歐氏空間，編碼映射不存在。由此，流形的拓?fù)錇槠淇蓪W(xué)習(xí)性帶來本質(zhì)困難。目前，人們對(duì)于深度學(xué)習(xí)理論的理解尚未達(dá)到需要應(yīng)用拓?fù)湔系K理論的高度，我們相信未來隨著深度學(xué)習(xí)方法的發(fā)展和完備，拓?fù)淅碚摃?huì)被逐步引入。

圖7. 可被線性編碼和不可被線性編碼的曲線。

如圖1所示，巴塞羅那的馬賽克兔子，整體不可被線性編碼。我們可以將流形分成很多片，每一片都是線性可編碼，然后映分片線性映射來構(gòu)造編碼解碼映射，如此分解所需要的最少片數(shù)被定義成流形的分片線性復(fù)雜度（Rectified Linear Complexity）。

圖8. Peano曲線。

我們可以構(gòu)造分片線性復(fù)雜度任意高的流形。圖8顯示了經(jīng)典的皮亞諾曲線。我們首先構(gòu)造一個(gè)單元，如左幀左上角紅色框內(nèi)所示，然后將此單元拷貝，旋轉(zhuǎn)平移，重新連接，得到左幀的曲線；如果我們將單元縮小一倍，重新構(gòu)造，得到右?guī)厩€。重復(fù)這一過程，我們可以構(gòu)造越來越復(fù)雜的皮亞諾曲線，直至極限，極限曲線通過平面上的每一個(gè)點(diǎn)。在迭代過程中，每一條皮亞諾曲線所包含的單元個(gè)數(shù)呈指數(shù)增長(zhǎng)。每個(gè)單元都是線性不可編碼的，因此亞諾曲線的分片線性復(fù)雜度大于單元個(gè)數(shù)。在迭代過程中，皮亞諾曲線的分片線性復(fù)雜度呈指數(shù)增長(zhǎng)。經(jīng)過修改，Peano曲線可以經(jīng)過任意維歐氏空間中的任意一點(diǎn)。我們將Peano曲線直積上高維球面，就可以構(gòu)造（k+1）為流形，這種流形具有任意高的復(fù)雜度。

如果一個(gè)ReLU神經(jīng)網(wǎng)絡(luò)能夠?qū)σ粋€(gè)嵌入流形進(jìn)行編碼，那么網(wǎng)絡(luò)的分片線性復(fù)雜度必定不低于流形的分片線性復(fù)雜度。通過以上討論，我們看到對(duì)于固定組合結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，其分片線性復(fù)雜度可以被組合結(jié)構(gòu)所界定，我們可以構(gòu)造一個(gè)流形其復(fù)雜度超過網(wǎng)絡(luò)復(fù)雜度的上界。由此我們得到結(jié)論：給定一個(gè)具有固定組合結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，存在一個(gè)流形，此網(wǎng)絡(luò)無(wú)法學(xué)習(xí)（編碼）這個(gè)流形。雖然大家都在直覺上相信這一結(jié)論，但是嚴(yán)格的數(shù)學(xué)證明并不普遍。這里我們將人所共知的一個(gè)基本信念加以數(shù)學(xué)證明。

圖9. 不同的學(xué)習(xí)效果：左幀，輸入流形；右?guī)?，Autoencoder重建的流形。

在實(shí)際應(yīng)用中，深度學(xué)習(xí)具有很大的工程難度，需要很多經(jīng)驗(yàn)性的技巧。特別是深度學(xué)習(xí)網(wǎng)絡(luò)的學(xué)習(xí)能力取決于網(wǎng)絡(luò)的超參數(shù)，如何設(shè)計(jì)超參數(shù)，目前主要依賴于經(jīng)驗(yàn)。如圖9所示，我們用autoencoder編碼解碼彌勒佛頭像曲面，上面一行顯示了輸入輸出曲面，重建后的曲面大體上模仿了米勒佛的總體形狀，但是失去具體的局部細(xì)節(jié)。在下面一行，我們加寬了網(wǎng)絡(luò)，修改了超參數(shù)，重建曲面的逼近精度提高很多。

小結(jié)

ReLU深度神經(jīng)網(wǎng)絡(luò)用分片線性函數(shù)來逼近一般的非線性函數(shù)：每個(gè)神經(jīng)元定義一個(gè)超平面，所有的超平面將輸入空間進(jìn)行胞腔分解，每個(gè)胞腔是一個(gè)凸多面體。映射在每個(gè)胞腔上都是線性映射，整體上是連續(xù)的分片線性映射。編碼映射限制在輸入流形上是拓?fù)渫摺?/p>

深度神經(jīng)網(wǎng)絡(luò)將輸入空間分解的最多胞腔個(gè)數(shù)定義為網(wǎng)絡(luò)的分片線性復(fù)雜度，代表了網(wǎng)絡(luò)學(xué)習(xí)能力的上限；流形需要被分解，每一片可以被背景空間的線性映射所參數(shù)化，這種分解所需的最少片數(shù)定義為流形的分片線性復(fù)雜度。一個(gè)網(wǎng)絡(luò)能夠?qū)W習(xí)一個(gè)流形的必要條件是：流形的復(fù)雜度低于網(wǎng)絡(luò)的復(fù)雜度。對(duì)于任意一個(gè)網(wǎng)絡(luò)，我們都可以構(gòu)造一個(gè)流形，使得此網(wǎng)絡(luò)無(wú)法學(xué)習(xí)。

目前所做的估計(jì)非常粗糙，需要進(jìn)一步精化；對(duì)于優(yōu)化過程的動(dòng)力學(xué)，目前沒有精細(xì)的理論結(jié)果，未來需要建立。

在深度學(xué)習(xí)的應(yīng)用中，人們不單單只關(guān)心流形，也非常關(guān)心流形上的概率分布。如何通過改變編解碼映射，使得重建概率分布很好地逼近數(shù)據(jù)概率分布，使得隱空間的概率分布符合人們預(yù)定的標(biāo)準(zhǔn)分布？這些是變分編碼器（VAE）和對(duì)抗生成網(wǎng)絡(luò)（GAN）的核心問題。下一講，我們討論控制概率分布方法的理論基礎(chǔ)【2,3】。

References? ? ? ? ? ? ? ? ? ??

Na Lei, Zhongxuan Luo, Shing-Tung Yau and David Xianfeng Gu. ?"Geometric Understanding of Deep Learning". arXiv:1805.10451?.?

https://arxiv.org/abs/1805.10451

Xianfeng Gu, Feng Luo, Jian Sun, and Shing-Tung Yau. "Variational principles for minkowski type problems, discrete optimal transport", and discrete monge-ampere equations. Asian Journal of Mathematics (AJM), 20(2):383-398, 2016.

Na Lei,Kehua Su,Li Cui,Shing-Tung Yau,David Xianfeng Gu, "A Geometric View of Optimal Transportation and Generative Model", arXiv:1710.05488. https://arxiv.org/abs/1710.05488

聲明：文章收集于網(wǎng)絡(luò)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754