資訊專(zhuān)欄INFORMATION COLUMN
摘要：最近老顧收到很多讀者來(lái)信，絕大多數(shù)詢問(wèn)對(duì)抗生成網(wǎng)絡(luò)的最優(yōu)傳輸解釋?zhuān)约昂兔扇瞻才喾匠痰年P(guān)系。蒙日安培方程的幾何解法硬件友好，可以用目前的并行實(shí)現(xiàn)。蒙日安培方程的正則性理論更加復(fù)雜，但是對(duì)于模式塌縮的理解非常關(guān)鍵。
最近老顧收到很多讀者來(lái)信，絕大多數(shù)詢問(wèn)對(duì)抗生成網(wǎng)絡(luò)的最優(yōu)傳輸解釋?zhuān)约昂兔扇?安培方程的關(guān)系。很多問(wèn)題涉及到經(jīng)典蒙日-安培方程理論，這里我們從偏微分方程和幾何角度介紹一下蒙日-安培方程的理論，主要是解的存在性，性。我們盡量用較為初等的方式來(lái)解釋。
深度學(xué)習(xí)和最優(yōu)傳輸
深度學(xué)習(xí)的巨大成功可以歸結(jié)為自然數(shù)據(jù)所滿足如下兩個(gè)定則：1）流形分布律：同類(lèi)自然數(shù)據(jù)滿足特定的概率分布，可以用概率分布來(lái)刻畫(huà)，其支集是高維數(shù)據(jù)背景空間中的低維流形；2）聚類(lèi)分布律：同一數(shù)據(jù)中的不同子類(lèi)表示成不同的概率分布；并且這些概率分布之間的距離足夠遠(yuǎn)，使得這些子類(lèi)可以被區(qū)分。因此，深度學(xué)習(xí)的核心任務(wù)包括：1）學(xué)習(xí)流形結(jié)構(gòu)：即計(jì)算從流形到參數(shù)域的參數(shù)化映射（編碼、解碼映射）；也計(jì)算流形之間的映射；2）概率分布變換：在特征空間或者圖像空間中，計(jì)算兩種概率分布之間的距離，和兩種概率分布之間的變換。
基于最優(yōu)傳輸觀點(diǎn)，特別是幾何上的Alexandrov途徑，我們?cè)O(shè)計(jì)了新穎的生成模型，進(jìn)行了初步試驗(yàn)。這里的幾何算法可以用硬件加速。詳細(xì)的討論請(qǐng)見(jiàn)深度學(xué)習(xí)和幾何（演講提要）。下面，我們用盡量初等的方法來(lái)介紹蒙日-安培方程弱解的存在性和性。
凸函數(shù)
圖1. 左幀非凸集，右?guī)辜?/p>
證明基于下面事實(shí)：正定矩陣之和、正定矩陣和正常數(shù)的數(shù)乘還是正定矩陣；或者用第一個(gè)定義。
圖3. 凸函數(shù)的次微分。
圖4. 勒讓德變換。
圖5. 由支撐平面重構(gòu)凸函數(shù)。
蒙日-安培測(cè)度
蒙日-安培測(cè)度具有非常直觀而且重要的特性。
不等式成立。
圖6. 次微分的單調(diào)性。
蒙日-安培方程
我們可以得到迪利克雷問(wèn)題弱解的穩(wěn)定性如下：
圖7. 錐函數(shù)。
最優(yōu)傳輸映射和蒙日-安培方程
小結(jié)
對(duì)抗生成模型（GAN model）可以用最優(yōu)傳輸理論來(lái)解釋和計(jì)算，生成器等價(jià)于求解最優(yōu)傳輸映射，判別器等價(jià)于計(jì)算Wasserstein距離，即最優(yōu)傳輸映射的傳輸總代價(jià)。
傳輸代價(jià)的Brenier理論將最優(yōu)傳輸映射求解歸結(jié)為蒙日-安培方程的弱解。這里我們用盡量初等的方法介紹了蒙日-安培方程弱解（Alexandrov 解）的存在性和性，由此幫助大家奠定學(xué)習(xí)GAN模型的理論基礎(chǔ)。
除了理論嚴(yán)密清晰，白箱替代黑箱，從深度學(xué)習(xí)的實(shí)戰(zhàn)角度而言，用蒙日-安培方程的幾何解法計(jì)算最優(yōu)傳輸映射來(lái)部分替代目前深度神經(jīng)網(wǎng)絡(luò)生成模型方法，具有很多優(yōu)點(diǎn)：
蒙日-安培方程的幾何解法歸結(jié)為凸優(yōu)化問(wèn)題，保證最優(yōu)解的存在性和性，不會(huì)停留在局部最優(yōu)上面；
蒙日-安培方程的幾何解法具有明確的海森矩陣，可以用牛頓法進(jìn)行優(yōu)化，二階收斂?；蛘哂贸€性的擬牛頓法，效率遠(yuǎn)高于線性的梯度下降法。
蒙日-安培方程幾何解法的誤差可以較精確控制，采樣密度和逼近Brenier勢(shì)能函數(shù)的
誤差模有確定關(guān)系，可以自適應(yīng)條件采樣密度，以提高逼近精度。
算法設(shè)計(jì)具有層級(jí)（hirearchical）和自適應(yīng)（self adaptive）特性，進(jìn)一步提高效率。
蒙日-安培方程的幾何解法硬件友好，可以用目前的GPU并行實(shí)現(xiàn)。
實(shí)驗(yàn)結(jié)果驗(yàn)證了我們的看法，用這種方法從效率和生成質(zhì)量而言，優(yōu)于傳統(tǒng)方法。
蒙日-安培方程的正則性理論更加復(fù)雜，但是對(duì)于模式塌縮的理解非常關(guān)鍵。我們會(huì)在未來(lái)加以詳盡討論。
聲明：文章收集于網(wǎng)絡(luò)，為傳播信息而發(fā)，如有侵權(quán)，請(qǐng)聯(lián)系小編及時(shí)處理，謝謝！
商業(yè)智能與數(shù)據(jù)分析群
興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)
QQ群：81035754
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4848.html
摘要：我們將這些現(xiàn)象籠統(tǒng)稱為廣義的模式崩潰問(wèn)題。這給出了模式崩潰的直接解釋。而傳統(tǒng)深度神經(jīng)網(wǎng)絡(luò)只能逼近連續(xù)映射，這一矛盾造成了模式崩潰。 春節(jié)前夕，北美遭遇極端天氣，在酷寒中筆者來(lái)到哈佛大學(xué)探望丘成桐先生。新春佳節(jié)，本是普天同慶的日子，但對(duì)于孤懸海外的游子而言，卻是更為凄涼難耐。遠(yuǎn)離父母親朋，遠(yuǎn)離故國(guó)家園，自然環(huán)境寒風(fēng)凜冽，飛雪漫天，社會(huì)環(huán)境疏離淡漠，冷清寂寥。在波士頓見(jiàn)到導(dǎo)師和朋友，倍感欣慰。筆...
摘要：老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為深度學(xué)習(xí)的幾何觀點(diǎn)的報(bào)告，匯報(bào)了這方面的進(jìn)展情況。深度學(xué)習(xí)的主要目的和功能之一就是從數(shù)據(jù)中學(xué)習(xí)隱藏的流形結(jié)構(gòu)和流形上的概率分布。 （最近，哈佛大學(xué)丘成桐先生領(lǐng)導(dǎo)的團(tuán)隊(duì)，大連理工大學(xué)羅鐘鉉教授、雷娜教授領(lǐng)導(dǎo)的團(tuán)隊(duì)?wèi)?yīng)用幾何方法研究深度學(xué)習(xí)。老顧受邀在一些大學(xué)和科研機(jī)構(gòu)做了題為深度學(xué)習(xí)的幾何觀點(diǎn)的報(bào)告，匯報(bào)了這方面的進(jìn)展情況。這里是報(bào)告的簡(jiǎn)要記錄，具體內(nèi)容見(jiàn)【1...
摘要：在最近的一次人工智能會(huì)議上，表示自己對(duì)于反向傳播非常懷疑，并提出應(yīng)該拋棄它并重新開(kāi)始。在人工智能多年的發(fā)展過(guò)程中，反向傳播已經(jīng)成為了深度學(xué)習(xí)不可或缺的一部分。最后，我們會(huì)將這些規(guī)則組合成可用于任意神經(jīng)網(wǎng)絡(luò)的反向傳播算法。 現(xiàn)在的深度學(xué)習(xí)發(fā)展似乎已經(jīng)陷入了大型化、深度化的怪圈，我們?cè)O(shè)計(jì)的模型容易被對(duì)抗樣本欺騙，同時(shí)又需要大量的訓(xùn)練數(shù)據(jù)——在無(wú)監(jiān)督學(xué)習(xí)上我們?nèi)〉玫耐黄七€很少。作為反向傳播這一深度...
摘要：因?yàn)樯疃葘W(xué)習(xí)的正統(tǒng)觀念在該領(lǐng)域已經(jīng)很流行了。在機(jī)器和深度學(xué)習(xí)空間中進(jìn)行的大多數(shù)數(shù)學(xué)分析傾向于使用貝葉斯思想作為參數(shù)。如果我們接受了目前深度學(xué)習(xí)的主流觀點(diǎn)任何一層的微分都是公平的，那么或許我們應(yīng)該使用存儲(chǔ)多種變體的復(fù)分析。 深度學(xué)習(xí)只能使用實(shí)數(shù)嗎？本文簡(jiǎn)要介紹了近期一些將復(fù)數(shù)應(yīng)用于深度學(xué)習(xí)的若干研究，并指出使用復(fù)數(shù)可以實(shí)現(xiàn)更魯棒的層間梯度信息傳播、更高的記憶容量、更準(zhǔn)確的遺忘行為、大幅降低的網(wǎng)...
閱讀 1834·2019-08-30 15:55
閱讀 1034·2019-08-26 11:57
閱讀 540·2019-08-26 11:29
閱讀 3378·2019-08-26 10:49
閱讀 1931·2019-08-23 18:40
閱讀 1837·2019-08-23 16:04
閱讀 3124·2019-08-23 11:01
閱讀 2299·2019-08-23 10:56
