摘要：可以想象，監(jiān)督式學(xué)習(xí)和增強(qiáng)式學(xué)習(xí)的不同可能會防止對抗性攻擊在黑盒測試環(huán)境下發(fā)生作用，因?yàn)楣魺o法進(jìn)入目標(biāo)策略網(wǎng)絡(luò)。我們的實(shí)驗(yàn)證明，即使在黑盒測試中，使用特定對抗樣本仍然可以較輕易地愚弄神經(jīng)網(wǎng)絡(luò)策略。

機(jī)器學(xué)習(xí)分類器在故意引發(fā)誤分類的輸入面前具有脆弱性。在計(jì)算機(jī)視覺應(yīng)用的環(huán)境中，對這種對抗樣本已經(jīng)有了充分研究。論文中，我們證明了對于強(qiáng)化學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)策略，對抗性攻擊依然有效。我們特別論證了，現(xiàn)有的制作樣本的技術(shù)可以顯著降低訓(xùn)練策略在測試時(shí)的性能。我們的威脅模型認(rèn)為對抗攻擊會為神經(jīng)網(wǎng)絡(luò)策略的原始輸入引入小的干擾。針對對抗樣本攻擊，我們通過白盒測試和黑盒測試， 描述了任務(wù)和訓(xùn)練算法中體現(xiàn)的脆弱程度。 無論是學(xué)習(xí)任務(wù)還是訓(xùn)練算法，我們都觀測到了性能的顯著下降，即使對抗干擾微小到無法被人類察覺的程度。

深度學(xué)習(xí)和深度強(qiáng)化學(xué)習(xí)最近的進(jìn)展使得涵蓋了從原始輸入到動作輸出的end-to-end學(xué)習(xí)策略變?yōu)榭赡堋Ｉ疃葟?qiáng)化學(xué)習(xí)算法的訓(xùn)練策略已經(jīng)在Atari 游戲和圍棋中取得了驕人的成績，展現(xiàn)出復(fù)雜的機(jī)器操縱技巧，學(xué)習(xí)執(zhí)行了運(yùn)動任務(wù)，并在顯示世界中進(jìn)行了無人駕駛。

這些策略由神經(jīng)網(wǎng)絡(luò)賦予了參數(shù)，并在監(jiān)督式學(xué)習(xí)中表現(xiàn)出對于對抗性攻擊的脆弱性。例如，對訓(xùn)練用于分類圖像的卷積神經(jīng)網(wǎng)絡(luò)，添加進(jìn)入輸入圖像的干擾可能會引起網(wǎng)絡(luò)對圖像的誤分，而人類卻看不出加入干擾前后的圖像有何不同。論文中，我們會研究經(jīng)過深度強(qiáng)化學(xué)習(xí)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)策略，是否會受到這樣的對抗樣本的影響。

不同于在學(xué)習(xí)過程中處理修正后的訓(xùn)練數(shù)據(jù)集的監(jiān)督式學(xué)習(xí)，在增強(qiáng)式學(xué)習(xí)中，這些訓(xùn)練數(shù)據(jù)是在整個(gè)訓(xùn)練過程中逐漸被收集起來的。換句話說，用于訓(xùn)練策略的算法，甚至是策略網(wǎng)絡(luò)加權(quán)的隨機(jī)初始態(tài)，都會影響到訓(xùn)練中的狀態(tài)和動作。不難想象，根據(jù)初始化和訓(xùn)練方式的不同，被訓(xùn)練做相同任務(wù)的策略，可能大相徑庭（比如從原始數(shù)據(jù)中提取高級特征）。因此，某些特定的學(xué)習(xí)算法可能導(dǎo)致出現(xiàn)較為不受對抗樣本影響的策略?？梢韵胂?，監(jiān)督式學(xué)習(xí)和增強(qiáng)式學(xué)習(xí)的不同可能會防止對抗性攻擊在黑盒測試環(huán)境下發(fā)生作用，因?yàn)楣魺o法進(jìn)入目標(biāo)策略網(wǎng)絡(luò)。

圖表1：產(chǎn)生對抗樣本的兩種方法，適用于借助DQN算法玩PONG游戲來進(jìn)行策略訓(xùn)練。點(diǎn)形箭頭從小球開始，表明了其運(yùn)動方向，綠色的箭頭則強(qiáng)調(diào)了對于特定輸入來說較大化Q值的action。兩種情況下，對于原始輸入，策略都采取了好的action，但對抗性干擾都造成了小球和點(diǎn)的遺失。

上圖：對抗性樣本使用FGSM構(gòu)造，對抗干擾帶有l(wèi)∞-norm constraint；轉(zhuǎn)化為8-bit的圖像編碼率后，對抗性輸入和原始輸入相等，但仍然影響了性能。

下圖：對抗性樣本使用FGSM構(gòu)造，對抗干擾帶有l(wèi)∞-norm constraint；最優(yōu)干擾是在真實(shí)的小球下方創(chuàng)造一個(gè)“假的”小球。

我們的主要貢獻(xiàn)是描寫了兩個(gè)因素對于對抗樣本的作用效果：用于學(xué)習(xí)策略的深度強(qiáng)化學(xué)習(xí)算法，以及對抗性攻擊自己是否能進(jìn)入策略網(wǎng)絡(luò)（白盒測試vs.黑盒測試）。我們首先分析了對4種Atari games的3類白盒攻擊，其中游戲是經(jīng)過3種深度強(qiáng)化學(xué)習(xí)算法訓(xùn)練過的（DQN、TRPO和A3C）。我們論證了，整體上來說，這些經(jīng)訓(xùn)練的策略對于對抗樣本是脆弱的。然而，經(jīng)過TRPO和A3C訓(xùn)練的策略似乎對于對抗樣本的抵抗性更好。圖表1顯示了在測試時(shí)的特定一刻，兩個(gè)對經(jīng)過DQN訓(xùn)練的Pong策略的對抗性攻擊樣本。

接著，我們考察了對于相同策略的黑盒攻擊，前提是我們假設(shè)對抗性攻擊進(jìn)入到了訓(xùn)練環(huán)境（例如模擬器），但不是目標(biāo)策略的隨機(jī)初始態(tài)，而且不知道學(xué)習(xí)策略是什么。在計(jì)算機(jī)視覺方面，Szegedy等人觀測到了可傳遞特性：一個(gè)設(shè)計(jì)用于被一種模型誤分的對抗樣本經(jīng)常會被其他經(jīng)過訓(xùn)練來解決相同問題的模型誤分。我們觀測到在強(qiáng)化學(xué)習(xí)應(yīng)用中，整個(gè)數(shù)據(jù)集里也存在這樣的可傳遞特性，即一個(gè)設(shè)計(jì)用于干擾某種策略運(yùn)行的對抗樣本也會干擾另一種策略的運(yùn)行，只要這些策略是訓(xùn)練用于解決同樣的問題。特別的，我們觀測到對抗樣本會在使用不同trajectory rollouts算法進(jìn)行訓(xùn)練的模型之間傳遞，會在使用不同訓(xùn)練算法進(jìn)行訓(xùn)練的模型之間傳遞。

下面介紹一下關(guān)于實(shí)驗(yàn)的基本情況。

我們在 Arcade Learning Environment 模擬器中評估了針對4種Atari 2600游戲的對抗性攻擊，四種游戲是：Chopper Command, Pong, Seaquest, and Space Invaders.

我們用3種深度強(qiáng)化學(xué)習(xí)算法對每個(gè)游戲進(jìn)行了訓(xùn)練：A3C、TRPO和DQN。

對于DQN，我們使用了與附錄1相同的前處理和神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。我們也把這一結(jié)構(gòu)用于經(jīng)A3C和TRPO訓(xùn)練的隨機(jī)策略。需要指出，對神經(jīng)網(wǎng)絡(luò)策略的輸入是最后4副圖像的連續(xù)體，從RGB轉(zhuǎn)換為Luminance（Y），大小修改為to 84 × 84。Luminance value被定義為從0到1。策略的輸出所有可能的action的分布。

對于每個(gè)游戲和訓(xùn)練算法，我們從不同的隨機(jī)初始態(tài)開始訓(xùn)練了5個(gè)策略。我們主要關(guān)注了表現(xiàn)較好的訓(xùn)練策略（我們的定義是那些在最后10次訓(xùn)練迭代中拿到較大分?jǐn)?shù)的80%的策略）。我們最終為每個(gè)游戲和訓(xùn)練算法選取了3個(gè)策略。有一些特定組合（比如Seaquest和A3C）僅有一條策略達(dá)到要求。

我們在rllab框架內(nèi)部進(jìn)行了實(shí)驗(yàn)，使用了TRPO的rllab 平行版本，并整合了DQN和A3C。我們使用OpenAI Gym enviroments作為Arcade Learning Environment的交互界面。

我們在 Amazon EC2 c4.8x large machines上用TRPO和A3C進(jìn)行了策略訓(xùn)練。運(yùn)行TRPO時(shí)每100，000步有2000次迭代，用時(shí)1.5到2天。KL散度設(shè)在0.01；運(yùn)行A3C時(shí)，我們使用了18 actor-learner threads，learning rate是0.0004。對于每個(gè)策略，每1,000,000步進(jìn)行200次迭代，耗時(shí)1.5到2天；運(yùn)行DQN時(shí)，我們在Amazon EC2 p2.xlarge machines上進(jìn)行策略訓(xùn)練。每代 100000步，訓(xùn)練2天。

這一研究方向?qū)τ谏窠?jīng)網(wǎng)絡(luò)策略在線上和現(xiàn)實(shí)世界的布局都有顯著意義。我們的實(shí)驗(yàn)證明，即使在黑盒測試中，使用特定對抗樣本仍然可以較輕易地“愚弄”神經(jīng)網(wǎng)絡(luò)策略。這些對抗性干擾在現(xiàn)實(shí)世界中也可能發(fā)生作用，比如在路面上特意添加的色塊可能會搞暈遵循車道策略的無人駕駛汽車。因此，未來工作的一個(gè)重要方向就是發(fā)展和對抗性攻擊相抵抗的防范措施，這可能包括在訓(xùn)練時(shí)增加對抗性干擾的樣本，或者在測試時(shí)偵測對抗性輸入。

論文地址：https://arxiv.org/pdf/1702.02284.pdf

參考文獻(xiàn)

[1] V. Mnih, K. Kavukcuoglu, D. Silver, A. Graves, I. Antonoglou, D. Wierstra, and M. Riedmiller. Playing atari with deep reinforcement learning. In NIPS Workshop on Deep Learning, 2013.

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識

QQ群：81035754