摘要：列車高速撞上來，壓碎了這輛自動駕駛汽車，乘客當場死亡。的計算機科學(xué)家阿塔利表示我們可以把這些東西看作是人工智能網(wǎng)絡(luò)會以某種方式處理的輸入信息，但機器在看到這些輸入信息后會做出一些意想不到的反應(yīng)。谷歌大腦正在研發(fā)智能機器。

簡評：如果人工智能犯了錯怎么辦？

乘客看到了停車標志，突然感到一陣恐慌，因為他搭乘的自動駕駛汽車反而開始加速。

當他看到前面的鐵軌上一列火車向他們疾馳而來時，他張開嘴對前面的司機大聲喊叫，但他突然意識到汽車前坐并沒有司機。列車高速撞上來，壓碎了這輛自動駕駛汽車，乘客當場死亡。

這個場景是虛構(gòu)的，但是凸顯了當前人工智能中一個非常真實的缺陷。

在過去的幾年里，已經(jīng)有越來越多的例子表明 —— 機器可以被誤導(dǎo)，看見或聽見根本不存在的東西。如果出現(xiàn)「噪音」會干擾到人工智能的識別系統(tǒng)，就可能產(chǎn)生誤覺。比如上面的場景，盡管停車標志在人眼中清晰可見，但機器卻未能識別出來。

「停止」標志上一些簡單的貼紙就足以使機器視覺算法看不見這個告示，而在人類的眼中依然顯而易見

計算機科學(xué)家稱之為「對抗性例子」(adversarial examples)。

MIT 的計算機科學(xué)家阿塔利（Anish Athalye）表示：

我們可以把這些東西看作是人工智能網(wǎng)絡(luò)會以某種方式處理的輸入信息，但機器在看到這些輸入信息后會做出一些意想不到的反應(yīng)。

到目前為止，人們主要關(guān)注的是視覺識別系統(tǒng)。

阿塔利已經(jīng)證明，將一張貓的圖像稍加改動，人眼看來仍是一只標準的貓，卻被所謂的神經(jīng)網(wǎng)絡(luò)誤解為是鱷梨醬。

最近，阿塔利把注意力轉(zhuǎn)向了實際物體。發(fā)現(xiàn)只要稍微調(diào)整一下它們的紋理和顏色，就可以騙過人工智能，把這些物體認作別的東西。

在一個案例中，棒球被誤認為是一杯濃縮咖啡，而在另一個案例中，3D 打印的海龜被誤認為是步槍。他們還制造了約 200 個 3D 打印物體，這些物體以類似的方式欺騙了電腦。

阿塔利表示：

起初，這只是一種好奇，然而，隨著這些智能系統(tǒng)越來越多地部署在現(xiàn)實世界中，人們正將其視為一個潛在的安全問題。

以目前正在進行實地試驗的無人駕駛汽車為例：這些汽車通常依靠復(fù)雜的深度學(xué)習神經(jīng)網(wǎng)絡(luò)導(dǎo)航，并告訴它們該做什么。

但在去年，研究人員證明，僅僅只在路標上粘一兩張小貼紙，神經(jīng)網(wǎng)絡(luò)就可能受騙，將道路上的「停車」標志誤認為限速標志。

盡管對于機器學(xué)習算法，讓海龜看起來像步槍似乎是無害的，但研究人員擔心，隨著人工智能在現(xiàn)實世界中的應(yīng)用，可能會帶來一些危險后果。

神經(jīng)網(wǎng)絡(luò)并不是唯一使用的機器學(xué)習框架，但其他的人工智能框架似乎也容易遭受這些怪異事件的影響，并且不限于視覺識別系統(tǒng)。

谷歌大腦（Google Brain）正在研發(fā)智能機器。谷歌大腦的研究科學(xué)家卡里尼（Nicholas Carlini）說，

在我見過的每一個領(lǐng)域，從圖像分類到自動語音識別，再到翻譯，神經(jīng)網(wǎng)絡(luò)都可能受到攻擊，導(dǎo)致輸入信號被錯誤分類。

卡里尼作了展示，加上一些摩擦的背景噪音后，「沒有數(shù)據(jù)集的文章是無用的」這句話的讀音，機器會誤譯為「好，谷歌要瀏覽?http://evil.com」。在另一個例子中，巴赫的第一號無伴奏大提琴組曲（Cello Suit 1）中的一段音樂節(jié)選被記錄為「語言可以嵌入音樂」。

在卡里尼看來，這些對抗性的例子「最終證明，哪怕在非常簡單的任務(wù)上，機器學(xué)習也沒有達到人類的能力」。

對我們的耳朵來說，一段古典音樂聽起來就是樂器的交響樂，但這段音樂若稍作修改，人工智能可能會理解為是一個語音指令。

人工神經(jīng)網(wǎng)絡(luò)是大致模仿大腦（即生物神經(jīng)網(wǎng)絡(luò)）處理視覺信息的功能并從中學(xué)習方法。

神經(jīng)網(wǎng)絡(luò)的工作原理大致是，獲取的數(shù)據(jù)通過多層人工神經(jīng)元網(wǎng)絡(luò)傳輸進行信息處理，在接受到成百上千個相同物體的樣本（通常由人類標記）的訓(xùn)練之后，神經(jīng)網(wǎng)絡(luò)開始建立此物體的視覺識別模式，從而能夠在其后認得出正在觀看的東西是這種物體。

其中最復(fù)雜的系統(tǒng)采用「深度學(xué)習」，這意味著需要擁有更多的信息處理層。

稍微改變物體的紋理，研究人員能夠讓一個3D打印的棒球看起來像一杯濃縮咖啡。

然而，盡管計算機科學(xué)家了解人工神經(jīng)網(wǎng)絡(luò)如何工作，但他們并不一定知道在處理大數(shù)據(jù)時的具體細節(jié)。

我們目前對神經(jīng)網(wǎng)絡(luò)的理解還不夠。比如說，無法準確解釋為什么會存在對抗性例子，也不知道如何解決這個問題。

部分問題可能與現(xiàn)有技術(shù)被設(shè)計用來解決的任務(wù)的性質(zhì)有關(guān)，例如區(qū)分貓和狗的圖像。為了做到這一點，神經(jīng)網(wǎng)絡(luò)技術(shù)將處理大量貓和狗的模樣信息，直到有足夠的數(shù)據(jù)點來區(qū)分兩者。

一個真正強大的圖像分類器會復(fù)制「相似性」對人類的作用，因而可以認出一個孩子涂鴉的貓和一張貓的照片以及一只現(xiàn)實生活中移動的貓代表的是同一樣?xùn)|西。盡管深度學(xué)習神經(jīng)網(wǎng)絡(luò)令人印象深刻，但在對物體進行分類、感知周遭環(huán)境或處理突發(fā)事件方面，仍無法與人腦匹敵。

如果我們想要開發(fā)出能夠在現(xiàn)實世界中發(fā)揮作用的真正智能機器，或許我們應(yīng)該回到人腦上來，更好地理解人腦是如何解決這些問題的。

雖然神經(jīng)網(wǎng)絡(luò)是受到人類視覺皮層的啟發(fā)，但越來越多的人認識到這種相似性只是表面現(xiàn)象。一個關(guān)鍵的區(qū)別在于，除了識別物體邊緣的線條或物體本身等視覺特征外，我們的大腦還對這些特征之間的關(guān)系進行編碼。因此，物體的邊緣就構(gòu)成了這個物體的一部分。這使我們能夠?qū)ξ覀兯吹降哪Ｊ劫x予意義。

當你或我看著一只貓時，我們看到了構(gòu)成貓的所有特征，以及它們之間的相互關(guān)系，這種相互「捆綁的」信息是我們理解世界的能力和我們的一般智力的基礎(chǔ)。

這個起關(guān)鍵作用的捆綁信息在當代的人工神經(jīng)網(wǎng)絡(luò)中是缺失的。

對于更具體的行為模式，科學(xué)家仍在探索。我們清楚的是 —— 大腦的工作方式與我們現(xiàn)有的機器深度學(xué)習模式非常不同，因此，最終可能會走上一條完全不同的路才能成功。很難說可行性有多大，以及取得成功需要多長時間。

與此同時，對于越來越多人工智能驅(qū)動的機器人、汽車和程序，我們可能需要避免對其過于信任。因為你永遠不知道人工智能是不是正在產(chǎn)生被誤導(dǎo)的視覺。?

原文鏈接：The ‘weird events’ that make machines hallucinate