鄧力：如何把深度強(qiáng)化學(xué)習(xí)用于BOT開(kāi)發(fā)

cnsworder 發(fā)布于2019-04-25 18:04 / 1672人閱讀

摘要：月，谷歌宣布要開(kāi)發(fā)驅(qū)動(dòng)的，即谷歌助理。由于最近機(jī)器學(xué)習(xí)和有了巨大進(jìn)展，人工智能現(xiàn)在已經(jīng)成為可能。人工智能會(huì)采用迭代和反饋回路來(lái)自我發(fā)展，并趨于完美。這種的獎(jiǎng)勵(lì)函數(shù)用于深度強(qiáng)化學(xué)習(xí)算法先簡(jiǎn)單稱之為情感智能不可能被輕而易舉地量化。

今年三月，微軟CEO Satya Nadella談到現(xiàn)在的行業(yè)趨勢(shì)是更普遍地使用人類(lèi)語(yǔ)言與計(jì)算設(shè)備交互，他將這一趨勢(shì)稱為“對(duì)話即平臺(tái)”（conversationas a platform）。

他還宣布了幾項(xiàng)聊天機(jī)器人（bot）計(jì)劃，包括微軟公司的聊天機(jī)器人開(kāi)發(fā)工具（bot framework）。今年四月，F(xiàn)acebook推出了帶有 bot 的 Messenger platform。5月，谷歌宣布要開(kāi)發(fā)AI驅(qū)動(dòng)的bot，即谷歌助理。自此，bot被廣泛認(rèn)為是一種新的用戶界面（UI），會(huì)從根本上改變?nèi)藗儗?duì)計(jì)算機(jī)的體驗(yàn)。

APP和網(wǎng)頁(yè)模式有什么問(wèn)題？

App平臺(tái)是蘋(píng)果公司多年前為其智能手機(jī)發(fā)明的，之后，谷歌也推出自己的Google Play Store。APP平臺(tái)建立在一個(gè)統(tǒng)一的資源模型上（該模型假定具有一定的內(nèi)存容量和處理速度的手機(jī)能為你提供所需要的一切）。但這也帶來(lái)一個(gè)負(fù)面影響，那就是手機(jī)屏幕被大量的APP圖標(biāo)霸屏，雖然人們經(jīng)常使用的APP還不足20個(gè)。

事實(shí)上，活躍的APP數(shù)量正在減少。整體而言，雖然已發(fā)布的APP數(shù)量有好幾百萬(wàn)，可其中有許多從未被使用。這無(wú)疑是在浪費(fèi)設(shè)備資源和用戶下載、安裝和管理APP的時(shí)間。

網(wǎng)頁(yè)模式對(duì)于移動(dòng)端的 UI 來(lái)說(shuō)更加糟糕。通過(guò)手機(jī)使用web服務(wù)的頻率很低，原因是許多熱門(mén)網(wǎng)站的設(shè)計(jì)和優(yōu)化都是針對(duì)非移動(dòng)的PC端的，而PC通常都接入了寬帶。

智能手機(jī)的帶寬和計(jì)算能力有限，這對(duì)許多Web服務(wù)而言是很大的障礙。此外，大多數(shù)網(wǎng)站都遵循以頁(yè)面為中心配置信息的規(guī)范，導(dǎo)致（非移動(dòng)端）瀏覽器的就像是電子書(shū)閱讀器。這對(duì)于移動(dòng)設(shè)備而言，這并不是較佳選擇。

這樣帶來(lái)的結(jié)果是：我們需要重新設(shè)計(jì)手機(jī)的UI，以實(shí)現(xiàn)移動(dòng)時(shí)代的全部潛力。

移動(dòng)端UI的新范式：對(duì)話

幸運(yùn)的是，在重新設(shè)計(jì)和再實(shí)現(xiàn)過(guò)程中，出現(xiàn)了一種適合手機(jī)的新模式。這種新的“對(duì)話即平臺(tái)”模式讓移動(dòng)用戶能發(fā)現(xiàn)、訪問(wèn)和使用與日常生活相關(guān)的信息和服務(wù)。這種模式下，有用的信息和服務(wù)能自然地融入對(duì)話里。

這種對(duì)話式UI模式將會(huì)形成一個(gè)新的生態(tài)，該生態(tài)比以前的web生態(tài)和app生態(tài)有更大的規(guī)模優(yōu)勢(shì)。這很可能是因?yàn)樾畔a(chǎn)業(yè)正在進(jìn)入一個(gè)物質(zhì)世界數(shù)字化的新時(shí)代，正在將這些虛擬的聯(lián)系與現(xiàn)實(shí)服務(wù)連接起來(lái)。這個(gè)物質(zhì)的、交互的、以服務(wù)為中心的世界正在超越以往靜態(tài)的web信息配置時(shí)代。

消息（messaging）是新型對(duì)話模式的核心，包括一連串的短文本、音頻和視頻消息。因其具有異步和實(shí)時(shí)兩種性質(zhì)，消息能推動(dòng)數(shù)字對(duì)話的發(fā)展。用戶不再需要為交互而提前挪出時(shí)間，就可以發(fā)起近乎實(shí)時(shí)的對(duì)話。

作為智能對(duì)話交互代理的Bot

對(duì)話交互提供的各種類(lèi)型的智能服務(wù)對(duì)以對(duì)話為中心的移動(dòng)UI模式更加重要。我們現(xiàn)在有智能個(gè)人助理，如Siri、Google Now、Cortana和Alexa。我們還有能通過(guò)自動(dòng)會(huì)話界面來(lái)獲取的個(gè)人聊天機(jī)器人（bot）。

在新的對(duì)話模式的最后階段：用戶可能不再需要下載APP；人工智能的 bot 利用語(yǔ)音和自然語(yǔ)言能力，能智能監(jiān)控并通過(guò)消息UI做出響應(yīng)，自動(dòng)將必要的服務(wù)資源（很可能儲(chǔ)存在云端）提供給用戶。

由于最近機(jī)器學(xué)習(xí)和AI有了巨大進(jìn)展，人工智能bot現(xiàn)在已經(jīng)成為可能。這些進(jìn)展使我們能將越來(lái)越多的我們所關(guān)心的東西自動(dòng)化。過(guò)去幾年發(fā)展起來(lái)的深度學(xué)習(xí)，特別是過(guò)去一年半里產(chǎn)生的深度強(qiáng)化學(xué)習(xí)（RL），高效利用了日益增加的數(shù)據(jù)和計(jì)算資源，提高我們?yōu)槭澜绛h(huán)境和所有與我們生活相關(guān)的應(yīng)用領(lǐng)域建立計(jì)算模型的能力。

在機(jī)器學(xué)習(xí)技術(shù)中，RL具有鮮明的特色。你需要用戶的反饋，同時(shí)也需要獎(jiǎng)勵(lì)用戶。這和下國(guó)際象棋很像，你在玩的時(shí)候不知道獎(jiǎng)勵(lì)是什么，但是最終你會(huì)知道。你知道與AI的交互最后的結(jié)果是任務(wù)完成。你知道目標(biāo)是預(yù)訂航班，但是bot只會(huì)說(shuō)那些可以實(shí)現(xiàn)這一目標(biāo)的話，即便用戶可能不明白的是，這個(gè)bot正在努力追求最終目標(biāo)和獎(jiǎng)勵(lì)。

這些進(jìn)展使得自動(dòng)語(yǔ)音和自然語(yǔ)言理解觸手可及，最終使我們能夠解決在許多領(lǐng)域?qū)υ捓斫夂蛯?duì)話的問(wèn)題。基于深度強(qiáng)化學(xué)習(xí)的AI bot 會(huì)理解所有領(lǐng)域的語(yǔ)義，還能夠擴(kuò)展到現(xiàn)在還無(wú)法涉足的領(lǐng)域。

人工智能 bot 會(huì)采用迭代和反饋回路來(lái)自我發(fā)展，并趨于完美。人工智能bot的強(qiáng)化學(xué)習(xí)組件中內(nèi)置的環(huán)境模式，能夠自動(dòng)地且精致地檢測(cè)、獲取、創(chuàng)造并積累新知識(shí)，讓我們能發(fā)展越來(lái)越多的智能服務(wù)并積累更多經(jīng)驗(yàn)，特別是像預(yù)定、支付等行為導(dǎo)向型的服務(wù)。

三種類(lèi)型的人工智能bot

大體來(lái)說(shuō)，人工智能 bot有三種類(lèi)型。第一種是搜尋信息的 bot，其目標(biāo)是明確的。第二種是要完成某種任務(wù)，其中也可能需要搜尋信息，但在短時(shí)間內(nèi)其目標(biāo)可能是不明確的。你可能問(wèn)電影院的開(kāi)放時(shí)間。這不是說(shuō)你的目標(biāo)只局限在答案上，而是說(shuō)獲得答案是你達(dá)到最終目標(biāo)（看電影）的一個(gè)步驟。對(duì)于第一種類(lèi)型，獎(jiǎng)賞是明確定義的；而對(duì)于第二種類(lèi)型，獎(jiǎng)賞也是相當(dāng)明確的（或者將會(huì)是這樣）。

當(dāng)使用強(qiáng)大的深度強(qiáng)化學(xué)習(xí)技術(shù)進(jìn)行構(gòu)建時(shí)，以上這兩種 bots都有自己定義相當(dāng)明確的獎(jiǎng)勵(lì)函數(shù)（這是強(qiáng)化學(xué)習(xí)的關(guān)鍵組件）---或者搜尋信息，或者試圖完成特定任務(wù) （比如預(yù)定機(jī)票和酒店）。

第三種類(lèi)型的AI bot 需要的指導(dǎo)最多，它們是社交 bot ，有時(shí)也被叫做聊天 bot 或閑聊 bot 。這種 bot 的獎(jiǎng)勵(lì)函數(shù)（用于深度強(qiáng)化學(xué)習(xí)算法）——先簡(jiǎn)單稱之為「情感智能」——不可能被輕而易舉地量化。舉個(gè)例子，你可能向聊天 bot 尋求建議，或者問(wèn)一些含糊的問(wèn)題，比如今天做什么, 或者在同 bot 討論買(mǎi)人壽保險(xiǎn)之前先聊聊天。

處理聊天 bot 十分復(fù)雜的獎(jiǎng)賞函數(shù)需要擴(kuò)大能力，為了給這種能力提供數(shù)學(xué)基礎(chǔ)，研究界和從業(yè)者需要深入調(diào)查。這里的目標(biāo)是將普遍使用的強(qiáng)化學(xué)習(xí)算法（例如用于 AlphaGo 中的關(guān)鍵學(xué)習(xí)方法）擴(kuò)展成更好的算法，這種算法能利用信息理論上的和內(nèi)在激勵(lì)的獎(jiǎng)勵(lì)。

在切換到其他試圖完成任務(wù)的 bot 對(duì)話之前，這種獎(jiǎng)勵(lì)捕捉用戶在與 bot 的對(duì)話中獲得的情感上的滿足感。對(duì)于計(jì)算機(jī)科學(xué)家和電子工程師而言，這是一個(gè)前景很好的AI研究領(lǐng)域。

歡迎加入本站公開(kāi)興趣群

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價(jià)值的辦法，實(shí)際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉(cāng)庫(kù)，數(shù)據(jù)挖掘工具，報(bào)表系統(tǒng)等全方位知識(shí)

QQ群：81035754

GPU云服務(wù)器云服務(wù)器深度強(qiáng)化學(xué)習(xí)和深度學(xué)習(xí) 深度學(xué)習(xí)與強(qiáng)化學(xué)習(xí) 深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí) 強(qiáng)化學(xué)習(xí)與深度學(xué)習(xí)

文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/4392.html