摘要：一時之間，深度學(xué)習(xí)備受追捧。百度等等公司紛紛開始大量的投入深度學(xué)習(xí)的應(yīng)用研究。極驗驗證就是將深度學(xué)習(xí)應(yīng)用于網(wǎng)絡(luò)安全防御，通過深度學(xué)習(xí)建模學(xué)習(xí)人類與機器的行為特征，來區(qū)別人與機器，防止惡意程序?qū)W(wǎng)站進(jìn)行垃圾注冊，撞庫登錄等。

2006年Geoffery ?Hinton提出了深度學(xué)習(xí)（多層神經(jīng)網(wǎng)絡(luò)），并在2012年的ImageNet競賽中有非凡的表現(xiàn)，以15.3%的Top-5錯誤率奪魁，比利用傳統(tǒng)方 法的第二名低了10.9% 。一時之間，深度學(xué)習(xí)備受追捧。Google、Facebook、百度等等公司紛紛開始大量的投入深度學(xué)習(xí)的應(yīng)用研究。

深度學(xué)習(xí)的優(yōu)勢

人工神經(jīng)網(wǎng)絡(luò)是從信息處理的角度，對人腦神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象的計算模型，目的就是讓計算機能夠模擬人腦的思考方式來解決一些抽象的問題。相比較于傳 統(tǒng)的模式識別，特征的提取方式主要靠人工提取或設(shè)計，而深度學(xué)習(xí)模型是一種端到端模型，即讓計算機自動學(xué)習(xí)有用的特征，從而減少了人為提取特征造成的繁雜 和不完備性。正如Google Brain項目負(fù)責(zé)人Jeff Dean說：“我們在訓(xùn)練的時候從來不會告訴機器說：‘這是一只貓?！到y(tǒng)其實是自己發(fā)明或者領(lǐng)悟了“貓”的概念?！痹趫D 像處理，語音識別這種人為特征提取難度很大的問題上面，深度學(xué)習(xí)有著其獨有的優(yōu)勢，比如在語音識別方面，深度學(xué)習(xí)使得錯誤率下降了大約30%，取得了很大 的進(jìn)步。

深度學(xué)習(xí)的主要模型

目前深度學(xué)習(xí)有三種基本模型，分別是多層感知機（MLP，Multi-layer Perceptron），卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network）以及循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network)。

多層感知機（MLP）

MLP結(jié)構(gòu)特點

輸入與輸出層之間存在一個或多個隱層

輸入層沒有計算節(jié)點，只用于獲得外部輸入信號，只有隱層和輸出層的神經(jīng)元為計算節(jié)點

每個輸入節(jié)點將上一層輸出進(jìn)行加權(quán)，然后通過激活函數(shù)進(jìn)行非線性變換

訓(xùn)練方法：反向傳播算法（Back-Propagation）

MLP可用于解決簡單的分類和預(yù)測問題。不過它的參數(shù)量隨著層數(shù)的增加指數(shù)級增長，并且優(yōu)化困難，限制了它的應(yīng)用。

卷積神經(jīng)網(wǎng)絡(luò)（CNN）

CNN通過引入卷積自動分層提取特征，每一層由多個特征圖組成，每一個特征圖是由前一層輸出與一個卷積核進(jìn)行卷積運算和非線性變換得到，隨后進(jìn)行池化操作，用于降低輸出維度，同時獲得一定的特征不變性。

CNN中最主要的三種網(wǎng)絡(luò)層：

卷積層

池化層

全連接層

訓(xùn)練方法：反向傳播算法（Back-Propagation）

CNN通過局部連接和權(quán)值共享大幅度降低了參數(shù)量。目前CNN在圖像識別、目標(biāo)檢測、人臉識別等諸多計算機視覺任務(wù)上都取得了令人振奮的成果。

遞歸神經(jīng)網(wǎng)絡(luò)（RNN)

相比于MLP和CNN，RNN通過權(quán)值共享使其能夠處理變長的序列問題（CNN由于全連接層需要固定維度的輸入，限制了CNN只能接受固定維度的輸 入）。RNN引入了“環(huán)”的結(jié)構(gòu)，某一時刻的輸出不僅與當(dāng)前時刻的輸入有關(guān)，還與前一時刻的狀態(tài)有關(guān)，通過共享權(quán)值，使得RNN能學(xué)習(xí)到魯棒的特征。

RNN分類（按照cell）：

簡單RNN

LSTM

GRU

Bi-RNN

RNN的訓(xùn)練算法：基于時間的反向傳播算法（Back Propagation Through Time，BPTT）

RNN模型主要應(yīng)用自然語言處理（NLP）上，比如語言翻譯、文本信息挖掘、聊天機器人等。

深度學(xué)習(xí)的應(yīng)用及發(fā)展

深度學(xué)習(xí)在計算機視覺和自然語言處理上有著廣泛的應(yīng)用。

在計算機視覺領(lǐng)域，2015年，微軟何凱明團(tuán)隊利用152層網(wǎng)絡(luò)在ImageNet比賽上將錯誤率降低到3.57％。Google 在 2015年的 I/O 大會推出的Google photos，可以將相冊中的同一個人整合在一起，通過長期的學(xué)習(xí)甚至可以自動判斷照片是否是一個值得紀(jì)念的時刻的拍攝的。近年來深度學(xué)習(xí)在醫(yī)學(xué)圖像的分 析、目標(biāo)檢測等任務(wù)上也取得了很大的進(jìn)展。

在自然語言處理上的應(yīng)用主要包括語言翻譯、機器理解、機器翻譯等。Google去年底在gmail上上線了郵件自動回復(fù)功能，該功能利用深度學(xué)習(xí)技 術(shù)提取和分析郵件語義信息，再根據(jù)提取的語義生成候選答復(fù)。在語音識別領(lǐng)域，百度在全國人機語音通訊學(xué)術(shù)會議（NCMMSC2015）上介紹了研發(fā)出 的語音識別技術(shù)，該技術(shù)引入LSTM模型和CTC訓(xùn)練到傳統(tǒng)框架中，使得識別相對錯誤率比現(xiàn)有技術(shù)降低15%以上，使?jié)h語安靜環(huán)境普通話語音識別的識別率 接近97%。這是語音識別領(lǐng)域又一個重要的里程碑。

除了以上兩個領(lǐng)域，深度學(xué)習(xí)在網(wǎng)絡(luò)安全領(lǐng)域也有廣泛的應(yīng)用，如木馬病毒、惡意軟件檢測與分析以及惡意程序識別等。

極驗驗證就是將深度學(xué)習(xí)應(yīng)用于網(wǎng)絡(luò)安全防御，通過深度學(xué)習(xí)建模學(xué)習(xí)人類與機器的行為特征，來區(qū)別人與機器，防止惡意程序?qū)W(wǎng)站進(jìn)行垃圾注冊，撞庫登錄等。

商業(yè)智能與數(shù)據(jù)分析群

興趣范圍包括各種讓數(shù)據(jù)產(chǎn)生價值的辦法，實際應(yīng)用案例分享與討論，分析工具，ETL工具，數(shù)據(jù)倉庫，數(shù)據(jù)挖掘工具，報表系統(tǒng)等全方位知識

QQ群：81035754