摘要：最近谷歌正式宣布已經(jīng)完全實(shí)現(xiàn)并行計(jì)算并原生態(tài)支持與相結(jié)合，使得谷歌機(jī)器學(xué)習(xí)開(kāi)源項(xiàng)目在支持集群化并行化和分布式訓(xùn)練方面都實(shí)現(xiàn)了質(zhì)的飛躍。隨著和兩大技術(shù)的結(jié)合，這將對(duì)機(jī)器學(xué)習(xí)技術(shù)的實(shí)踐產(chǎn)生深遠(yuǎn)影響。

最近谷歌正式宣布TensorFlow 0.8 已經(jīng)完全實(shí)現(xiàn)并行計(jì)算并原生態(tài)支持與kubernetes相結(jié)合，使得谷歌機(jī)器學(xué)習(xí)開(kāi)源項(xiàng)目TensorFlow在支持集群化、并行化和分布式訓(xùn)練方面都實(shí)現(xiàn)了質(zhì)的飛躍。

在上周谷歌的官方博客中，谷歌公布了谷歌實(shí)驗(yàn)TensorFlow 0.8 不同數(shù)目的GPU能夠帶來(lái)的加速效果：

圖中顯示100個(gè)GPU可以帶來(lái)接近56倍的加速效果，并在65小時(shí)內(nèi)將圖片分類(lèi)器訓(xùn)練到接近78%的精確度。

我們先回顧一下TensorFlow的歷史，早在去年年底，谷歌就已經(jīng)將其深度學(xué)習(xí)系統(tǒng)TensorFlow開(kāi)源。而且根據(jù)Github的統(tǒng)計(jì)，TensorFlow已經(jīng)成為去年最受關(guān)注的開(kāi)源項(xiàng)目之一。在它開(kāi)源之初便引來(lái)無(wú)數(shù)試用者。然而剛剛開(kāi)源的TensorFlow并沒(méi)有引來(lái)多少好評(píng)，更有人戲稱(chēng)為T(mén)ensorSlow，究其原因就在于單機(jī)的環(huán)境無(wú)法滿足海量數(shù)據(jù)的需求。

反觀谷歌內(nèi)部，早在2011年谷歌就已經(jīng)開(kāi)始了對(duì)于深度學(xué)習(xí)的研究，如今已成功將其應(yīng)用在搜索、廣告、地圖、翻譯和YouTube等眾多產(chǎn)品之中。通過(guò)深度學(xué)習(xí)，谷歌成功將語(yǔ)音識(shí)別的錯(cuò)誤率降低了25%。而且谷歌大腦（Google Brain，谷歌內(nèi)部版的TensorFlow）早就實(shí)現(xiàn)了和borg（谷歌內(nèi)部版的kubernetes）的結(jié)合，可以輕松跑在上萬(wàn)臺(tái)機(jī)器上。

上個(gè)月TensorFlow邁出了集群化的第一步（原文鏈接）通過(guò)Kubernetes實(shí)現(xiàn)了并行化。
如今谷歌正式宣布TensorFlow 0.8已經(jīng)可以支持分布式訓(xùn)練，在提供多GPU測(cè)試結(jié)果的同時(shí)也提供了Kubernetes的測(cè)試腳本。隨著TensorFlow和kubernetes兩大技術(shù)的結(jié)合，這將對(duì)機(jī)器學(xué)習(xí)技術(shù)的實(shí)踐產(chǎn)生深遠(yuǎn)影響。

我們?cè)賮?lái)了解一下“深度學(xué)習(xí)”，深度學(xué)習(xí)這個(gè)詞已經(jīng)成為了很多人耳熟能詳?shù)母拍?，這個(gè)概念在AlphaGo戰(zhàn)勝李世石之后更是變得世人皆知。那究竟什么是深度學(xué)習(xí)？

深度學(xué)習(xí)的本質(zhì)就是通過(guò)復(fù)雜的模型結(jié)構(gòu)或者多層非線性變化的組合來(lái)挖掘復(fù)雜數(shù)據(jù)中隱含的規(guī)律。理論上任何復(fù)雜的機(jī)器學(xué)習(xí)方法都可以作為深度學(xué)習(xí)的基礎(chǔ)，但大部分成熟的應(yīng)用以及研究都是以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)。

受人類(lèi)大腦神經(jīng)元結(jié)構(gòu)的影響，神經(jīng)網(wǎng)絡(luò)希望模擬人類(lèi)感知。一個(gè)最直接的例子就是圖像識(shí)別，這也是深度學(xué)習(xí)最早的應(yīng)用之一。人的眼睛在收到光的刺激之后，腦部不同的神經(jīng)元會(huì)被激活，最后我們能分辨出眼前的東西是狗還是貓。

在神經(jīng)網(wǎng)絡(luò)中，neurons被用來(lái)模擬人類(lèi)神經(jīng)元的功能。上圖給出了一個(gè)neurons的模型：將多個(gè)輸入進(jìn)行一系列變換后產(chǎn)生一個(gè)（或多個(gè)）輸出。下圖展示了如何將多個(gè)neurons有效的組織起來(lái)成為了一個(gè)神經(jīng)網(wǎng)絡(luò)。紅色的輸入層模擬人類(lèi)接受刺激的器官（比如眼睛），藍(lán)色的隱藏層（隱藏層可以有多個(gè)）模擬人類(lèi)大腦的處理過(guò)程，最后綠色的輸出層給出結(jié)論（比如是貓還是狗）。

神經(jīng)網(wǎng)絡(luò)算法早在上世紀(jì)70年代就被提出，但在很長(zhǎng)一段時(shí)間沒(méi)都沒(méi)有受到重視，直到最近才通過(guò)深度學(xué)習(xí)成為新寵。那么深度學(xué)習(xí)到底和傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)有什么區(qū)別呢？

他們最大的區(qū)別就在“深度”上。傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)的隱藏層一般比較少（一般在1-2層），而深度學(xué)習(xí)的隱藏層都比較深，微軟研究院曾經(jīng)嘗試過(guò)上千層的神經(jīng)網(wǎng)絡(luò)。

理論上越深的神經(jīng)網(wǎng)絡(luò)的表達(dá)能力更強(qiáng)，這樣就更有可能從復(fù)雜的問(wèn)題中找到隱含的規(guī)律。但越深的神經(jīng)網(wǎng)絡(luò)對(duì)于數(shù)據(jù)和計(jì)算量的要求也越高，這也是為什么TensorFlow需要和kubernetes相結(jié)合才能帶來(lái)更深遠(yuǎn)的影響。

（如果需要轉(zhuǎn)載，請(qǐng)聯(lián)系我們哦，尊重知識(shí)產(chǎn)權(quán)人人有責(zé)；）