摘要：所謂大數(shù)據(jù)及其相關(guān)技術(shù)在經(jīng)歷了高度重視詳細(xì)甄別以及吐故納新之后，實(shí)際成果很可能與我們的認(rèn)知存在較大差異。他們將探討與大數(shù)據(jù)相關(guān)的各類話題，內(nèi)容涵蓋對抗販賣人口未來發(fā)展方向乃至人工智能前沿技術(shù)。

請大家不要再糾結(jié)于一塊磁盤能保存多少數(shù)據(jù)或者企業(yè)到底會不會采用Hadoop。關(guān)于大數(shù)據(jù)的真正問題在于，企業(yè)用戶將如何使用Hadoop、我們的系統(tǒng)到底能在智能化道路上走多遠(yuǎn)、我們又該如何保證這一切都處于控制之下。

過去幾年當(dāng)中，大數(shù)據(jù)技術(shù)已經(jīng)迎來長足發(fā)展；從一個樂觀積極的流行詞匯變成人見人恨的疑難雜癥，關(guān)注重點(diǎn)也由純粹的數(shù)據(jù)規(guī)模轉(zhuǎn)向?qū)︻愋图八俣鹊淖?求。所謂“大數(shù)據(jù)”及其相關(guān)技術(shù)在經(jīng)歷了高度重視、詳細(xì)甄別以及吐故納新之后，實(shí)際成果很可能與我們的認(rèn)知存在較大差異。然而時至今日，我們正站在歷史的 重要轉(zhuǎn)折點(diǎn)上、此前圍繞這一話題引發(fā)的各類爭論將最終帶來明確的結(jié)論。

如今自動化與智能化已經(jīng)成為整個世界運(yùn)轉(zhuǎn)的新方向，這一趨勢在簡化數(shù)據(jù)發(fā)掘工作的同時、也把智能化特性引入萬事萬物——從移動應(yīng)用到交通系統(tǒng)無所不 包。大數(shù)據(jù)的“大”絕不是最終目標(biāo)，各類新型處理模式的涌現(xiàn)旨在將日益增長的數(shù)據(jù)交付量轉(zhuǎn)化為智能化成效。所謂分類也不是最終目標(biāo)，它的意義在于幫助我們 實(shí)現(xiàn)大規(guī)模數(shù)據(jù)量化的同時、更為深入了解我們身邊的世界。

在這樣的背景下，我們將借助本屆Structure Data大會這一平臺鉆研更多相關(guān)細(xì)節(jié)——此次會議將于本月十九號在紐約拉開序幕，為期一周。在此期間，世界各地的技術(shù)巨頭、知名企業(yè)以及一部分更為睿智 的新興企業(yè)都會派出發(fā)言代表與大家分享自己的真知灼見。他們將探討與大數(shù)據(jù)相關(guān)的各類話題，內(nèi)容涵蓋對抗販賣人口、Hadoop未來發(fā)展方向乃至人工智能 前沿技術(shù)。

下面我將為大家?guī)砦易约阂恢痹陉P(guān)注的五大發(fā)展趨勢，也許有助于各位提前把握會議發(fā)言人們的探討話題以及表述方向。如果大家有意參加此次會議，希望我的這篇展望文章能夠起到拋磚引玉的作用。

Apache Hadoop也許仍然只是一套分布式文件系統(tǒng)、MapReduce也將繼續(xù)扮演執(zhí)行框架的角色，但Hadoop可絕不會這樣止步不前。歸功于YARN等各 類通用性發(fā)展成果，Hadoop集群如今已經(jīng)能夠針對任意數(shù)量的不同工作負(fù)載運(yùn)行任意數(shù)量的不同執(zhí)行框架，同時充分發(fā)揮同一套底層存儲基礎(chǔ)設(shè)施所帶來的資 源優(yōu)勢。舉例來說，面向ETL作業(yè)的MapReduce集群現(xiàn)在也可以同時充當(dāng)支撐機(jī)器學(xué)習(xí)的Spark集群、面向流處理的Storm集群以及針對交互式 SQL的Tez集群。

從本質(zhì)上講，Hadoop已經(jīng)從一款面向特定任務(wù)的實(shí)用工具轉(zhuǎn)變?yōu)橐徽啄軌蛑С指黝悜?yīng)用程序的真正平臺。以Airbnb以及Twitter為代表 的早期采用者已經(jīng)從這種新型用途當(dāng)中取得競爭優(yōu)勢，Cloudera、Hortonworks以及MapR等Hadoop方案供應(yīng)商也在自身產(chǎn)品中引入多 種新功能并支持主流Hadoop用戶在某些情況下所需要的新型框架。Continuuity、Mortar Data以及WibiData等新興企業(yè)通過簡化大數(shù)據(jù)應(yīng)用程序的方式加快了這一演化的進(jìn)程，同時也對一部分技術(shù)基礎(chǔ)進(jìn)行了開源化處理、從而為更多開發(fā)人 員提供相關(guān)工具。

當(dāng)然，受到Hadoop向平臺轉(zhuǎn)化趨勢影響的絕不僅僅是開發(fā)人員，眾多軟件廠商也感受到了這股時代洪流。傳統(tǒng)數(shù)據(jù)倉庫、數(shù)據(jù)庫甚至統(tǒng)計(jì)軟件供應(yīng)商必須接受這一現(xiàn)實(shí)，即Hadoop如今能夠幫助他們以更低的成本保存更多數(shù)據(jù)、同時以多種方式對其內(nèi)容進(jìn)行分析。

我們擁有計(jì)算設(shè)備、我們擁有數(shù)據(jù)、我們也擁有算法：因此，我們現(xiàn)在已經(jīng)擁有建立人工智能的技術(shù)基礎(chǔ)。請別誤會，人工智能還不像科幻小說中描述的那樣 恐怖、也無法真正取代人類的地位，但這項(xiàng)技術(shù)最終必將成為現(xiàn)實(shí)。由于機(jī)器學(xué)習(xí)方案的不斷進(jìn)步，我們已經(jīng)能夠通過智能手機(jī)進(jìn)行語音指令識別、擁有能夠預(yù)測用 戶喜好的媒體服務(wù)、可以在數(shù)十億個數(shù)據(jù)點(diǎn)之間摸清關(guān)系脈絡(luò)的軟件以及善于挖掘潛在價(jià)值空間的應(yīng)用程序。

IBM的沃森系統(tǒng)已經(jīng)近在咫尺，足以為廚師們提供準(zhǔn)確的食譜配料清單。

展望未來，針對上述領(lǐng)域的深入學(xué)習(xí)將幫助我們的人工智能系統(tǒng)變得更加實(shí)用也更為強(qiáng)大。在復(fù)雜數(shù)據(jù)集當(dāng)中，這些模型能夠提取并識別出無法通過編程實(shí)現(xiàn) 的深入分析途徑。在無人監(jiān)管的情況下，深入學(xué)習(xí)項(xiàng)目已經(jīng)能夠成功把握特定對象的外觀、將不同語言的詞匯加以映射甚至學(xué)會主機(jī)游戲的操作規(guī)則。幾乎就在一夜 之間，眾多原本無法實(shí)現(xiàn)的任務(wù)如今似乎都擁有了可行的解決途徑——例如能夠內(nèi)容標(biāo)注使其具備可搜索性，或者以出色的準(zhǔn)確性預(yù)測用戶的詞語表意以及接下來要 輸入的內(nèi)容。

通過將新型內(nèi)容應(yīng)用在新領(lǐng)域當(dāng)中，這些方案完全有可能為我們帶來更為可觀的潛在價(jià)值。特定癌細(xì)胞聚集在一起會表現(xiàn)出怎樣的特性？我們能否幫助護(hù)士了 解原本只有醫(yī)生能夠接觸到的信息？哪些原本無法準(zhǔn)確衡量的因素組合能夠反映出導(dǎo)致青少年自殺的原因？我們需要如何推動自動駕駛汽車與無人飛機(jī)進(jìn)入商業(yè)應(yīng)用 領(lǐng)域？誠然，人工智能并不是什么救世主，但它確實(shí)為我們展示出光明而且廣闊無垠的可能性。

與真正的高難度基礎(chǔ)設(shè)施與普遍適用的算法相比，將數(shù)據(jù)分析推向標(biāo)準(zhǔn)化并使其成為易于實(shí)現(xiàn)的技能似乎并不算什么了不起的成就——但這一趨勢仍然有可能 給我們的社會帶來重大變革。只需為普通民眾提供以新型方式審視身邊數(shù)據(jù)的能力，就相當(dāng)于為我們的生活開啟了一扇通往無限可能的大門。

舉例來說，昨天我就利用免費(fèi)軟件為自己的iTunes媒體庫建立起一幅網(wǎng)絡(luò)圖形，并把斯諾登在最近一次采訪中所使用的幾個詞匯與國安局局長 Keith Alexander的發(fā)言進(jìn)行了一番比較。我并沒有用到數(shù)據(jù)科學(xué)或者深入學(xué)習(xí)技術(shù)，但我仍然能夠完成較為簡單的分析任務(wù)、而后對自己發(fā)現(xiàn)的有趣數(shù)據(jù)進(jìn)行審 視。在此之前，我還曾經(jīng)映射過自己的Twitter粉絲、分析Gigaom網(wǎng)站各位作者發(fā)布的頭條、甚至對自己的食物攝入量以及鍛煉強(qiáng)度進(jìn)行了匯總。也許 促使年輕人們積極以有趣的方式審視并分析自己的數(shù)據(jù)會有助于激勵數(shù)據(jù)技術(shù)專家們進(jìn)一步把相關(guān)方案推向民間——誰說得準(zhǔn)呢？

而且隨著目前可供普通民眾使用的工具愈發(fā)先進(jìn)、我們所收集到的數(shù)據(jù)量日益拓展（其中包括來自健身器材、聯(lián)網(wǎng)汽車以及物聯(lián)網(wǎng)等來源的數(shù)據(jù)），這種對于 自身的量化分析也將變得越來越重要。出于各種目的，我們自身正逐步成為數(shù)據(jù)輸入與算法輸出流程的重要組成部分。我們的個人數(shù)據(jù)將帶來方方面面的影響——包 括我們看到的廣告內(nèi)容以及收到的招聘信息——而且這一切都將變得順理成章：每位用戶至少能夠了解到企業(yè)、機(jī)構(gòu)以及政府部門所掌握的小部分信息。

早在三年前我就說過，云計(jì)算與大數(shù)據(jù)的發(fā)展路線必將交接、碰撞，而這一猜測也已經(jīng)成為現(xiàn)實(shí)——只是實(shí)際影響范圍比我的預(yù)計(jì)更為廣泛。事實(shí)上，這場浩 大融合帶來的較大影響幾乎沒有反映在Hadoop、商務(wù)智能套件或者任何其它分析軟件即服務(wù)方案的實(shí)際使用能力當(dāng)中。誠然，這些趨勢讓新興企業(yè)及成熟公司 能夠更輕松地將新型工作負(fù)載遷移到云環(huán)境當(dāng)中；但就我個人來說，云技術(shù)變革帶來的較大意義在于為原本艱深的計(jì)算機(jī)科學(xué)引入了民主化進(jìn)程。

我已經(jīng)強(qiáng)調(diào)過，目前一部分技術(shù)方案已經(jīng)以“即服務(wù)”形式供大家使用（主要通過API實(shí)現(xiàn)），而且這一陣營仍在不斷壯大之中。如果大家身為一位開發(fā)人 員，而且希望學(xué)習(xí)Hadoop以及Elastic MapReduce的使用方法，那么如今已經(jīng)有現(xiàn)成方案可供選擇。如果大家希望能接入某種服務(wù)，例如IBM的沃森云或者M(jìn)indMeld API，并需要在自己的數(shù)據(jù)當(dāng)中借用其它算法所提供的人工智能層，現(xiàn)成方案同樣多種多樣。在谷歌以及Pinterestto Netflix等眾多廠商的支持下，上述大部分技術(shù)方案都將被逐步嵌入到我們所使用的服務(wù)當(dāng)中。

如果這些方案真的管用，而且能為開發(fā)人員帶來真正的智能化能力（這里所說的‘智能化’并非一般意義上的推薦功能，那更像是一種難以回避的瘟疫而非優(yōu) 勢），那么即使是平平無奇的任務(wù)也足以為消費(fèi)者帶來超出預(yù)期的良好效果。相信很多朋友在了解食品采購清單的具體條目之外，還希望搞清這些食材有哪些好處， 如果部分食材暫時斷貨、我們還有哪些后備選項(xiàng)或者在哪里能以更低的價(jià)格買到同類貨品。在智能手機(jī)與其它計(jì)算設(shè)備所帶來的處理能力與數(shù)據(jù)容量的支持之下，經(jīng) 過精心設(shè)計(jì)的應(yīng)用程序完全能夠把我們從AT&T信號塔處獲取到的信號轉(zhuǎn)化為實(shí)際收益。

最后，法律制度也將成為大數(shù)據(jù)發(fā)展過程中的潛在影響因素——具體效果如何取決于大家的審視角度。就目前來看，仲裁者、立法者、監(jiān)管者甚至總統(tǒng)都在努 力弄清收集到的這批龐大數(shù)據(jù)到底意味著什么，并以此為基礎(chǔ)勾勒出某種秩序草案。當(dāng)然，要在這條湍流當(dāng)中摸著石頭過河并非易事，在此過程中充分發(fā)揮所有競爭 優(yōu)勢更是難上加難。

在管理流程當(dāng)中，更為棘手的難題就是如何妥善保護(hù)消費(fèi)者的個人隱私；這部分信息擁有巨大挖掘潛力、足以顯著改善消費(fèi)者的實(shí)際體驗(yàn)，但同時也會帶來侵 犯個人隱私的巨大風(fēng)險(xiǎn)。另外，大量宣傳資金也開始涌入這一新興領(lǐng)域。我們希望能以最劃算的價(jià)格買到食材或者新服飾，也希望能夠參與DNA測繪項(xiàng)目并拿到 99美元的回報(bào)。但我們同時也需要確保自己提供的潛在敏感信息不會被泄露給他人或者出現(xiàn)在不應(yīng)出現(xiàn)的場合——例如一臺公用計(jì)算機(jī)的滾動廣告上。

這一點(diǎn)對于法律制定者以及其他起草法律框架、法規(guī)以及判例法的從業(yè)人士而言算是一項(xiàng)巨大挑戰(zhàn)，他們需要保證消費(fèi)者在獲得正當(dāng)利益的同時避免遭遇隱私 泄露。坦率地講，我不太相信他們能在不理解大數(shù)據(jù)技術(shù)及其指向的情況下制定出可行的方案，我也不相信大家會對這樣產(chǎn)生的結(jié)果感到滿意。

當(dāng)然，我們不希望Facebook、谷歌以及Geico等廠商對自己的全部數(shù)據(jù)進(jìn)行深入分析，但我們同樣不希望重新經(jīng)歷那段網(wǎng)站設(shè)計(jì)古怪難用、出租車干等不來、工作效率極其低下而且生活毫無個性化可言的悲慘歲月。