摘要：今天就我和大家來談談大數(shù)據(jù)領域的一些新變化新趨勢。結(jié)語以上四個方面是數(shù)據(jù)科學在實踐發(fā)展中提出的新需求，誰能在這些方面得到好的成績，誰便會在這個大數(shù)據(jù)時代取得領先的位置。

從2012年開始，幾乎人人（至少是互聯(lián)網(wǎng)界）言必稱大數(shù)據(jù)，似乎不和大數(shù)據(jù)沾點邊都不好意思和別人聊天。從2016年開始，大數(shù)據(jù)系統(tǒng)逐步開始在企業(yè)中進入部署階段，大數(shù)據(jù)的炒作逐漸散去，隨之而來的是應用的蓬勃發(fā)展期，一些代表成熟技術的標志性IPO在國內(nèi)外資本市場也不斷出現(xiàn)。轉(zhuǎn)眼間，大數(shù)據(jù)幾年前經(jīng)歷的泡沫正在無可爭議地轉(zhuǎn)移到人工智能身上?？梢哉f，在過去的一年，AI所經(jīng)歷的共同意識“大爆炸”與當年的大數(shù)據(jù)相比，有過之而無不及。最近風口又轉(zhuǎn)移到區(qū)塊鏈上了，某種程度上也成為業(yè)內(nèi)人士焦慮的一種誘因了。

但無論技術熱點如何變換，我們能看到的是，隨著行業(yè)沉下心來進行實質(zhì)的落地，大數(shù)據(jù)生態(tài)也越來越細分。今天就我和大家來談談大數(shù)據(jù)領域的一些新變化、新趨勢。

一、數(shù)據(jù)治理與安全 Data Governance& Security

就發(fā)展趨勢而言，這個可以放在第一位來講講。

多年來，數(shù)據(jù)已經(jīng)在企業(yè)中不斷快速積累。物聯(lián)網(wǎng)(IoT) 更是不斷加速數(shù)據(jù)的生成。

對于許多企業(yè)來說，大數(shù)據(jù)的解決方案就是利用類似于開源的Apache Hadoop等技術作為基礎支持，創(chuàng)建數(shù)據(jù)湖(Data Lake)，即創(chuàng)建整個企業(yè)的數(shù)據(jù)管理平臺，用于以本機格式存儲企業(yè)的所有數(shù)據(jù)。數(shù)據(jù)湖將通過提供一個單一的數(shù)據(jù)存儲庫來消除信息孤島，整個組織都可以使用該存儲庫來進行業(yè)務分析、數(shù)據(jù)挖掘等各種應用。當有了數(shù)據(jù)湖之后，大家會傾向于認為這東西將會成為一個全方位和萬能的大數(shù)據(jù)集，例如點擊流數(shù)據(jù)、物聯(lián)網(wǎng)數(shù)據(jù)、日志數(shù)據(jù)等都會被要求進入這個湖中，而這些數(shù)據(jù)很難處理的問題卻會被忽略。

但是，除非你知道數(shù)據(jù)湖里具體有什么，并且能夠訪問到合適的數(shù)據(jù)進行分析，否則數(shù)據(jù)湖再大也沒有意義。因此，最后大家都會意識到許多數(shù)據(jù)湖是表現(xiàn)不佳的資源，人們不知道其中存儲著什么內(nèi)容，如何進行訪問，或者如何從這些數(shù)據(jù)中獲取洞察力。

但是，方便地找到想要的東西、同時管理好權(quán)限并不容易。除了數(shù)據(jù)湖以外，治理的另一個主題是以安全的、可審計的方式為任何人提供對可靠數(shù)據(jù)的便捷訪問。

所以，站在管理并使用好公司數(shù)據(jù)資產(chǎn)的角度而言，數(shù)據(jù)治理猶如公司的頂層制度和宣言一樣需要被重視，并且用相應的策略、流程等來進行落實。最終目的是通過實現(xiàn)數(shù)據(jù)治理，來提升數(shù)據(jù)管理、確保數(shù)據(jù)質(zhì)量、形成開放共享的新局面等。此外，數(shù)據(jù)治理也是決策、職能以及操作流程有機組合的系統(tǒng)，并且人們對這些數(shù)據(jù)資產(chǎn)承擔責任。

二、致力于協(xié)作的數(shù)據(jù)工作臺發(fā)展

在大多數(shù)大型企業(yè)里，大數(shù)據(jù)的采用是從少數(shù)獨立項目開始的，個推也是如此：譬如這里做一點Hadoop集群，那里用一用分析工具，跑一個簡單業(yè)務模型，以及意識到需要設立一些新的職位（數(shù)據(jù)科學家、首席數(shù)據(jù)官）等等。

現(xiàn)在，業(yè)務場景越來越豐富，異質(zhì)性也越來越突出，各種各樣的工具在整個企業(yè)范圍內(nèi)得到了使用。在公司的組織范圍內(nèi)，集中化的“數(shù)據(jù)科學部門”正在逐漸讓位于更加去中心化的組織，原因在于集中化的部門越來越走向瓶頸，也更容易造成資源的流失。

這個由數(shù)據(jù)科學家、數(shù)據(jù)工程師以及數(shù)據(jù)分析師組成的群體，正日益嵌入到不同的業(yè)務部門里。因此，對于平臺來說需求已經(jīng)很明顯了，那就是要讓一切都能協(xié)作到一起來，因為大數(shù)據(jù)的成功正是建立在設立一條由技術、人以及流程組成的裝配線基礎之上的。

因此，一些全新的協(xié)作平臺類型（譬如 Jupyter等）正在加快出現(xiàn)，引領著所謂的DataOps（與DevOps對應）領域的發(fā)展。

三、數(shù)據(jù)科學自動化

數(shù)據(jù)科學家(Data Scientist)依然是市場上炙手可熱的爭奪對象。但是我們在周圍卻很少見到這類人，哪怕是財富前1000強的公司也為無法招到更多“數(shù)據(jù)科學家”而感到困擾。而在一些組織里，數(shù)據(jù)科學部門正在從使能者演變?yōu)槠款i。

與此同時，AI的大眾化以及自服務工具的蔓延使得數(shù)據(jù)科學技能有限的數(shù)據(jù)工程師，甚至是數(shù)據(jù)分析師在執(zhí)行一些基本操作時變得更加容易了，而這些操作直到最近仍然是數(shù)據(jù)科學家的領地。在自動化工具的幫助下，企業(yè)大量的大數(shù)據(jù)工作，尤其是那些簡單枯燥的工作，將由數(shù)據(jù)工程師和數(shù)據(jù)分析師進行處理，而不必麻煩有著深厚技術技能的數(shù)據(jù)科學家。當然，即便如此，數(shù)據(jù)科學家目前還不需要太過“恐懼”。

在可預見的未來里，自服務工具和自動化模型將會“增強”數(shù)據(jù)科學家而不是消滅他們，會解放他們，讓他們把焦點放在需要判斷、創(chuàng)造力、社會化技能或者需要垂直行業(yè)知識的任務上，那樣才能更加體現(xiàn)科學家的名號。

四、大數(shù)據(jù)管理員的崛起

大數(shù)據(jù)管理員(BDA)也對標于數(shù)據(jù)庫管理員(DBA)，雖然兩個英文字母只是變換了一下順序，但是其內(nèi)涵相差甚遠。一個非常明顯的趨勢是，企業(yè)將對一個新崗位角色產(chǎn)生需求，即大數(shù)據(jù)管理員。DBA大家已經(jīng)非常熟悉，但它與大數(shù)據(jù)時代下的數(shù)據(jù)管理員，有非常大的差別。

數(shù)據(jù)管理員處于數(shù)據(jù)使用者和數(shù)據(jù)工程師之間。為了取得成功，數(shù)據(jù)管理員在進行大數(shù)據(jù)系統(tǒng)的維護工作之外，還必須了解數(shù)據(jù)的含義以及掌握應用于數(shù)據(jù)中的一些技術。

數(shù)據(jù)管理員需要清楚整個組織內(nèi)需要執(zhí)行的數(shù)據(jù)分析類型，哪些數(shù)據(jù)集非常適用于這項工作，以及如何將數(shù)據(jù)從原始狀態(tài)轉(zhuǎn)換為數(shù)據(jù)使用者執(zhí)行這項工作所需的形態(tài)和形式。數(shù)據(jù)管理員應使用像自助服務數(shù)據(jù)平臺這樣的系統(tǒng)來加快數(shù)據(jù)使用者訪問基本數(shù)據(jù)集的端到端流程，而無需制作無數(shù)的數(shù)據(jù)副本。

結(jié)語

以上四個方面是數(shù)據(jù)科學在實踐發(fā)展中提出的新需求，誰能在這些方面得到好的成績，誰便會在這個大數(shù)據(jù)時代取得領先的位置。