摘要：摘要敏捷大數(shù)據(jù)智能化的主要目標(biāo)就是，結(jié)合敏捷大數(shù)據(jù)實(shí)施理念，研發(fā)靈活的輕量化的智能模型，并在敏捷大數(shù)據(jù)平臺(tái)上對(duì)數(shù)據(jù)流進(jìn)行實(shí)時(shí)智能化處理，最終實(shí)現(xiàn)一站式的大數(shù)據(jù)智能分析實(shí)踐。因此，實(shí)時(shí)數(shù)據(jù)處理已成為未來大數(shù)據(jù)技術(shù)發(fā)展的主要方向。

摘要：敏捷大數(shù)據(jù)智能化的主要目標(biāo)就是，結(jié)合敏捷大數(shù)據(jù)實(shí)施理念，研發(fā)靈活的、輕量化的智能模型，并在敏捷大數(shù)據(jù)平臺(tái)上對(duì)數(shù)據(jù)流進(jìn)行實(shí)時(shí)智能化處理，最終實(shí)現(xiàn)一站式的大數(shù)據(jù)智能分析實(shí)踐。

人工智能的誕生可以追溯到上世紀(jì)50年代，在達(dá)特茅斯會(huì)議上，麥卡錫提出了AI的概念，但在初期的熱度過后，人工智能的發(fā)展經(jīng)歷了多次低谷，直到從90年代中末期開始至今的這近二十年的時(shí)間里，人工智能才真正迎來了黃金時(shí)期。尤其是在近10年來，各方面因素都推動(dòng)其不斷發(fā)展：理論上，機(jī)器學(xué)習(xí)，尤其是統(tǒng)計(jì)學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)理論不斷突破，效果顯著；外部環(huán)境上，軟硬件技術(shù)的進(jìn)步為人工智能模型的實(shí)現(xiàn)提供了足夠的計(jì)算能力；此外，極為重要的一個(gè)因素就是在數(shù)據(jù)方面，大數(shù)據(jù)技術(shù)的發(fā)展使人工智能終于擺脫了數(shù)據(jù)的桎梏，可以在充足的樣本基礎(chǔ)上提升模型的能力?？梢哉f，現(xiàn)在各領(lǐng)域智能模型的研發(fā)絕大多數(shù)都離不開大數(shù)據(jù)技術(shù)的支持。

反過來看，人工智能對(duì)大數(shù)據(jù)技術(shù)同樣有著極為重要的作用。

一方面，對(duì)于利用大數(shù)據(jù)技術(shù)收集到的數(shù)據(jù)需要通過一些智能分析過程才能發(fā)現(xiàn)其中的價(jià)值；

另一方面，通過對(duì)已有數(shù)據(jù)的智能分析，我們可以推導(dǎo)出更多的數(shù)據(jù)特征，甚至進(jìn)一步指導(dǎo)數(shù)據(jù)生產(chǎn)的方向。

所以在今天我們談起大數(shù)據(jù)的利用，都不可避免地涉及到人工智能、機(jī)器學(xué)習(xí)等概念。

敏捷大數(shù)據(jù)平臺(tái)棧作為一個(gè)實(shí)時(shí)數(shù)據(jù)基礎(chǔ)設(shè)施平臺(tái)，是對(duì)大數(shù)據(jù)理論與技術(shù)進(jìn)一步發(fā)展的成果，自然也會(huì)有對(duì)智能化方面的研究與布局。敏捷大數(shù)據(jù)智能化的主要目標(biāo)就是，結(jié)合敏捷大數(shù)據(jù)實(shí)施理念，研發(fā)靈活的、輕量化的智能模型，并在敏捷大數(shù)據(jù)平臺(tái)上對(duì)數(shù)據(jù)流進(jìn)行實(shí)時(shí)智能化處理，最終實(shí)現(xiàn)一站式的大數(shù)據(jù)智能分析實(shí)踐。

為實(shí)現(xiàn)上述目標(biāo)，我們對(duì)人工智能、機(jī)器學(xué)習(xí)、實(shí)時(shí)運(yùn)算等技術(shù)，以及相關(guān)業(yè)務(wù)領(lǐng)域知識(shí)，乃至產(chǎn)品用戶體驗(yàn)都進(jìn)行了深入的研究與分析，本系列文章將把我們的理念和在上述過程中所獲得的一些經(jīng)驗(yàn)、成果與大家分享。

隨著技術(shù)的發(fā)展，我們能夠獲得前所未有的海量數(shù)據(jù)，如果能夠快速、高效地對(duì)這些數(shù)據(jù)進(jìn)行處理，發(fā)現(xiàn)其中的高價(jià)值信息，無疑可以極大提升企業(yè)的應(yīng)變能力，從而在復(fù)雜且易變的業(yè)務(wù)場(chǎng)景中迅速地做出戰(zhàn)術(shù)乃至戰(zhàn)略上的調(diào)整。因此，實(shí)時(shí)數(shù)據(jù)處理已成為未來大數(shù)據(jù)技術(shù)發(fā)展的主要方向。數(shù)據(jù)處理的實(shí)時(shí)化必然會(huì)對(duì)與數(shù)據(jù)緊密相關(guān)的智能分析模型造成影響，可以說，為了快速識(shí)別、適應(yīng)外部環(huán)境的變化情況，各組織已經(jīng)開始將數(shù)據(jù)實(shí)時(shí)處理能力與AI能力相結(jié)合，實(shí)現(xiàn)智能數(shù)據(jù)分析業(yè)務(wù)的快速交付。

實(shí)際上，針對(duì)實(shí)時(shí)數(shù)據(jù)流的智能化處理技術(shù)已經(jīng)在很多行業(yè)中得到了先驗(yàn)。例如在互聯(lián)網(wǎng)直播領(lǐng)域，基于視頻流的實(shí)時(shí)濾鏡、實(shí)時(shí)特效算法已經(jīng)在快手、抖音等眾多APP中普遍使用，而國(guó)外的Twitch等直播網(wǎng)站，也推出了實(shí)時(shí)游戲數(shù)據(jù)分析等AI插件來增強(qiáng)直播效果；在體育數(shù)據(jù)領(lǐng)域，基于實(shí)時(shí)賽況的球隊(duì)、球員數(shù)據(jù)統(tǒng)計(jì)分析和賽況走勢(shì)預(yù)測(cè)也在各體育數(shù)據(jù)提供商處，如Opta Sports等，得到了應(yīng)用；在交通領(lǐng)域，基于實(shí)時(shí)交通信息的路況擁堵預(yù)測(cè)系統(tǒng)也已經(jīng)開始實(shí)施。此類例子不一而足，但都反映了實(shí)時(shí)AI數(shù)據(jù)處理已經(jīng)在不同領(lǐng)域、不同業(yè)務(wù)場(chǎng)景下得到了廣泛應(yīng)用，并且發(fā)揮了不可取代的作用。

在金融領(lǐng)域的許多場(chǎng)景中，對(duì)于實(shí)時(shí)AI數(shù)據(jù)處理同樣存在有眾多需求，如實(shí)時(shí)風(fēng)控、實(shí)時(shí)數(shù)據(jù)預(yù)測(cè)、實(shí)時(shí)異常檢測(cè)、實(shí)時(shí)用戶分析等等。下圖為實(shí)時(shí)產(chǎn)品推薦的一個(gè)數(shù)據(jù)流圖，可以用于金融產(chǎn)品推薦場(chǎng)景中，例如網(wǎng)貸、保險(xiǎn)、基金、股票等產(chǎn)品。

該圖描述了如下過程：在交互端我們可以通過埋點(diǎn)獲得大量的、不同用戶的行為數(shù)據(jù)，這些數(shù)據(jù)將被企業(yè)實(shí)時(shí)數(shù)據(jù)平臺(tái)采集，與用戶、產(chǎn)品及其他數(shù)據(jù)一起提供給計(jì)算層的各類模型，如用戶興趣模型、產(chǎn)品畫像模型等。這些模型對(duì)用戶和產(chǎn)品進(jìn)行特征刻畫，最終提供給推薦模型計(jì)算、排序、過濾得到最終的推薦列表。這一過程中我們可以根據(jù)采集到的實(shí)時(shí)用戶行為數(shù)據(jù)流對(duì)用戶興趣模型進(jìn)行更新和校正，從而實(shí)現(xiàn)對(duì)用戶所感興趣內(nèi)容的實(shí)時(shí)追蹤。

上圖沒有體現(xiàn)的一個(gè)過程是對(duì)產(chǎn)品畫像模型的實(shí)時(shí)更新，盡管相對(duì)用戶的行為數(shù)據(jù)而言，產(chǎn)品的特征數(shù)據(jù)相對(duì)穩(wěn)定，但在實(shí)際當(dāng)中還是有不少產(chǎn)品對(duì)時(shí)效性要求很高，其畫像特征也需要我們進(jìn)行實(shí)時(shí)的維護(hù)，例如證券市場(chǎng)的數(shù)據(jù)信息等。這些產(chǎn)品數(shù)據(jù)流可以通過其他渠道匯總進(jìn)入企業(yè)實(shí)時(shí)數(shù)據(jù)平臺(tái)之中，并提供給產(chǎn)品畫像模型進(jìn)行產(chǎn)品特征的重構(gòu)，最終提供給推薦模型進(jìn)行產(chǎn)品推薦。一個(gè)好的實(shí)時(shí)產(chǎn)品推薦系統(tǒng)可以靈敏捕捉用戶的需求、響應(yīng)產(chǎn)品的變化，可以高效地針對(duì)用戶開展個(gè)性化精準(zhǔn)營(yíng)銷，提升用戶體驗(yàn)度的同時(shí)還能夠提高獲客和關(guān)單數(shù)量，產(chǎn)生巨大的業(yè)務(wù)價(jià)值。

在上圖中企業(yè)實(shí)時(shí)數(shù)據(jù)平臺(tái)扮演了為推薦模型提供實(shí)時(shí)數(shù)據(jù)的重要任務(wù)。在一個(gè)敏捷的數(shù)據(jù)環(huán)境中，敏捷大數(shù)據(jù)就平臺(tái)可以很好地支持上述工作，一種實(shí)現(xiàn)架構(gòu)如下圖所示：

在該圖中，dbus和wormhole可以方便對(duì)接多種不同數(shù)據(jù)源，實(shí)時(shí)獲取數(shù)據(jù)，將數(shù)據(jù)pipeline源頭實(shí)時(shí)化。另外wormhole支持流上處理，很適合接入產(chǎn)品畫像模型和用戶興趣模型對(duì)產(chǎn)品與用戶的特征進(jìn)行實(shí)時(shí)刻畫，這些特征經(jīng)過存儲(chǔ)后由moonbox根據(jù)需要進(jìn)行抽取，輸入推薦模型得到需要的推薦列表，最終返回給交互端。此外，如果加上davinci數(shù)據(jù)BI的支持，我們還可以輕松地實(shí)現(xiàn)實(shí)時(shí)業(yè)務(wù)指標(biāo)監(jiān)控，便于我們對(duì)推薦效果進(jìn)行評(píng)估。整個(gè)過程靈活、便捷地整合了多種不同開源平臺(tái)以快速搭建實(shí)時(shí)數(shù)據(jù)應(yīng)用，還可以根據(jù)需要隨時(shí)切換開源選型，支持快速迭代試錯(cuò)，結(jié)合已有的算法模型就能夠迅速支持實(shí)現(xiàn)智能用戶產(chǎn)品實(shí)時(shí)推薦這一場(chǎng)景。

如前文所述，在實(shí)時(shí)AI數(shù)據(jù)處理過程中，基于敏捷大數(shù)據(jù)的各項(xiàng)業(yè)務(wù)組件，結(jié)合第三方的開源構(gòu)件，通過簡(jiǎn)單配置即可快速編排、敏捷地實(shí)現(xiàn)算法運(yùn)行的底層支持架構(gòu)。這使得整個(gè)系統(tǒng)中看起來唯一的麻煩之處在于我們還要事先開發(fā)好各種智能模型，這對(duì)于一些業(yè)務(wù)組織來說還是有一定的技術(shù)門檻；此外對(duì)于某些業(yè)務(wù)來說，快速推進(jìn)和成本控制才是首要考慮的因素，那么針對(duì)性地定制化開發(fā)智能算法模型，并調(diào)整調(diào)用接口使之可以接入實(shí)時(shí)數(shù)據(jù)架構(gòu)之中，就顯得比較笨拙。例如很多數(shù)據(jù)分析的業(yè)務(wù)人員，也許不需要太過精準(zhǔn)的模型性能，但最好能夠保證分析系統(tǒng)實(shí)施的便捷性、業(yè)務(wù)邏輯實(shí)現(xiàn)的迅捷性。

我們已經(jīng)讓數(shù)據(jù)處理變得敏捷，那么如何將數(shù)據(jù)智能也變得更加敏捷呢？為了解決這一問題，我們提出了敏捷AI的實(shí)施思路，即在現(xiàn)有敏捷大數(shù)據(jù)產(chǎn)品的基礎(chǔ)之上，基于業(yè)務(wù)場(chǎng)景設(shè)計(jì)開發(fā)一系列可插拔的實(shí)時(shí)智能模型算子，這些模型涵蓋了業(yè)務(wù)場(chǎng)景內(nèi)常見的智能化數(shù)據(jù)分析需求，具有較強(qiáng)的通用性和復(fù)用性，能夠無縫接入敏捷大數(shù)據(jù)平臺(tái)上的實(shí)時(shí)數(shù)據(jù)流并向平臺(tái)輸出分析結(jié)果，根據(jù)需要實(shí)時(shí)流入各業(yè)務(wù)端，最終實(shí)現(xiàn)基于實(shí)時(shí)數(shù)據(jù)流的智能分析過程。在敏捷大數(shù)據(jù)產(chǎn)品和敏捷AI的支持下，業(yè)務(wù)人員可以根據(jù)業(yè)務(wù)場(chǎng)景快速構(gòu)建從實(shí)時(shí)數(shù)據(jù)處理平臺(tái)到實(shí)時(shí)數(shù)據(jù)智能分析，再到實(shí)時(shí)數(shù)據(jù)展示的整個(gè)智能化數(shù)據(jù)治理流程，并可根據(jù)效果靈活調(diào)整試錯(cuò)，極大降低實(shí)時(shí)智能化業(yè)務(wù)分析的實(shí)施成本。

在上述敏捷AI的實(shí)施思路下，我們著手構(gòu)建敏捷AI算法庫，這是一套基于業(yè)務(wù)領(lǐng)域劃分的輕量級(jí)通用數(shù)據(jù)模型集合。其中的每個(gè)模型的設(shè)計(jì)應(yīng)該遵循以下原則：

輕量級(jí)，對(duì)模型復(fù)雜度進(jìn)行適當(dāng)?shù)目刂票ＷC數(shù)據(jù)處理的實(shí)時(shí)性；

獨(dú)立性，盡量減少環(huán)境依賴或保證環(huán)境的部署獨(dú)立性，避免由模型引入給系統(tǒng)整體帶來的環(huán)境依賴變動(dòng)；

單一性，各模型功能盡量單一，保證各模型功能的平行性；

數(shù)據(jù)普適性，除部分模型存在一些必需的特征外，各模型應(yīng)保證對(duì)接入數(shù)據(jù)的普遍適應(yīng)能力，通過一定的配置或映射即可以適應(yīng)絕大多數(shù)的業(yè)務(wù)場(chǎng)景。

為了實(shí)現(xiàn)上述要求，我們?cè)谘邪l(fā)模型時(shí)將不可避免地在某些方面做出一些取舍，例如模型若想通用必將會(huì)導(dǎo)致性能的一定程度下降，如何在這些矛盾中尋求一個(gè)合理的折中，也是在設(shè)計(jì)時(shí)需要考慮的問題。目前，我們已經(jīng)針對(duì)一些領(lǐng)域開始研發(fā)敏捷AI模型，經(jīng)過實(shí)際測(cè)試與應(yīng)用后，不久的將來就將整合進(jìn)現(xiàn)在的敏捷大數(shù)據(jù)產(chǎn)品棧中。此外，在未來我們還可以公布相關(guān)接口和規(guī)約，讓用戶也有能力將自己的模型加入到庫中。

實(shí)時(shí)數(shù)據(jù)的智能化分析是未來大數(shù)據(jù)技術(shù)和人工智能技術(shù)發(fā)展的重要方向之一，如何降低這一實(shí)施過程的經(jīng)濟(jì)成本、時(shí)間成本、技術(shù)成本以及變更成本，是敏捷大數(shù)據(jù)和敏捷AI著重解決的關(guān)鍵問題。本文結(jié)合敏捷大數(shù)據(jù)產(chǎn)品提出了一種解決思路，希望我們的產(chǎn)品能夠幫助各組織方便、快速、靈活地構(gòu)建自己的實(shí)時(shí)大數(shù)據(jù)智能分析系統(tǒng)。來源：宜信技術(shù)學(xué)院

作者：井玉欣

宜信技術(shù)學(xué)院