成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專(zhuān)欄INFORMATION COLUMN

AI中臺(tái):一種敏捷的智能業(yè)務(wù)支持方案|宜信技術(shù)學(xué)院沙龍分享實(shí)錄

makeFoxPlay / 2975人閱讀

摘要:因此數(shù)據(jù)中臺(tái)必須具備智能化能力,能夠?yàn)闃I(yè)務(wù)提供一定的智能數(shù)據(jù)分析能力。宜信作為一家金融科技公司,更多面對(duì)的是金融領(lǐng)域的智能業(yè)務(wù)需求。

內(nèi)容來(lái)源:宜信技術(shù)學(xué)院第1期技術(shù)沙龍-線上直播|AI中臺(tái):一種敏捷的智能業(yè)務(wù)支持方案

主講人介紹:井玉欣 宜信技術(shù)研發(fā)中心AI應(yīng)用團(tuán)隊(duì)負(fù)責(zé)人

本文字?jǐn)?shù):13479字 閱讀用時(shí):34分鐘

導(dǎo)讀:隨著“數(shù)據(jù)中臺(tái)”的提出和成功實(shí)踐,各企業(yè)紛紛在“大中臺(tái),小前臺(tái)”的共識(shí)下啟動(dòng)了自己的中臺(tái)化進(jìn)程,以數(shù)據(jù)中臺(tái)、技術(shù)中臺(tái)、業(yè)務(wù)中臺(tái)為代表的一系列技術(shù),極大增強(qiáng)了業(yè)務(wù)的敏捷性,提高了組織效能。同時(shí)隨著智能技術(shù)的發(fā)展,AI應(yīng)用在業(yè)務(wù)研發(fā)中的占比逐漸升高,但AI模型訓(xùn)練的復(fù)雜性導(dǎo)致其開(kāi)發(fā)慢、效率低,嚴(yán)重影響了業(yè)務(wù)的靈活性。

針對(duì)這種情況,能否基于中臺(tái)化思想對(duì)業(yè)務(wù)中AI研發(fā)工作進(jìn)行專(zhuān)門(mén)支持,提供對(duì)智能需求的迅速實(shí)現(xiàn)和靈活試錯(cuò)功能,從而提升企業(yè)智能創(chuàng)新能力?AI中臺(tái)的構(gòu)建和實(shí)施又該如何進(jìn)行?

本次直播宜信研發(fā)中心AI應(yīng)用團(tuán)隊(duì)負(fù)責(zé)人井玉欣博士結(jié)合宜信目前實(shí)際業(yè)務(wù)和中臺(tái)化戰(zhàn)略在宜信的實(shí)施情況對(duì)以上問(wèn)題進(jìn)行了探討。以下是本次分享的實(shí)錄。

分享大綱:

一、AI中臺(tái)的提出

二、AI中臺(tái)的目標(biāo)和定義

三、AI中臺(tái)的實(shí)施路線

四、實(shí)例分析-智能投顧機(jī)器人為例

五、總結(jié)

六、Q&A

PPT:https://pan.baidu.com/s/1-nqZ...
視頻:https://v.qq.com/x/page/e0856...

分享實(shí)錄

一、AI中臺(tái)的提出

1.1 中臺(tái)戰(zhàn)略的興起

自從中臺(tái)戰(zhàn)略被提出并得到成功實(shí)施后,業(yè)界反響強(qiáng)烈,國(guó)內(nèi)各家企業(yè)紛紛啟動(dòng)了自己的中臺(tái)化進(jìn)程。尤其是對(duì)于在戰(zhàn)略中處于核心地位的數(shù)據(jù)中臺(tái)建設(shè),各方都有自己的解讀和心得。

但總體來(lái)看,業(yè)界形成了對(duì)中臺(tái)戰(zhàn)略的一些共識(shí),即主張“大中臺(tái)、小前臺(tái)”,通過(guò)構(gòu)建中臺(tái),沉淀共享服務(wù),提高服務(wù)重用率,打破“煙囪式”、“項(xiàng)目制”系統(tǒng)之間的集成和協(xié)作壁壘,降低前臺(tái)業(yè)務(wù)的試錯(cuò)成本,賦予業(yè)務(wù)快速創(chuàng)新能力,最終提升企業(yè)的組織效能。

無(wú)論是在金融、在線交易、資訊、醫(yī)療還是教育行業(yè),業(yè)界對(duì)中臺(tái)戰(zhàn)略的研討包括企業(yè)日?;顒?dòng)中的各個(gè)環(huán)節(jié),例如業(yè)務(wù)中臺(tái)、技術(shù)中臺(tái)、移動(dòng)中臺(tái)等等,但在數(shù)據(jù)時(shí)代,企業(yè)中的大量業(yè)務(wù)都運(yùn)行于大數(shù)據(jù)之上,數(shù)據(jù)的響應(yīng)能力、處理能力決定了業(yè)務(wù)效率,所以中臺(tái)戰(zhàn)略中最主要的、也是實(shí)施的起點(diǎn),仍然是數(shù)據(jù)中臺(tái)。數(shù)據(jù)中臺(tái)實(shí)現(xiàn)了組織內(nèi)數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一,并打破數(shù)據(jù)壁壘,構(gòu)建統(tǒng)一數(shù)據(jù)實(shí)體,對(duì)外提供統(tǒng)一的數(shù)據(jù)服務(wù)。通過(guò)這三個(gè)“統(tǒng)一”實(shí)現(xiàn)了組織內(nèi)的數(shù)據(jù)資產(chǎn)中心,為前臺(tái)業(yè)務(wù)提供了自動(dòng)化、自助化的敏捷數(shù)據(jù)能力輸出。

自動(dòng)化的優(yōu)勢(shì)是可以極大節(jié)省常規(guī)數(shù)據(jù)操作的成本開(kāi)銷(xiāo),而自助化數(shù)據(jù)管理可以支持業(yè)務(wù)用戶根據(jù)自己需求自助式地獲取、處理數(shù)據(jù),靈活實(shí)現(xiàn)業(yè)務(wù)需求。但這兩個(gè)優(yōu)勢(shì)相比于傳統(tǒng)“煙囪式”數(shù)據(jù)系統(tǒng)來(lái)說(shuō),只是使業(yè)務(wù)方感覺(jué)數(shù)據(jù)服務(wù)更加能用、易用而已,想要真正做到好用,甚至讓業(yè)務(wù)方喜歡用,無(wú)論是數(shù)據(jù)中臺(tái)還是其他中臺(tái)服務(wù),都離不開(kāi)智能化的能力。

1.2 智能業(yè)務(wù)需求的中臺(tái)化

業(yè)務(wù)的智能化需求來(lái)自于兩方面:

一方面從數(shù)據(jù)層面來(lái)看,隨著可獲取的數(shù)據(jù)越來(lái)越多,我們對(duì)其中有價(jià)值信息的辨識(shí)、數(shù)據(jù)關(guān)系的發(fā)現(xiàn)、數(shù)據(jù)趨勢(shì)的把握都將變得越來(lái)越困難,只有通過(guò)智能化的方法對(duì)大數(shù)據(jù)進(jìn)行治理,才能提升業(yè)務(wù),甚至創(chuàng)新業(yè)務(wù)。基于大數(shù)據(jù)探索,發(fā)現(xiàn)其中的潛在數(shù)據(jù)聯(lián)系與趨勢(shì),可以為業(yè)務(wù)優(yōu)化與創(chuàng)新提供強(qiáng)有力的支持,實(shí)現(xiàn)真正的數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)。因此數(shù)據(jù)中臺(tái)必須具備智能化能力,能夠?yàn)闃I(yè)務(wù)提供一定的智能數(shù)據(jù)分析能力。

另一方面,除了基于數(shù)據(jù)自底向上的智能化驅(qū)動(dòng)以外,還存在自上而下的企業(yè)智能化理念驅(qū)動(dòng)。近幾年來(lái),許多智能技術(shù)日趨成熟,相應(yīng)的智能化理念也深入人心,大量智能化的成功案例使這些技術(shù)逐漸被行業(yè)主流接受,甚至成為了實(shí)際上的標(biāo)準(zhǔn)解決方案,比如電商需要推薦、金融需要風(fēng)控,而隨之就要求研發(fā)人員能夠在數(shù)據(jù)之上準(zhǔn)確快速實(shí)現(xiàn)前臺(tái)提出的智能化目標(biāo)。

上圖是一個(gè)示例,數(shù)據(jù)來(lái)源于Roland Berger。宜信作為一家金融科技公司,更多面對(duì)的是金融領(lǐng)域的智能業(yè)務(wù)需求。從圖中可以看到在金融這一個(gè)領(lǐng)域之內(nèi)就有這么多環(huán)節(jié)已經(jīng)形成了標(biāo)準(zhǔn)化的智能應(yīng)用,可想而知在今天企業(yè)業(yè)務(wù)的發(fā)展過(guò)程中智能化正在扮演一個(gè)多么重要的角色。


無(wú)論是哪方面的需求,都會(huì)碰到一個(gè)問(wèn)題:智能業(yè)務(wù)需求各種各樣、各不相同,一個(gè)需求下來(lái),研發(fā)團(tuán)隊(duì)需要針對(duì)性開(kāi)展數(shù)據(jù)分析處理、模型的構(gòu)建訓(xùn)練等,過(guò)程復(fù)雜繁復(fù),效率不高,從而拖長(zhǎng)了需求響應(yīng)時(shí)間,降低了業(yè)務(wù)敏捷程度,拉高了試錯(cuò)成本。這與在中臺(tái)戰(zhàn)略背景下,業(yè)務(wù)前臺(tái)希望能夠?qū)W⒂跇I(yè)務(wù)邏輯、靈活應(yīng)對(duì)變化產(chǎn)生了矛盾,而且隨著智能化應(yīng)用的廣泛開(kāi)展,這個(gè)矛盾也越來(lái)越普遍。

究其原因,一方面是由于智能化的大規(guī)模興起才短短幾年,智能應(yīng)用研發(fā)還處在比較原始的階段,缺乏完整的生命周期管理理論和相應(yīng)的管理框架工具;另一方面則反映了我們的中臺(tái)能力沒(méi)有完全覆蓋到前臺(tái)業(yè)務(wù)研發(fā)中笨重、重復(fù)、低效的環(huán)節(jié)。

那么,我們自然而然會(huì)想到,我們能否對(duì)現(xiàn)有數(shù)據(jù)中臺(tái)進(jìn)行進(jìn)一步智能化躍遷,解決上述問(wèn)題呢?如果能,數(shù)據(jù)中臺(tái)可以或者應(yīng)該提供什么樣的數(shù)據(jù)智能化能力?如果不能,中臺(tái)戰(zhàn)略又應(yīng)該如何敏捷支持智能化業(yè)務(wù)需求?

1.3 從數(shù)據(jù)中臺(tái)到AI中臺(tái)

我們先來(lái)看看數(shù)據(jù)中臺(tái)的智能化支持能力,試分析如下問(wèn)題:數(shù)據(jù)中臺(tái)能通過(guò)通用的智能數(shù)據(jù)模型充分支持當(dāng)前業(yè)務(wù)背景下多樣的智能需求嗎?答案是比較困難,原因在于業(yè)務(wù)智能化過(guò)程的復(fù)雜性。

通常的機(jī)器學(xué)習(xí)任務(wù)包括了回歸、分類(lèi)、標(biāo)注、聚類(lèi)、推薦等等,每個(gè)算法模型的實(shí)現(xiàn)又包括了數(shù)據(jù)預(yù)處理、特征分析、建模、訓(xùn)練、部署等多個(gè)環(huán)節(jié),實(shí)際中的應(yīng)用更是有可能包括多個(gè)模型。

而數(shù)據(jù)中臺(tái)以數(shù)據(jù)為核心,其智能化能力若想支持到以上所有環(huán)節(jié),工作量絕對(duì)不小,并且會(huì)偏離數(shù)據(jù)中臺(tái)的原有目標(biāo),因此讓數(shù)據(jù)中臺(tái)承擔(dān)全部的智能化業(yè)務(wù)支持是不合適的。

詳細(xì)來(lái)說(shuō),我們可以從目前人工智能(AI)所涵蓋的內(nèi)容進(jìn)行分析。廣義上人工智能指利用科學(xué)方法和技術(shù),研制能夠模仿、延伸、擴(kuò)展人類(lèi)智能的機(jī)器系統(tǒng),涉及了計(jì)算機(jī)科學(xué)、數(shù)學(xué)、哲學(xué)、心理學(xué)等多門(mén)學(xué)科;而從計(jì)算機(jī)科學(xué)的角度狹義來(lái)看,人工智能特指可以接受和處理外部數(shù)據(jù),并能夠做出類(lèi)人化分析、決策的計(jì)算機(jī)系統(tǒng),涵蓋了數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)等多個(gè)子領(lǐng)域。如無(wú)特殊說(shuō)明,本文所述人工智能皆指后者。

這幾類(lèi)任務(wù)中,機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的目標(biāo)、實(shí)施過(guò)程比較相似,因此通常直接統(tǒng)稱(chēng)為機(jī)器學(xué)習(xí)任務(wù),本文也采取這種概略性說(shuō)法。而數(shù)據(jù)挖掘任務(wù)則與機(jī)器學(xué)習(xí)任務(wù)相關(guān)又不太相同,他們之間的區(qū)別給很多人帶來(lái)過(guò)困擾。

實(shí)際上,按照《數(shù)據(jù)挖掘與預(yù)測(cè)分析》書(shū)中的定義,“數(shù)據(jù)挖掘是從大型數(shù)據(jù)集中發(fā)現(xiàn)有用的模式和趨勢(shì)的過(guò)程”,這其中包括了數(shù)據(jù)預(yù)處理、數(shù)據(jù)探索、數(shù)據(jù)降維、數(shù)據(jù)統(tǒng)計(jì)、關(guān)聯(lián)分析、離群分析等子任務(wù),這些是機(jī)器學(xué)習(xí)工作開(kāi)展的基礎(chǔ)。

而另一方面,數(shù)據(jù)挖掘還包含了之后的數(shù)據(jù)聚類(lèi)、數(shù)據(jù)預(yù)測(cè)、數(shù)據(jù)分類(lèi)的一些內(nèi)容,這些正是機(jī)器學(xué)習(xí)所研究的部分內(nèi)容;由于機(jī)器學(xué)習(xí)的蓬勃發(fā)展和優(yōu)異性能表現(xiàn),一般此部分的工作也更多交由機(jī)器學(xué)習(xí)來(lái)完成。

總之,兩者都是人工智能的重要研究方向,也是企業(yè)大數(shù)據(jù)智能化過(guò)程中的重要環(huán)節(jié),彼此相互聯(lián)系,但側(cè)重點(diǎn)存在不同:數(shù)據(jù)挖掘更側(cè)重于“洞察”,而機(jī)器學(xué)習(xí)更側(cè)重于“學(xué)習(xí)”和“預(yù)測(cè)”。

從上述分析可以看出,當(dāng)前業(yè)務(wù)背景下,從事“洞察”任務(wù)的數(shù)據(jù)挖掘工作將重心放在了數(shù)據(jù)上,一般不需要人工輔助即可自動(dòng)化完成;此外由于不涉及數(shù)據(jù)預(yù)測(cè)、分類(lèi)等任務(wù),數(shù)據(jù)挖掘通常采用比較固定的分析算法和模型,所以該部分工作完全可以做到自動(dòng)化、自助化,集成到數(shù)據(jù)中臺(tái)內(nèi),作為固定的智能數(shù)據(jù)模型服務(wù)提供給業(yè)務(wù)用戶。

另一方面,從事“學(xué)習(xí)”和“預(yù)測(cè)”任務(wù)的機(jī)器學(xué)習(xí)工作相對(duì)而言更加復(fù)雜:

機(jī)器學(xué)習(xí)的實(shí)施過(guò)程通常是高度計(jì)算密集型的;

所采用算法和模型結(jié)構(gòu)有可能相同,但都需要根據(jù)業(yè)務(wù)數(shù)據(jù)進(jìn)行個(gè)性化參數(shù)訓(xùn)練;

訓(xùn)練階段通常經(jīng)過(guò)多次迭代;

除部分非監(jiān)督學(xué)習(xí)外,實(shí)施環(huán)節(jié)通常需要人工標(biāo)注環(huán)節(jié)的參與;

線上模型的運(yùn)行性能需要監(jiān)控,需要根據(jù)數(shù)據(jù)演進(jìn)進(jìn)行更新。

了解了人工智能領(lǐng)域分類(lèi)后,我們來(lái)試圖回答一下前面提出的問(wèn)題。如果數(shù)據(jù)中臺(tái)愿意支持業(yè)務(wù)所提出的智能化需求,那么我們要怎么對(duì)數(shù)據(jù)中臺(tái)進(jìn)行躍遷?或者說(shuō)數(shù)據(jù)中臺(tái)要怎么躍遷自己的能力來(lái)支持這些需求呢?

從上圖可以看出,數(shù)據(jù)中臺(tái)本身具備以數(shù)據(jù)為核心、算法固定、有一定的自動(dòng)性等特征,我們完全可以在數(shù)據(jù)中臺(tái)里利用其流式計(jì)算能力、批量計(jì)算能力、數(shù)據(jù)可視化技術(shù)等來(lái)為相應(yīng)的業(yè)務(wù)需求提供支持。

這些還都是數(shù)據(jù)中臺(tái)本身就已經(jīng)具備的功能。如果還要用數(shù)據(jù)中臺(tái)來(lái)做機(jī)器學(xué)習(xí)部分的AI項(xiàng)目支持,還需要具備哪些能力呢?如上圖所示,一圈一圈地往外擴(kuò)展。首先需要復(fù)雜的特征工程支持能力、模型訓(xùn)練能力;其次需要數(shù)據(jù)標(biāo)注能力、模型部署能力、性能監(jiān)控能力。

每一項(xiàng)能力都需要耗費(fèi)大量的人力物力和時(shí)間來(lái)進(jìn)行開(kāi)發(fā),而且由內(nèi)而外的能力擴(kuò)展與數(shù)據(jù)本身的相關(guān)性是由強(qiáng)至弱的,也就是說(shuō)隨著能力層次的不斷擴(kuò)充,數(shù)據(jù)中臺(tái)逐漸偏離了其“以數(shù)據(jù)為核心”的宗旨,而且也會(huì)使得數(shù)據(jù)中臺(tái)變得臃腫復(fù)雜,在對(duì)接前臺(tái)業(yè)務(wù)需求的時(shí)候,也可能會(huì)帶來(lái)更多復(fù)雜性的問(wèn)題。因此數(shù)據(jù)中臺(tái)可以一定程度上支持智能化業(yè)務(wù)需求,但如果想單靠數(shù)據(jù)中臺(tái)來(lái)支持所有智能化業(yè)務(wù)需求顯然不是最佳選擇。

那么我們要怎么做呢?將AI中臺(tái)與數(shù)據(jù)中臺(tái)進(jìn)行分離。

如上圖,我們將數(shù)據(jù)中臺(tái)外面套著的幾層能力抽象剝離出來(lái),整合形成一個(gè)獨(dú)立的中臺(tái)層,依托數(shù)據(jù)中臺(tái)進(jìn)行一定的協(xié)作,共同應(yīng)對(duì)前臺(tái)的智能化業(yè)務(wù)需求。數(shù)據(jù)中臺(tái)主要集成數(shù)據(jù)挖掘、數(shù)據(jù)洞察智能算法和模型;新的中臺(tái)主要承擔(dān)復(fù)雜的學(xué)習(xí)預(yù)測(cè)類(lèi)智能需求研發(fā)。這一中臺(tái)我們稱(chēng)之為“AI中臺(tái)”。

上圖是AI中臺(tái)與數(shù)據(jù)中臺(tái)分離的結(jié)構(gòu)化圖表,自上而下分別是業(yè)務(wù)前臺(tái)、AI中臺(tái)和數(shù)據(jù)中臺(tái),還有底層一些相關(guān)的計(jì)算存儲(chǔ)資源。

數(shù)據(jù)中臺(tái)提供基本能力,包括數(shù)據(jù)標(biāo)準(zhǔn)化、數(shù)據(jù)實(shí)體化、數(shù)據(jù)服務(wù)統(tǒng)一化等;還支持部分?jǐn)?shù)據(jù)處理的智能需求,包括智能數(shù)據(jù)模型、關(guān)聯(lián)分析、主成分分析、異常點(diǎn)分析等。數(shù)據(jù)中臺(tái)主要承擔(dān)數(shù)據(jù)探索的職責(zé)。

AI中臺(tái)提供模型設(shè)計(jì)訓(xùn)練、模型/算法庫(kù)、復(fù)用標(biāo)注管理、監(jiān)控服務(wù)等一系列相關(guān)AI緊耦合的能力支持。AI中臺(tái)從事的是學(xué)習(xí)預(yù)測(cè)的任務(wù)。

業(yè)務(wù)前臺(tái)則是包括了各種需要中臺(tái)提供敏捷性支持的需求,比如業(yè)務(wù)智能需求、用戶細(xì)分需求、個(gè)性推薦需求等。

值得注意的是,上圖所示結(jié)構(gòu)只是一個(gè)示例,中臺(tái)主要面向業(yè)務(wù),是為了更敏捷地響應(yīng)業(yè)務(wù)需求,因此中臺(tái)體系應(yīng)該針對(duì)業(yè)務(wù)來(lái)設(shè)置,比如有一些前臺(tái)業(yè)務(wù)不需要AI中臺(tái)可以直接落到數(shù)據(jù)中臺(tái)來(lái)進(jìn)行處理。

至此我們已經(jīng)回答了前文的問(wèn)題,單純依賴(lài)數(shù)據(jù)中臺(tái)來(lái)支持業(yè)務(wù)智能化需求的敏捷實(shí)施是不夠的,但我們可以在其基礎(chǔ)之上構(gòu)建專(zhuān)門(mén)的AI中臺(tái)來(lái)提供這一能力。中臺(tái)化戰(zhàn)略中不能多帶帶依賴(lài)數(shù)據(jù)中臺(tái)來(lái)實(shí)現(xiàn)中臺(tái)化轉(zhuǎn)型,阿里的共享服務(wù)中心也是包括了業(yè)務(wù)、技術(shù)、數(shù)據(jù)等多個(gè)層面的內(nèi)容,各企業(yè)應(yīng)該按照自己的業(yè)務(wù)結(jié)構(gòu)與流程,合理抽象構(gòu)思自己的中臺(tái)服務(wù)模型并加以實(shí)施。

二、AI中臺(tái)的目標(biāo)與定義

前文通過(guò)對(duì)智能化業(yè)務(wù)需求和數(shù)據(jù)中臺(tái)的分析解釋了建設(shè)AI中臺(tái)的背景和原因,但AI中臺(tái)的目標(biāo)究竟是什么?其基本要求和能力有哪些?接下來(lái)我們將對(duì)此進(jìn)行詳細(xì)討論。

2.1 AI任務(wù)劃分與敏捷需求

AI中臺(tái)需要靈活地支持各類(lèi)AI任務(wù),解決各類(lèi)任務(wù)敏捷化過(guò)程中的需求與痛點(diǎn)。當(dāng)前,企業(yè)智能化需求各不相同,導(dǎo)致相應(yīng)的AI任務(wù)也種類(lèi)繁多。

對(duì)AI任務(wù)類(lèi)型有許多種劃分方法,例如經(jīng)典地按任務(wù)目標(biāo)可分為回歸、分類(lèi)、聚類(lèi)、標(biāo)注等等。

這里我們采用另一種劃分方式,認(rèn)為所有的AI任務(wù)都可以劃分成為兩類(lèi):

一種是針對(duì)某個(gè)業(yè)務(wù)領(lǐng)域內(nèi)特定類(lèi)型數(shù)據(jù),提供對(duì)此類(lèi)數(shù)據(jù)的基礎(chǔ)AI學(xué)習(xí)、預(yù)測(cè)、分析能力的“橫向”任務(wù),例如計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理任務(wù)等;

另一種則是面向業(yè)務(wù)具體需求的、相對(duì)特殊化與個(gè)性化的“縱向”任務(wù),例如金融領(lǐng)域的智能風(fēng)控、電商領(lǐng)域的產(chǎn)品推薦以及比較常見(jiàn)的用戶畫(huà)像構(gòu)建等。

就這兩類(lèi)AI任務(wù)來(lái)說(shuō),無(wú)論哪類(lèi)任務(wù)都可以獨(dú)立對(duì)外服務(wù),也可以混合起來(lái)相互之間集成、組合,形成AI解決方案來(lái)支持更復(fù)雜的業(yè)務(wù)場(chǎng)景。我們構(gòu)建智能化業(yè)務(wù)應(yīng)用的核心就是將智能化需求分解、映射為具體的AI任務(wù)并一一實(shí)現(xiàn),最后再進(jìn)行合理地編排組合,實(shí)現(xiàn)任務(wù)目標(biāo)。

但另一方面,在兩類(lèi)任務(wù)的實(shí)施過(guò)程中,其敏捷化需求存在著不同,對(duì)AI中臺(tái)應(yīng)該提供的服務(wù)需求也不同。相對(duì)而言,橫向任務(wù)的敏捷化比較容易實(shí)現(xiàn)。

對(duì)于橫向任務(wù),除部分場(chǎng)景外,很多時(shí)候其本身并不直接解決業(yè)務(wù)需求,常作為基礎(chǔ)模型對(duì)數(shù)據(jù)進(jìn)行初步加工,再由一些縱向任務(wù)來(lái)對(duì)接需求。這也給算法實(shí)施團(tuán)隊(duì)充足的時(shí)間對(duì)橫向任務(wù)模型進(jìn)行充分的雕琢,對(duì)其敏捷性進(jìn)行完善。

由于業(yè)務(wù)領(lǐng)域內(nèi)數(shù)據(jù)的通用性,我們完全可以預(yù)訓(xùn)練出一套常用的業(yè)務(wù)領(lǐng)域?qū)S脵M向AI模型,例如金融業(yè)務(wù)領(lǐng)域內(nèi)的通用自然語(yǔ)言理解模型等。這樣我們只需維護(hù)、更新這套模型,該領(lǐng)域內(nèi)的所有智能化相關(guān)需求都可以隨時(shí)地復(fù)用該模型庫(kù),從而節(jié)省大量的任務(wù)訓(xùn)練時(shí)間。

再進(jìn)一步,我們甚至可以預(yù)先訓(xùn)練一個(gè)全領(lǐng)域的橫向AI模型庫(kù),這樣即使我們進(jìn)入到一個(gè)全新的業(yè)務(wù)領(lǐng)域,基于這個(gè)預(yù)訓(xùn)練庫(kù),也能迅速地打造出領(lǐng)域內(nèi)通用橫向模型,例如計(jì)算機(jī)視覺(jué)領(lǐng)域的ImageNet項(xiàng)目、自然語(yǔ)言處理領(lǐng)域Google推出的BERT技術(shù)等都是如此。

因此,橫向的基礎(chǔ)性AI任務(wù)本身能夠通過(guò)提升模型的通用性、可復(fù)用性來(lái)敏捷支撐智能化業(yè)務(wù)需求,一個(gè)基本的AI共享服務(wù)平臺(tái)(或者說(shuō)我們希望構(gòu)建的AI中臺(tái))應(yīng)該為其提供一個(gè)方便的可復(fù)用解決方案設(shè)計(jì)與自動(dòng)展開(kāi)結(jié)構(gòu),完善的模型庫(kù)、算法庫(kù)管理系統(tǒng),以及穩(wěn)定的模型運(yùn)行環(huán)境等。

對(duì)于縱向任務(wù)來(lái)說(shuō),情況就變得比較復(fù)雜??v向任務(wù)需求廣泛,多為定制化開(kāi)發(fā),數(shù)據(jù)多種多樣,很難像橫向任務(wù)那樣通過(guò)構(gòu)建通用化模型來(lái)響應(yīng)需求;項(xiàng)目的開(kāi)發(fā)需要專(zhuān)門(mén)的人工標(biāo)注,模型需要反復(fù)地訓(xùn)練與調(diào)優(yōu),這些無(wú)一不需要大量時(shí)間與精力,最終導(dǎo)致項(xiàng)目大多數(shù)時(shí)間成本均花費(fèi)在這些環(huán)節(jié)之上,造成AI應(yīng)用項(xiàng)目研發(fā)緩慢。

更為重要的是,實(shí)際中前臺(tái)面對(duì)業(yè)務(wù)的瞬息萬(wàn)變,對(duì)智能化應(yīng)用的最大要求不一定是性能的最優(yōu)化提升,而是快速研發(fā)、迅速上線、立即產(chǎn)生效果,在不少情況下甚至可以對(duì)性能進(jìn)行一定的容忍,顯然大多數(shù)縱向任務(wù)的開(kāi)發(fā)速度是無(wú)法滿足這一需求的,這就產(chǎn)生了前臺(tái)業(yè)務(wù)快速推進(jìn)與后臺(tái)研發(fā)緩慢的激烈矛盾。AI服務(wù)如果要中臺(tái)化,那么我們的AI中臺(tái)必須能夠解決縱向任務(wù)研發(fā)緩慢這一最大痛點(diǎn)。

縱向任務(wù)的這一痛點(diǎn)關(guān)鍵在于其研發(fā)過(guò)程的復(fù)雜性:

在目前大多數(shù)縱向任務(wù)項(xiàng)目中,由于需求的不同,算法團(tuán)隊(duì)每次都會(huì)依次經(jīng)歷數(shù)據(jù)獲取、處理、分析、建模、標(biāo)注,模型訓(xùn)練、調(diào)優(yōu)、驗(yàn)證、部署、監(jiān)控、更新等一系列環(huán)節(jié);

而每個(gè)環(huán)節(jié)內(nèi)還有自己的復(fù)雜性,如數(shù)據(jù)接入管理、特征工程的開(kāi)展、標(biāo)注過(guò)程的人工介入、訓(xùn)練調(diào)優(yōu)的反復(fù)迭代等;

此外,整個(gè)環(huán)節(jié)還有眾多角色的介入,如數(shù)據(jù)分析師、算法工程師、標(biāo)注工程師、業(yè)務(wù)分析師等,對(duì)角色的管理同樣復(fù)雜。

所以針對(duì)這類(lèi)復(fù)雜任務(wù)問(wèn)題的研究重點(diǎn)就在于其全生命周期的科學(xué)化管理,以及研發(fā)流程和每個(gè)環(huán)節(jié)的優(yōu)化。通過(guò)對(duì)研發(fā)過(guò)程中各環(huán)節(jié)的拆分,我們能夠在一定程度上優(yōu)化任務(wù)編排順序,清楚定位各環(huán)節(jié)參與角色,通過(guò)任務(wù)并行與角色協(xié)作縮短時(shí)間開(kāi)銷(xiāo);而對(duì)于每個(gè)環(huán)節(jié)或局部環(huán)節(jié)的深入探討,可以抽象出自動(dòng)化操作和可復(fù)用的流程,進(jìn)一步提高業(yè)務(wù)響應(yīng)速度。

此外,不管橫向任務(wù)還是縱向任務(wù),兩者對(duì)AI中臺(tái)都有一些共同的基本需求。

首先,智能模型對(duì)數(shù)據(jù)的統(tǒng)一訪問(wèn)需求。智能模型在訓(xùn)練階段需要一定量的訓(xùn)練數(shù)據(jù),上線之后需要對(duì)接生產(chǎn)數(shù)據(jù),以后的監(jiān)控、更新還需要更多數(shù)據(jù),但在實(shí)際中每個(gè)項(xiàng)目的數(shù)據(jù)來(lái)源一般都各不相同,這就導(dǎo)致研發(fā)人員每次都要根據(jù)項(xiàng)目情況人工去申請(qǐng)、獲取、清洗、預(yù)處理數(shù)據(jù),十分影響效率。如果能夠?qū)咏y(tǒng)一的數(shù)據(jù)服務(wù)平臺(tái)甚至數(shù)據(jù)中臺(tái),那么這一過(guò)程將節(jié)省下大量時(shí)間與精力。

其次,智能模型需要穩(wěn)定的模型部署、運(yùn)行平臺(tái),還有相應(yīng)的模型監(jiān)控系統(tǒng)來(lái)時(shí)刻追蹤模型的性能表現(xiàn)。當(dāng)然,便捷的模型更新機(jī)制也應(yīng)具備,便于我們根據(jù)需要不斷更新、升級(jí)模型。

再次,智能模型在開(kāi)發(fā)過(guò)程中,需要一系列的運(yùn)算、存儲(chǔ)等資源。在大多數(shù)企業(yè)實(shí)體中,很多項(xiàng)目都是項(xiàng)目組自己提供運(yùn)算資源訓(xùn)練模型,上線時(shí)再申請(qǐng)生產(chǎn)資源對(duì)環(huán)境進(jìn)行配置、對(duì)項(xiàng)目進(jìn)行部署。這種各自為政的資源管理模式不可避免地會(huì)造成資源使用的不協(xié)調(diào)與浪費(fèi),需要一套可靠的資源管理系統(tǒng)對(duì)計(jì)算資源進(jìn)行集中管控,并提供彈性化的計(jì)算資源調(diào)度能力。

綜上,我們可以基于前文對(duì)兩類(lèi)AI任務(wù)的分析,對(duì)AI中臺(tái)究竟要做什么,應(yīng)具備什么能力進(jìn)行一下總結(jié)。

2.2 AI中臺(tái)的目標(biāo)與能力


AI中臺(tái)致力于解決目前企業(yè)智能應(yīng)用研發(fā)過(guò)程中存在的響應(yīng)緩慢、效率低下問(wèn)題,包括但不限于:

“煙囪式”開(kāi)發(fā),項(xiàng)目成本高、不易集成,過(guò)程重復(fù),缺乏能力沉淀;

研發(fā)環(huán)節(jié)繁多,缺少優(yōu)化、協(xié)同、自動(dòng)化輔助,業(yè)務(wù)響應(yīng)緩慢;

模型研發(fā)缺乏標(biāo)準(zhǔn)指導(dǎo),服務(wù)接口混亂,難以維護(hù)管理;

缺少統(tǒng)一的數(shù)據(jù)訪問(wèn)渠道,數(shù)據(jù)獲取難、標(biāo)準(zhǔn)不一致,重復(fù)的數(shù)據(jù)預(yù)處理與特征工程;

缺少統(tǒng)一的模型運(yùn)行、監(jiān)控平臺(tái),以及更新、維護(hù)機(jī)制;

基礎(chǔ)資源分散管理,未得到充分利用,造成浪費(fèi)。

以上問(wèn)題普遍存在,可以說(shuō)現(xiàn)在的許多算法研發(fā)團(tuán)隊(duì)更像是算法外包團(tuán)隊(duì),根據(jù)不同業(yè)務(wù)部門(mén)的需求各自構(gòu)建陣地,逐步攻克目標(biāo),過(guò)程重復(fù)、效率有限。而AI中臺(tái)則努力提供一個(gè)強(qiáng)大的AI能力支持中心,根據(jù)業(yè)務(wù)需要快速提供火力支援,迅速達(dá)成目的。所以,AI中臺(tái)應(yīng)具備的能力包括:

多層次可復(fù)用。對(duì)于算法、模型的標(biāo)準(zhǔn)化研發(fā)指導(dǎo),以及可復(fù)用服務(wù)封裝能力;

服務(wù)統(tǒng)一化。統(tǒng)一的服務(wù)接口規(guī)范,支持服務(wù)的動(dòng)態(tài)編排組合;

流程角色優(yōu)化。研發(fā)流程拆分優(yōu)化,清晰的研發(fā)角色定義,支持任務(wù)并行與角色協(xié)作,構(gòu)建AI產(chǎn)品研發(fā)流水線;

自動(dòng)化迭代。具備研發(fā)環(huán)節(jié)內(nèi)部、環(huán)節(jié)之間的自動(dòng)化迭代、流轉(zhuǎn)功能;

對(duì)接數(shù)據(jù)平臺(tái)。數(shù)據(jù)中臺(tái)或其他基礎(chǔ)數(shù)據(jù)服務(wù)對(duì)接,迅速接入標(biāo)準(zhǔn)化數(shù)據(jù),乃至預(yù)處理數(shù)據(jù);

運(yùn)行監(jiān)控。提供統(tǒng)一的模型運(yùn)行環(huán)境和監(jiān)控能力,以及模型更新機(jī)制;

資源管控。統(tǒng)一資源管理,包括計(jì)算資源、存儲(chǔ)資源等,支持資源彈性調(diào)度。

結(jié)合上述能力,我們針對(duì)AI中臺(tái)給出一個(gè)探討性的定義:

AI中臺(tái)是一套完整的智能模型全生命周期管理平臺(tái)和服務(wù)配置體系,基于數(shù)據(jù)平臺(tái)服務(wù),通過(guò)對(duì)智能服務(wù)的共享復(fù)用、對(duì)智能服務(wù)研發(fā)相關(guān)角色進(jìn)行管理,以及研發(fā)流程的標(biāo)準(zhǔn)化、自動(dòng)化,對(duì)前臺(tái)業(yè)務(wù)提供個(gè)性化智能服務(wù)的迅速構(gòu)建能力支持。

三、AI中臺(tái)的實(shí)施路線

前文我們介紹了AI中臺(tái)產(chǎn)生的背景、能力以及定義,本節(jié)將重點(diǎn)介紹AI中臺(tái)的實(shí)施路線。

3.1 AI中臺(tái)的主要成分

上圖展示的是AI產(chǎn)品研發(fā)的生命周期,業(yè)務(wù)需求進(jìn)來(lái),要經(jīng)過(guò)業(yè)務(wù)理解、模型學(xué)習(xí)、數(shù)據(jù)處理和運(yùn)行監(jiān)控四個(gè)大的步驟。

這四個(gè)步驟加上中臺(tái)管理構(gòu)成了AI中臺(tái)主要成分:

業(yè)務(wù)理解,根據(jù)業(yè)務(wù)需求設(shè)計(jì)實(shí)施方案,服務(wù)編排,通用方案模板管理;

數(shù)據(jù)處理,包括數(shù)據(jù)獲取和數(shù)據(jù)準(zhǔn)備與分析;

模型學(xué)習(xí)包括特征工程、模型訓(xùn)練和模型評(píng)估,以及可復(fù)用模型庫(kù)、算法庫(kù)管理;

運(yùn)行監(jiān)控包括模型自動(dòng)部署運(yùn)行、性能監(jiān)控和對(duì)外服務(wù)接口管理。

此外,為了便于對(duì)AI中臺(tái)進(jìn)行角色、權(quán)限統(tǒng)一控制和資源管控,我們還設(shè)置了中臺(tái)管理模塊。

3.2 從平臺(tái)到中臺(tái)的構(gòu)建

構(gòu)建數(shù)據(jù)中臺(tái)時(shí)我們一般會(huì)采用從平臺(tái)到中臺(tái)演進(jìn)的策略,AI中臺(tái)的構(gòu)建也是如此。

從平臺(tái)到中臺(tái)的躍遷過(guò)程中需要參考常見(jiàn)的機(jī)器學(xué)習(xí)平臺(tái),包括訓(xùn)練平臺(tái),部署/運(yùn)行平臺(tái)、監(jiān)控平臺(tái)、標(biāo)注平臺(tái)、建模平臺(tái)、數(shù)據(jù)處理平臺(tái)等。

我們可以根據(jù)現(xiàn)有平臺(tái)完成AI中臺(tái)的構(gòu)建。建模平臺(tái)具備業(yè)務(wù)建模、服務(wù)/模型建模的功能,可用于業(yè)務(wù)理解和模型學(xué)習(xí)的環(huán)節(jié);訓(xùn)練平臺(tái)具備模型自動(dòng)化訓(xùn)練優(yōu)化評(píng)估功能,可用于模型學(xué)習(xí)環(huán)節(jié);數(shù)據(jù)處理環(huán)節(jié)需要進(jìn)行數(shù)據(jù)分析、樣本分析,可以用到數(shù)據(jù)處理平臺(tái)和標(biāo)注平臺(tái);而部署/運(yùn)行平臺(tái)和監(jiān)控平臺(tái)可為運(yùn)行監(jiān)控環(huán)節(jié)提供支持。由此可見(jiàn),我們能夠根據(jù)現(xiàn)有平臺(tái)完成AI中臺(tái)的構(gòu)建。

上圖是AI中臺(tái)的能力圖譜。

不論企業(yè)還是AI訓(xùn)練團(tuán)隊(duì),最早都是從基礎(chǔ)設(shè)施出發(fā),包括數(shù)據(jù)接入、高性能計(jì)算資源、運(yùn)行環(huán)境資源等;

然后在保障穩(wěn)定的基礎(chǔ)之上獲得訓(xùn)練工具,包括模型訓(xùn)練追蹤能力、算法框架支持能力等,實(shí)現(xiàn)過(guò)程的自動(dòng)化;

有了訓(xùn)練工具的支撐,我們可以把常用的業(yè)務(wù)和環(huán)節(jié)進(jìn)行聚攏和集中配置,形成AI平臺(tái),包括模型/服務(wù)結(jié)構(gòu)可配置化、模型算法可復(fù)用化等,形成標(biāo)準(zhǔn)化的AI研發(fā)過(guò)程;

AI中臺(tái)實(shí)際上是對(duì)現(xiàn)有能力進(jìn)行整合串聯(lián),實(shí)現(xiàn)生命周期的管理,包括服務(wù)編排共享能力、方案可復(fù)用能力、全流程管理能力等,在標(biāo)準(zhǔn)之上實(shí)現(xiàn)提效,達(dá)到高效的目的。


上圖將AI中臺(tái)能力分別與成分、平臺(tái)進(jìn)行映射,并且以顏色進(jìn)行區(qū)分與對(duì)應(yīng)。

值得注意的是,這里我們只列出了部分中臺(tái)能力,根據(jù)中臺(tái)對(duì)業(yè)務(wù)的支持需要還可能會(huì)包含其他能力,需要我們?nèi)ソㄔO(shè);此外,平臺(tái)對(duì)中臺(tái)的支持也是有限的,缺乏的功能或不全面的功能都要我們?nèi)ヘS富。

3.3 AI中臺(tái)的流程及架構(gòu)

上圖從前臺(tái)業(yè)務(wù)需求出發(fā),根據(jù)AI中臺(tái)的五個(gè)成分列出AI中臺(tái)建設(shè)所需的主要功能組件。

業(yè)務(wù)理解部分包括方案模板管理、方案設(shè)計(jì)、服務(wù)編排、服務(wù)共享等;

數(shù)據(jù)處理部分包括數(shù)據(jù)展示、數(shù)據(jù)訪問(wèn)、數(shù)據(jù)分析、數(shù)據(jù)標(biāo)注等;

模型學(xué)習(xí)部分包括服務(wù)設(shè)計(jì)、特征處理、模型訓(xùn)練、模型追蹤、模型庫(kù)、算法庫(kù)等;

運(yùn)行監(jiān)控部分包括具體的產(chǎn)品封裝、自動(dòng)部署、性能監(jiān)控、訪問(wèn)接口管理、模型更新和發(fā)布測(cè)試等;

中臺(tái)管理部分包括角色權(quán)限、資源管理、租戶管理和流程控制等。

將前文所述的功能構(gòu)件映射到AI項(xiàng)目生命周期中得出上圖所示的總體運(yùn)轉(zhuǎn)流程。

從業(yè)務(wù)需求開(kāi)始,對(duì)業(yè)務(wù)進(jìn)行理解,包括方案模板參考、方案設(shè)計(jì)、服務(wù)編排、服務(wù)共享等,如果需要復(fù)用其他服務(wù),可以在這里進(jìn)行訪問(wèn)配置;

數(shù)據(jù)處理部分的工作通過(guò)數(shù)據(jù)中臺(tái)來(lái)完成,數(shù)據(jù)中臺(tái)向上提供數(shù)據(jù)參考、向下提供模型訓(xùn)練及監(jiān)控的支持;

模型訓(xùn)練部分形成比較復(fù)雜的循環(huán),因?yàn)槠浔旧砭褪且粋€(gè)自動(dòng)化迭代的過(guò)程;

封裝部分涉及到監(jiān)控和對(duì)外提供訪問(wèn)接口等功能;

中臺(tái)管理在底部提供構(gòu)建支持。

下文將對(duì)各部分運(yùn)轉(zhuǎn)流程進(jìn)行詳細(xì)拆解。

業(yè)務(wù)理解中心

業(yè)務(wù)理解中心的運(yùn)轉(zhuǎn)流程如上圖所示:

業(yè)務(wù)需求進(jìn)來(lái)之后,先從數(shù)據(jù)處理中心獲取數(shù)據(jù)分析和參考,采集數(shù)據(jù)樣本提供可視化支持;

然后進(jìn)行方案選擇:是否具備可復(fù)用的方案模板?“是”即直接復(fù)用方案,只需改變數(shù)據(jù);“否”即進(jìn)行方案設(shè)計(jì)。

接下來(lái)是分解方案到各個(gè)服務(wù)中,并對(duì)服務(wù)進(jìn)行合理有效的編排。此處還需考慮哪些服務(wù)可供復(fù)用;

最后輸出三個(gè)方面的內(nèi)容:向數(shù)據(jù)處理中心輸出數(shù)據(jù)獲取要求;向運(yùn)行監(jiān)控中心輸出產(chǎn)品封裝指導(dǎo);向模型學(xué)習(xí)中心輸出模型訓(xùn)練任務(wù)。

業(yè)務(wù)理解中心運(yùn)轉(zhuǎn)流程主要涉及三個(gè)角色:

業(yè)務(wù)分析師,分析相關(guān)方案設(shè)計(jì)、服務(wù)編排;

數(shù)據(jù)分析師,提供數(shù)據(jù)建議、方案設(shè)計(jì)建議;

算法工程師,考慮服務(wù)編排、服務(wù)之間的數(shù)據(jù)接口等。

數(shù)據(jù)處理中心

數(shù)據(jù)處理中心的運(yùn)轉(zhuǎn)流程如上圖所示:

從業(yè)務(wù)處理中心獲取數(shù)據(jù)要求規(guī)范,通過(guò)數(shù)據(jù)訪問(wèn)對(duì)接數(shù)據(jù)中臺(tái);

基于數(shù)據(jù)中臺(tái)向上提供數(shù)據(jù)分析功能、數(shù)據(jù)展示及功能可視化;

通過(guò)數(shù)據(jù)展示獲得參考,對(duì)數(shù)據(jù)進(jìn)行標(biāo)注;

操作數(shù)據(jù)訪問(wèn),返回到數(shù)據(jù)中臺(tái),對(duì)數(shù)據(jù)進(jìn)行重新加工。

最后對(duì)對(duì)外輸出三個(gè)方面的內(nèi)容:向業(yè)務(wù)理解中心輸出數(shù)據(jù)分析參考;向模型學(xué)習(xí)中心輸出模型訓(xùn)練數(shù)據(jù);向運(yùn)行監(jiān)控中心輸出生產(chǎn)數(shù)據(jù)。

數(shù)據(jù)處理中心運(yùn)轉(zhuǎn)流程主要涉及四個(gè)角色:

數(shù)據(jù)分析師,要求對(duì)其中主要環(huán)節(jié)都有涉獵;

業(yè)務(wù)分析師和算法工程師主要關(guān)注數(shù)據(jù)展示;

標(biāo)注工程師,主要參與數(shù)據(jù)標(biāo)注環(huán)節(jié)。

模型學(xué)習(xí)中心

模型學(xué)習(xí)中心是算法工程師的主要陣地,該部分的運(yùn)轉(zhuǎn)流程如上圖所示:

接收來(lái)自業(yè)務(wù)理解中心的模型服務(wù)任務(wù)、數(shù)據(jù)處理中心的訓(xùn)練數(shù)據(jù)、運(yùn)行監(jiān)控中心的性能矯正信息,進(jìn)行服務(wù)設(shè)計(jì)。服務(wù)設(shè)計(jì)時(shí)要考慮需要多少個(gè)模型?模型之間如何串聯(lián)?算法庫(kù)和模型庫(kù)中是否有可供復(fù)用的算法與模型?

服務(wù)流程設(shè)計(jì)完成后進(jìn)行特征處理;

將特征輸入模型進(jìn)行編碼和訓(xùn)練;

將模型訓(xùn)練結(jié)果輸入模型追蹤的功能組件進(jìn)行模型評(píng)估;

經(jīng)過(guò)迭代獲得最優(yōu)訓(xùn)練模型輸出到運(yùn)行監(jiān)控中心,同時(shí)輸出數(shù)據(jù)操作到數(shù)據(jù)處理中心。

運(yùn)行監(jiān)控中心

運(yùn)行監(jiān)控中心是與業(yè)務(wù)用戶直接相關(guān)的一環(huán),由運(yùn)維人員進(jìn)行模型更新和性能監(jiān)控。該部分的運(yùn)轉(zhuǎn)流程如上圖所示:

接收數(shù)據(jù)處理中心提供的生產(chǎn)數(shù)據(jù),通過(guò)訪問(wèn)接口處理輸出,寫(xiě)回到數(shù)據(jù)處理中心;

接收模型學(xué)習(xí)中心的已訓(xùn)練模型服務(wù)、業(yè)務(wù)理解中心的產(chǎn)品封裝指導(dǎo),對(duì)產(chǎn)品服務(wù)進(jìn)行串聯(lián)封裝、部署、發(fā)布、測(cè)試;(如果要封裝的產(chǎn)品是對(duì)已有產(chǎn)品的更新,則先通過(guò)模型更新機(jī)制對(duì)現(xiàn)有模型進(jìn)行合理啟停更新操作之后再部署發(fā)布測(cè)試。)

向上將交互數(shù)據(jù)提供給訪問(wèn)接口,并對(duì)訪問(wèn)接口進(jìn)行配置;向下提供性能指標(biāo)給性能監(jiān)控,如果發(fā)現(xiàn)問(wèn)題及時(shí)報(bào)警,并反饋到模型學(xué)習(xí)中心進(jìn)行重新訓(xùn)練。

AI中臺(tái)層級(jí)架構(gòu)

AI中臺(tái)的層級(jí)架構(gòu)如上圖,AI中臺(tái)處于數(shù)據(jù)模型服務(wù)與業(yè)務(wù)解決方案之間,向上連接業(yè)務(wù)向下溝通數(shù)據(jù),每一個(gè)層級(jí)都有其可復(fù)用的機(jī)制。

中間部分從上而下分成業(yè)務(wù)理解、模型學(xué)習(xí)、數(shù)據(jù)處理三大板塊;右側(cè)的運(yùn)行監(jiān)控對(duì)產(chǎn)品和模型進(jìn)行統(tǒng)一封裝、對(duì)外統(tǒng)一的訪問(wèn)接口等;左側(cè)是貫穿于整個(gè)流程始終的平臺(tái)管理,包括角色權(quán)限、租戶管理、流程控制、資源管理等。

四、實(shí)例分析-智能投顧機(jī)器人

上文對(duì)中臺(tái)實(shí)施路線進(jìn)行了較為詳細(xì)的介紹,本節(jié)將結(jié)合宜信內(nèi)部智能投顧機(jī)器人的實(shí)踐案例分析AI中臺(tái)如何解決實(shí)際業(yè)務(wù)中的智能化需求。(由于智能投顧機(jī)器人是一個(gè)比較大的解決方案,此處做了適當(dāng)抽象和縮減。)

4.1 智能投顧機(jī)器人

智能投顧是通過(guò)人工智能算法,在線提供自動(dòng)化的資產(chǎn)組合配置建議和財(cái)富的管理服務(wù)。例如宜信旗下的智能理財(cái)產(chǎn)品:投米R(shí)A,就是通過(guò)智能化的方式幫助用戶做科學(xué)的資產(chǎn)配置,從而實(shí)現(xiàn)財(cái)富管理方式的升級(jí)。

智能投顧機(jī)器人涉及的AI服務(wù)及數(shù)據(jù):

智能交互,比如聊天機(jī)器人;

客戶畫(huà)像,對(duì)于已有客戶積累的公司來(lái)說(shuō)這部分?jǐn)?shù)據(jù)已經(jīng)具備;

篩選產(chǎn)品池,從現(xiàn)有理財(cái)產(chǎn)品池中篩選表現(xiàn)最優(yōu)的產(chǎn)品,目前我們的理財(cái)產(chǎn)品池可以實(shí)現(xiàn)定時(shí)批量處理,自動(dòng)化篩選出每個(gè)時(shí)期表現(xiàn)較好的精選產(chǎn)品;

風(fēng)險(xiǎn)分析,作為一個(gè)金融領(lǐng)域的智能應(yīng)用,風(fēng)險(xiǎn)分析尤為重要,用戶能承受什么樣的風(fēng)險(xiǎn)、基于該風(fēng)險(xiǎn)值能取得怎么樣的回報(bào)等都要有合理的分析;

資產(chǎn)配比,宜信目前有很多類(lèi)型的資產(chǎn),如基金、股票、房產(chǎn)等,還會(huì)進(jìn)行全球化的資產(chǎn)配比,這就需要科學(xué)、理性、量化的分析,納入風(fēng)險(xiǎn)因子進(jìn)行綜合考量,實(shí)現(xiàn)資產(chǎn)配比;

投資產(chǎn)品推薦,參考用戶畫(huà)像里的個(gè)人信息、風(fēng)險(xiǎn)分析、資產(chǎn)配比等,為用戶推薦最優(yōu)化收益產(chǎn)品。

了解了智能投顧機(jī)器人的特征之后,我們結(jié)合AI中臺(tái)的運(yùn)轉(zhuǎn)流程具體來(lái)看該案例的實(shí)施。

4.2 案例實(shí)施

業(yè)務(wù)理解

在業(yè)務(wù)理解環(huán)節(jié),首先需要考慮業(yè)務(wù)方案是什么樣的?是否可復(fù)用?假設(shè)有可復(fù)用的方案,直接接入數(shù)據(jù)即可;如果沒(méi)有可復(fù)用的方案,則需要設(shè)計(jì)新的方案。

如上圖右側(cè)的設(shè)計(jì)導(dǎo)圖所示,需要考慮數(shù)據(jù)接口配置和數(shù)據(jù)源/角色配置。比如方案的數(shù)據(jù)接口有哪些?涉及到哪些服務(wù)?如何返回?每個(gè)結(jié)構(gòu)里相關(guān)的角色有哪些?等等。

最重要的是考慮哪些服務(wù)是可復(fù)用的?假設(shè)公司內(nèi)部已經(jīng)有了一個(gè)聊天機(jī)器人,那么這里完全可以用它來(lái)接待客戶,承擔(dān)智能聊天的功能;此外財(cái)富產(chǎn)品畫(huà)像服務(wù)也已經(jīng)有了,直接把篩選產(chǎn)品詞這部分產(chǎn)生的數(shù)據(jù)源接入進(jìn)來(lái)即可;而資產(chǎn)配比服務(wù),我們可能有相關(guān)的線下模型,并且已經(jīng)將它進(jìn)行服務(wù)化封裝。以上這些服務(wù)都可復(fù)用,風(fēng)險(xiǎn)分析服務(wù)及后續(xù)投資產(chǎn)品推薦服務(wù)需要新建。

可復(fù)用的服務(wù)、需新建的服務(wù)明確之后,各個(gè)團(tuán)隊(duì)可以并行開(kāi)發(fā),角色配置也是如此,如此很快便可進(jìn)入下一階段,提高了開(kāi)發(fā)的效率。

模型學(xué)習(xí)

延續(xù)上一階段的實(shí)踐,對(duì)風(fēng)險(xiǎn)分析服務(wù)進(jìn)行實(shí)際模型設(shè)計(jì)與訓(xùn)練。

從方案設(shè)計(jì)獲取模型服務(wù)job,設(shè)計(jì)服務(wù)流程,它的輸入是一個(gè)篩選后的用戶畫(huà)像,如上圖右側(cè)的結(jié)構(gòu)所示,設(shè)計(jì)了兩個(gè)比較簡(jiǎn)單的模型:一個(gè)是風(fēng)險(xiǎn)承受能力測(cè)評(píng)模型,這個(gè)模型之上還復(fù)用了一個(gè)已有的特征篩選模型,配合將用戶畫(huà)像里適合模型的有用特征提取出來(lái)并輸入到模型中;另一個(gè)是流動(dòng)性需求模型,評(píng)估資產(chǎn)需求,這里加了一個(gè)Python的代碼片段對(duì)用戶畫(huà)像的數(shù)據(jù)進(jìn)行加工再輸入模型中。底下還新建了一個(gè)模型,對(duì)數(shù)據(jù)進(jìn)行合并和輸出。

該模型可進(jìn)行自動(dòng)訓(xùn)練、可視化追蹤。模型編排確定后,任務(wù)自動(dòng)發(fā)送給工程師,可以在終端上通過(guò)交互式編程界面進(jìn)行開(kāi)發(fā),之后對(duì)代碼進(jìn)行上傳,在托管服務(wù)器可以將代碼直接發(fā)布到訓(xùn)練集群上,自動(dòng)進(jìn)行訓(xùn)練,之后將訓(xùn)練結(jié)果推送到追蹤服務(wù)器上,獲取相關(guān)數(shù)據(jù)進(jìn)行模型調(diào)優(yōu)反復(fù)迭代,同時(shí)追蹤服務(wù)器會(huì)記錄每一次指標(biāo)及模型,可選擇最優(yōu)的模型發(fā)布給監(jiān)控中心。

運(yùn)行監(jiān)控

運(yùn)行監(jiān)控主要對(duì)服務(wù)和方案進(jìn)行封裝、測(cè)試、發(fā)布,包括接口配置??梢詥蝹€(gè)服務(wù)測(cè)試,也可以整個(gè)方案一起進(jìn)行測(cè)試。

服務(wù)上線之后,通過(guò)提供可視化支持以及相關(guān)統(tǒng)計(jì)報(bào)表對(duì)整個(gè)性能進(jìn)行合理監(jiān)控,如上圖所示,一旦發(fā)現(xiàn)報(bào)警,可回到模型學(xué)習(xí)中心,進(jìn)行重新訓(xùn)練。

數(shù)據(jù)處理

前面幾個(gè)部分都跟數(shù)據(jù)處理相關(guān),數(shù)據(jù)處理的部分直接交給數(shù)據(jù)中臺(tái)來(lái)完成,AI中臺(tái)只提供數(shù)據(jù)中臺(tái)的訪問(wèn)接口,主要操作包括:通過(guò)數(shù)據(jù)中臺(tái)的可視化工具觀察數(shù)據(jù),利用數(shù)據(jù)中臺(tái)數(shù)據(jù)模型預(yù)處理數(shù)據(jù),標(biāo)注平臺(tái)開(kāi)展各模型數(shù)據(jù)標(biāo)注。其最終目標(biāo)是支持模型訓(xùn)練過(guò)程中訪問(wèn)數(shù)據(jù)中臺(tái)綁定訓(xùn)練數(shù)據(jù),比如文件、數(shù)據(jù)庫(kù)以及其他數(shù)據(jù)存儲(chǔ)系統(tǒng)。

上圖右側(cè)展示的是宜信已經(jīng)開(kāi)源的工具,包括DBus、Wormhole、Moonbox、Davinci,可以幫助大家更好地構(gòu)建數(shù)據(jù)中臺(tái)。

五、總結(jié)

以上部分介紹了AI中臺(tái)產(chǎn)生的背景、目標(biāo)、定義、實(shí)施路線。

AI中臺(tái)的構(gòu)建可以復(fù)用現(xiàn)有的技術(shù)、能力和平臺(tái),是一種敏捷的智能業(yè)務(wù)支持方案;

AI中臺(tái)是數(shù)據(jù)/業(yè)務(wù)智能化發(fā)展的產(chǎn)物,以自動(dòng)化模型代替人工流轉(zhuǎn),降低資源和人員成本;

AI平臺(tái)的能力建設(shè)基于數(shù)據(jù)平臺(tái)/中臺(tái),面向前臺(tái)業(yè)務(wù)需求,提升響應(yīng)業(yè)務(wù)需求的能力。

通過(guò)AI中臺(tái)沉淀技術(shù)、共享服務(wù)、優(yōu)化流程、整合資源、降低成本、提升效率是我們構(gòu)建AI中臺(tái)的最終目標(biāo),要想實(shí)現(xiàn)這一目標(biāo),還需要一個(gè)比較漫長(zhǎng)的探索和實(shí)踐過(guò)程。

從平臺(tái)到中臺(tái),面向業(yè)務(wù)一步步實(shí)現(xiàn)躍遷,這是一個(gè)循序漸進(jìn)的過(guò)程,不可一蹴而就。企業(yè)實(shí)施落地中臺(tái)化戰(zhàn)略,最重要的是從自己的業(yè)務(wù)實(shí)際、具體的研發(fā)條件出發(fā),以共享服務(wù)、整合資源、降低成本、提升效率為目標(biāo),建立符合業(yè)務(wù)需求的中臺(tái)體系和方法論。

六、Q & A

Q1: AI中臺(tái)要從哪些維度來(lái)評(píng)估需求的重要程度?業(yè)務(wù)需求多種多樣,如何設(shè)計(jì)可復(fù)用的AI模型?

A: 評(píng)估需求的部分不應(yīng)交由AI中臺(tái)來(lái)完成,在業(yè)務(wù)前臺(tái)將需求提交過(guò)來(lái)時(shí)應(yīng)該與業(yè)務(wù)分析專(zhuān)家、需求分析專(zhuān)家進(jìn)行合理的討論確定項(xiàng)目的優(yōu)先級(jí),評(píng)定的維度主要從業(yè)務(wù)的重要性、影響客戶的范圍、時(shí)間緊迫性等維度出發(fā)綜合評(píng)估,一般在專(zhuān)門(mén)的需求分析系統(tǒng)中完成。

AI模型的可復(fù)用設(shè)計(jì)問(wèn)題實(shí)在太泛化了,主要從業(yè)務(wù)中自行體會(huì),對(duì)于有經(jīng)驗(yàn)的架構(gòu)師可以比較容易地識(shí)別出不同粒度下的復(fù)用方案設(shè)計(jì)。這里簡(jiǎn)單從不同層次討論一下。算法級(jí)不必多說(shuō),而模型級(jí)別主要考慮單個(gè)模型的功能粒度,一般來(lái)說(shuō)我們不建議一個(gè)模型過(guò)于復(fù)雜,過(guò)于復(fù)雜的功能我們通常會(huì)采用多個(gè)模型分別實(shí)現(xiàn)各功能,再在服務(wù)設(shè)計(jì)中通過(guò)模型編排來(lái)實(shí)現(xiàn);模型的通用性需要定義好模型的數(shù)據(jù)接口,以及模型結(jié)構(gòu),考慮模型重訓(xùn)練和增量訓(xùn)練的機(jī)制,便于復(fù)用時(shí)進(jìn)行模型適應(yīng);此外模型的功能通用性同樣需要關(guān)注。服務(wù)級(jí)別的復(fù)用相對(duì)比較容易識(shí)別,是比較固定和獨(dú)立的場(chǎng)景服務(wù),例如聊天機(jī)器人、客戶風(fēng)控等等,一般需要復(fù)用的服務(wù)基本不需要過(guò)多的重訓(xùn)練和調(diào)整,相對(duì)固定,直接調(diào)用或簡(jiǎn)單配置后調(diào)用即可,服務(wù)的復(fù)用設(shè)計(jì)類(lèi)似于SOA過(guò)程中web服務(wù)的設(shè)計(jì),增加考慮服務(wù)的可配置性。方案級(jí)別的復(fù)用比較少,因?yàn)榻鉀Q方案已經(jīng)是一套相對(duì)固定的產(chǎn)品了,我們主張的復(fù)用也更類(lèi)似于一種模板和指導(dǎo)架構(gòu),中間的服務(wù)模型填充由用戶自己實(shí)現(xiàn),所以方案級(jí)別的復(fù)用設(shè)計(jì)可以直接從重要的產(chǎn)品抽象。

Q2: 這些平臺(tái)都已經(jīng)落地了嗎?對(duì)業(yè)務(wù)提升的效果是怎樣的呢?

A: 已經(jīng)部分落地,不斷完善中,研發(fā)速度快了,工程師省事了,效率高了,對(duì)業(yè)務(wù)輸出的智能化產(chǎn)品也多了:)

Q3: 請(qǐng)問(wèn)你們這邊AI中臺(tái)是否對(duì)外輸出,是否支持本地化部署?

A: AI中臺(tái)在發(fā)育成熟后會(huì)考慮將部分能力以工具的形式對(duì)外發(fā)布,本地化部署當(dāng)然在我們的考慮之內(nèi)。

Q4: 前臺(tái)和中臺(tái)是否會(huì)出現(xiàn)分工不明確的問(wèn)題,怎么才能更好的解決?

A: 映射到我們的研發(fā)流程里,前臺(tái)和中臺(tái)的劃分還是很明確的,前臺(tái)在確定研發(fā)計(jì)劃時(shí),將只負(fù)責(zé)前臺(tái)業(yè)務(wù)邏輯的設(shè)計(jì)和交互管理,對(duì)于其余的數(shù)據(jù)功能、AI功能會(huì)直接推送到技術(shù)中臺(tái)、數(shù)據(jù)中臺(tái)、AI中臺(tái)等中臺(tái)模塊獲取支持;而前臺(tái)和中臺(tái)的劃分在組織架構(gòu)層面得到了更加清晰的劃分,業(yè)務(wù)團(tuán)隊(duì)的不同反映了工作性質(zhì)的不同,兩者唯一可能出現(xiàn)交叉的人員角色就是業(yè)務(wù)分析專(zhuān)家了,可能來(lái)自于前臺(tái)團(tuán)隊(duì),但其權(quán)限也是有限的,角色分工完全通過(guò)中臺(tái)管理進(jìn)行配置,各個(gè)環(huán)節(jié)所能映射的角色是不同的,所以不會(huì)出現(xiàn)前臺(tái)業(yè)務(wù)人員介入算法工作的情況,也可以管理技術(shù)人員參與業(yè)務(wù)分析的程度??偠灾?,前臺(tái)和中臺(tái)的劃分是企業(yè)中臺(tái)化戰(zhàn)略的一個(gè)重要環(huán)節(jié),不光要從業(yè)務(wù)流程上梳理,還要對(duì)組織架構(gòu)、人員職責(zé)進(jìn)行統(tǒng)一的調(diào)整。

【以上為井玉欣博士分享的全部?jī)?nèi)容】

文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/19974.html

相關(guān)文章

  • AI中臺(tái)一種敏捷智能業(yè)務(wù)支持方案

    摘要:月日晚點(diǎn),線上直播,中臺(tái)一種敏捷的智能業(yè)務(wù)支持方案金融科技領(lǐng)域,能解決什么問(wèn)題在宜信年的發(fā)展歷程中,圍繞普惠金融和財(cái)富管理兩大業(yè)務(wù)板塊,宜信陸續(xù)推出了宜人貸宜人財(cái)富致誠(chéng)信用博城保險(xiǎn)等多個(gè)產(chǎn)品,技術(shù)已被廣泛應(yīng)用到各產(chǎn)品的業(yè)務(wù)線中。 [宜信技術(shù)沙龍】是由宜信技術(shù)學(xué)院主辦的系列技術(shù)分享活動(dòng),活動(dòng)包括線上和線下兩種形式,每期技術(shù)沙龍都將邀請(qǐng)宜信及其他互聯(lián)網(wǎng)公司的技術(shù)專(zhuān)家分享來(lái)自一線的實(shí)踐經(jīng)驗(yàn),...

    Chaz 評(píng)論0 收藏0
  • 敏捷AI | NLP技術(shù)宜信業(yè)務(wù)實(shí)踐【背景篇】

    摘要:技術(shù)在宜信宜信擁有豐富的業(yè)務(wù)和產(chǎn)品線,這些產(chǎn)品線產(chǎn)生了大量的人工智能賦能需求。技術(shù)在宜信的實(shí)踐背景暫且介紹到這里,接下來(lái)我們會(huì)為大家介 文章圍繞基于機(jī)器學(xué)習(xí)的NLP技術(shù)在宜信內(nèi)部各業(yè)務(wù)領(lǐng)域的應(yīng)用實(shí)踐展開(kāi),分享這一過(guò)程中的相關(guān)經(jīng)驗(yàn),包括智能機(jī)器人在業(yè)務(wù)支持、客戶服務(wù)中的探索,基于文本語(yǔ)義分析的用戶畫(huà)像構(gòu)建,以及NLP算法服務(wù)平臺(tái)化實(shí)施思路等。本文為背景篇,敬請(qǐng)大家閱讀~ 作者:井玉欣。畢...

    myshell 評(píng)論0 收藏0

發(fā)表評(píng)論

0條評(píng)論

最新活動(dòng)
閱讀需要支付1元查看
<