摘要：近日，在個(gè)推技術(shù)沙龍深圳站，來(lái)自華為個(gè)推的技術(shù)大拿們?cè)诂F(xiàn)場(chǎng)，對(duì)核心技術(shù)進(jìn)行了深入的探討。最后，個(gè)推還支持了部署發(fā)布的工具，讓訓(xùn)練的成果能夠通過(guò)標(biāo)準(zhǔn)化的方式導(dǎo)出到線上，進(jìn)行服務(wù)部署，真正地在線上產(chǎn)生價(jià)值。

人工智能技術(shù)的飛速發(fā)展給各行各業(yè)都帶來(lái)了深遠(yuǎn)的影響，AI已被視為企業(yè)提升運(yùn)營(yíng)效能、應(yīng)對(duì)市場(chǎng)競(jìng)爭(zhēng)的必經(jīng)之路。然而對(duì)于一些企業(yè)而言，讓AI真正實(shí)現(xiàn)落地和應(yīng)用，并且創(chuàng)造價(jià)值，仍是一件需要努力的事情。

近日，在個(gè)推技術(shù)沙龍TechDay深圳站，來(lái)自華為、個(gè)推、SheIn的技術(shù)大拿們?cè)诂F(xiàn)場(chǎng)，對(duì)AI核心技術(shù)進(jìn)行了深入的探討。

AI在生產(chǎn)環(huán)境落地的整個(gè)過(guò)程中，通常會(huì)遇到三個(gè)挑戰(zhàn)：

第一，業(yè)務(wù)場(chǎng)景復(fù)雜。簡(jiǎn)單的一個(gè)算法也許只能優(yōu)化某個(gè)環(huán)節(jié)，但整個(gè)業(yè)務(wù)場(chǎng)景的優(yōu)化可能需要許多算法的相互配合。

第二，數(shù)據(jù)問(wèn)題。數(shù)據(jù)是AI的重要支撐之一，許多企業(yè)都欠缺獲取高質(zhì)量、有標(biāo)注數(shù)據(jù)的能力。

第三，技術(shù)問(wèn)題。在AI落地的過(guò)程所遇到的技術(shù)問(wèn)題，有四個(gè)核心：1）CPU / GPU環(huán)境的調(diào)度和管理復(fù)雜。2）AI業(yè)務(wù)的開發(fā)人員們需要一個(gè)低門檻的實(shí)驗(yàn)平臺(tái)，使其能夠進(jìn)行快速的探索實(shí)驗(yàn)。3）擁有大規(guī)模數(shù)據(jù)的企業(yè)，需要工業(yè)級(jí)大規(guī)模分布式訓(xùn)練，來(lái)保證算法能夠應(yīng)用于全量數(shù)據(jù)中。4）企業(yè)需要提供低延遲的在線服務(wù)。

人工智能最核心的是數(shù)據(jù)，而數(shù)據(jù)可以分為兩個(gè)部分，實(shí)時(shí)數(shù)據(jù)和離線數(shù)據(jù)。個(gè)推使用Hive方案進(jìn)行離線數(shù)據(jù)的存儲(chǔ)，注重?cái)?shù)據(jù)的容量和擴(kuò)展性；而在線用戶對(duì)延時(shí)非常在意，所以個(gè)推會(huì)使用高性能KV庫(kù)，保證在線特征能夠及時(shí)地被訪問(wèn)到。

在解決了基礎(chǔ)的數(shù)據(jù)存儲(chǔ)和使用問(wèn)題之后，對(duì)于AI落地過(guò)程中的技術(shù)問(wèn)題，個(gè)推內(nèi)部支持端到端的服務(wù)，能夠使用標(biāo)準(zhǔn)化流程快速進(jìn)行實(shí)踐探索。個(gè)推也自研了一些插件和產(chǎn)品包，簡(jiǎn)化流程步驟和復(fù)雜度，幫助經(jīng)驗(yàn)較少的開發(fā)者也可以在較短的時(shí)間內(nèi)搭建系統(tǒng)。最后，個(gè)推還支持了部署發(fā)布的工具，讓訓(xùn)練的成果能夠通過(guò)標(biāo)準(zhǔn)化的方式導(dǎo)出到線上，進(jìn)行服務(wù)部署，真正地在線上產(chǎn)生價(jià)值。

在小微企業(yè)AI落地實(shí)踐的過(guò)程中，可以使用Kubeflow等開源技術(shù)棧。首先，環(huán)境的管理與調(diào)度可以使用Kubernates作為分布式環(huán)境標(biāo)準(zhǔn)；Jupyter +開源數(shù)據(jù)分析工具包+ AI框架可以進(jìn)行低門檻的快速探索實(shí)驗(yàn)；Kubeflow + Tensorflow / PyTorch / MXNet可以快速地部署大規(guī)模的分布式訓(xùn)練；最后，借助Kubernates提供的快速部署、上線、擴(kuò)縮容的能力，可以提供高可用的在線服務(wù)。

而在AI實(shí)際落地時(shí)，企業(yè)則需要注意以下三點(diǎn)：

第一，快與高效。企業(yè)可以借助開源工具快速落地業(yè)務(wù)，同時(shí)也要注意沉淀流程和垂直領(lǐng)域。

第二，集成打通。Kubernates方案并不是唯一的選擇，企業(yè)需要考慮自身情況，與已有系統(tǒng)進(jìn)行對(duì)接，選擇適合自身的方案。

第三，團(tuán)隊(duì)建設(shè)。各個(gè)技術(shù)部門之間需要進(jìn)行高效的配合，企業(yè)也可以引導(dǎo)研發(fā)工程師逐漸地融入AI領(lǐng)域。

對(duì)于企業(yè)來(lái)說(shuō)，如果想要做好AI個(gè)性化產(chǎn)品的業(yè)務(wù)，只有算法工程師是不夠的，還需要工程、數(shù)據(jù)分析人員的支持，以及產(chǎn)品、運(yùn)營(yíng)人員的助力。

當(dāng)企業(yè)涉及到的業(yè)務(wù)較多時(shí)，也可以將業(yè)務(wù)進(jìn)行通用處理，即建設(shè)偏向系統(tǒng)層面的推薦平臺(tái)。該推薦平臺(tái)需要數(shù)據(jù)、算法和系統(tǒng)的共同配合。推薦平臺(tái)的接入，可以帶來(lái)三點(diǎn)功能：第一，企業(yè)在進(jìn)行物料同步時(shí)，可以做到格式統(tǒng)一，并且同步增量和全量；第二，平臺(tái)在處理用戶的服務(wù)請(qǐng)求時(shí)，可以做到標(biāo)準(zhǔn)化、高性能和智能化；第三，平臺(tái)可以格式統(tǒng)一、實(shí)時(shí)、離線地上報(bào)用戶行為。

簡(jiǎn)單的機(jī)器學(xué)習(xí)過(guò)程是搭建環(huán)境、收集數(shù)據(jù)、分析數(shù)據(jù)、準(zhǔn)備數(shù)據(jù)、訓(xùn)練算法、測(cè)試算法和使用算法。在這個(gè)過(guò)程中也隱藏著許多問(wèn)題，比如如何解決冷啟動(dòng)問(wèn)題，如何解決假曝光問(wèn)題，如何清洗異常數(shù)據(jù)，如何選擇正負(fù)樣本，如何解決數(shù)據(jù)稀疏問(wèn)題，如何從億級(jí)特征中選擇顯著特征等。

在機(jī)器學(xué)習(xí)的過(guò)程中，數(shù)據(jù)是基礎(chǔ)，理想的狀態(tài)是數(shù)據(jù)的數(shù)量大且特征完備。收集數(shù)據(jù)有“推”和“拉”兩種方式，“拉”即是爬蟲，“推”就是上報(bào)。而分析數(shù)據(jù)則是分析目標(biāo)分布、特征分布、目標(biāo)特征關(guān)系、特征間的關(guān)系和完整性等。分析數(shù)據(jù)的方式有離線分析、實(shí)時(shí)分析和融合分析，分析工具則可以在Excle、Shell(awk)、Python、Mysql、Hadoop、Spark、Matlab…當(dāng)中進(jìn)行選擇。清洗數(shù)據(jù)需要清洗系統(tǒng)臟數(shù)據(jù)、業(yè)務(wù)臟數(shù)據(jù)和目標(biāo)外數(shù)據(jù)。格式化數(shù)據(jù)則需要進(jìn)行數(shù)據(jù)變換、采樣和稀疏處理。

而機(jī)器學(xué)習(xí)可以選擇的算法模型較多，如熱度、貝葉斯、關(guān)聯(lián)規(guī)則、LR、GBDT、AR、CF(ALS)等等。

在算法模型中，特征工程也是非常重要的一部分。其中，特征對(duì)象有物料、用戶和上下文；特征類型有靜態(tài)特征、動(dòng)態(tài)特征、表征特征、枚舉特征、實(shí)數(shù)特征等；特征維度則有一階獨(dú)立特征、二階交叉特征和多階交叉特征。特征的選擇也是一件需要注意的事情，企業(yè)可以在過(guò)濾型、包裹型和嵌入型三種特征進(jìn)行選擇，同時(shí)，企業(yè)還需要在前向、后向和StepWise三種特征過(guò)程類型中進(jìn)行選擇。

算法的最后還需要進(jìn)行效果評(píng)估、多維度評(píng)估、實(shí)時(shí)評(píng)估和離線評(píng)估。企業(yè)還需要注意到，沒(méi)有一勞永逸的模型，算法需要進(jìn)行持續(xù)的關(guān)注和運(yùn)營(yíng)。

合適環(huán)境的搭建也是算法能夠正常運(yùn)行的保障之一。算法的環(huán)境需要標(biāo)準(zhǔn)化、配置化、可擴(kuò)展、高性能，同時(shí)支持立體監(jiān)控和效果提升，保證用戶體驗(yàn)。

在計(jì)算機(jī)領(lǐng)域，上世紀(jì)90年代就有人嘗試，將圖像的特征和識(shí)別的過(guò)程，通過(guò)人類的規(guī)則同步給計(jì)算機(jī)，讓計(jì)算機(jī)進(jìn)行“圖像識(shí)別”。一直到了2012、13年，人們發(fā)現(xiàn)，對(duì)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)方式做一些小的變化，能夠大幅度地提升計(jì)算機(jī)進(jìn)行圖像識(shí)別的可操作性，這個(gè)改善后的神經(jīng)網(wǎng)絡(luò)被稱為卷積神經(jīng)網(wǎng)絡(luò)（CNN）。CNN進(jìn)行圖像處理的本質(zhì)是信息提取，也被稱為自動(dòng)的特征工程，即通過(guò)巨大的神經(jīng)網(wǎng)絡(luò)一步步地抽取到關(guān)鍵的圖像特征，從而達(dá)到圖像識(shí)別的目的。

而人臉識(shí)別則是一種基于人的臉部特征信息，進(jìn)行身份識(shí)別的生物識(shí)別技術(shù)?，F(xiàn)如今，人臉識(shí)別已經(jīng)可以有效地對(duì)用戶身份進(jìn)行識(shí)別，并且被廣泛地應(yīng)用于支付、安檢、考勤等場(chǎng)景。而隨著人臉數(shù)據(jù)系統(tǒng)的建設(shè)，人臉識(shí)別也將成為反欺詐、風(fēng)控等的有效手段之一，能夠極大地縮短身份審核的確認(rèn)時(shí)間。

人臉識(shí)別最大的優(yōu)點(diǎn)是非接觸性，可以隱蔽操作，這使得它能夠適用于安全問(wèn)題、罪犯監(jiān)控與抓逃應(yīng)用。同時(shí)，非接觸性的信息采集沒(méi)有侵犯性，容易被大眾接受。而人臉識(shí)別方便、快捷、強(qiáng)大的事后追蹤能力，也符合人類的識(shí)別習(xí)慣。人臉識(shí)別的不足之處，在于不同人臉的相似性小，同時(shí)識(shí)別性能受外界條件的影響大。

人臉識(shí)別的步驟主要包括人臉檢測(cè)、人臉對(duì)齊校準(zhǔn)、人臉特征提取、人臉特征模型建立、人臉特征匹配以及人臉識(shí)別結(jié)果的輸出。

其中，人臉檢測(cè)的目標(biāo)是找出圖像中，人臉?biāo)鶎?duì)應(yīng)的位置，算法輸出的則是人臉外接矩形在圖像中的坐標(biāo)，可能還包括姿態(tài)，如傾斜角度等信息。

人臉識(shí)別的第二步是人臉對(duì)齊，它需要在保證人臉的特征等要素沒(méi)有發(fā)生扭曲和變化的前提下進(jìn)行使用，在這樣的情況下，輸出的人臉距離才能與后期的模型進(jìn)行有效對(duì)比。

人臉識(shí)別的最后一步是人臉匹配，在網(wǎng)絡(luò)足夠大，樣本足夠豐富的情況下，人臉匹配的準(zhǔn)確率會(huì)非常高。

在人臉識(shí)別的領(lǐng)域，深度學(xué)習(xí)網(wǎng)絡(luò)的發(fā)展會(huì)越來(lái)越好。深度學(xué)習(xí)有其相應(yīng)的優(yōu)勢(shì)，它強(qiáng)調(diào)了數(shù)據(jù)的抽象和特征的自動(dòng)學(xué)習(xí)，并且它的自主學(xué)習(xí)特征更為可靠。