摘要：摘要導(dǎo)語(yǔ)近日，阿里云發(fā)布了智能媒體管理服務(wù)，通過(guò)離線(xiàn)處理能力關(guān)聯(lián)授權(quán)的云存儲(chǔ)，提供便捷的海量多媒體數(shù)據(jù)一鍵分析，并通過(guò)該分析過(guò)程構(gòu)建價(jià)值元數(shù)據(jù)，更好支撐內(nèi)容檢索。標(biāo)準(zhǔn)統(tǒng)一，訪(fǎng)問(wèn)接口統(tǒng)一為阿里云的標(biāo)準(zhǔn)。場(chǎng)景化一鍵式處理，提高易用性。

摘要： 導(dǎo)語(yǔ) 近日，阿里云發(fā)布了智能媒體管理（Intelligent Media Management）服務(wù)， 通過(guò)離線(xiàn)處理能力關(guān)聯(lián)授權(quán)的云存儲(chǔ)，提供便捷的海量多媒體數(shù)據(jù)一鍵分析，并通過(guò)該分析過(guò)程構(gòu)建價(jià)值元數(shù)據(jù)，更好支撐內(nèi)容檢索。

導(dǎo)語(yǔ)
近日，阿里云發(fā)布了智能媒體管理（Intelligent Media Management）服務(wù)， 通過(guò)離線(xiàn)處理能力關(guān)聯(lián)授權(quán)的云存儲(chǔ)，提供便捷的海量多媒體數(shù)據(jù)一鍵分析，并通過(guò)該分析過(guò)程構(gòu)建價(jià)值元數(shù)據(jù)，更好支撐內(nèi)容檢索。

背景介紹
隨著智能手機(jī)的普及、無(wú)人機(jī)的流行，業(yè)界產(chǎn)生了海量的圖片、視頻等多媒體數(shù)據(jù)；同時(shí)，網(wǎng)絡(luò)也在飛速發(fā)展，特別是4G的推廣，讓這些數(shù)據(jù)的保存、分享發(fā)生了巨大的變化，從而也帶來(lái)了媒體數(shù)據(jù)各行業(yè)的新趨勢(shì)。我們親身體驗(yàn)到通信方式從短信變成語(yǔ)音，瀏覽內(nèi)容從文字變成圖片、從JPG靜態(tài)圖片變成GIF動(dòng)態(tài)圖片、再到短視頻；從去年開(kāi)始，直播也火熱起來(lái)，成為一種流行的時(shí)尚。這些迅速的變化趨勢(shì)，反應(yīng)了一個(gè)共同的特點(diǎn)，就是“交互的信息量越豐富、越實(shí)時(shí)，用戶(hù)越容易被吸引，越會(huì)產(chǎn)生新的價(jià)值”。

如圖中所示行業(yè)，都在利用最新的人工智能(Artificial Intelligence, AI)技術(shù)產(chǎn)生新的價(jià)值，同時(shí)也引入新的需求：

手機(jī)相冊(cè)。它早已不是簡(jiǎn)單的圖片備份，iOS通過(guò)AI構(gòu)建人臉相冊(cè)、場(chǎng)景標(biāo)簽、編輯應(yīng)用，變成吸引客戶(hù)的亮點(diǎn)，成為新的基線(xiàn)。
視頻監(jiān)控。它不再只是記錄取證工具，而是利用AI發(fā)展為智慧城市，變成了智慧的眼睛，要管理整個(gè)城市的交通信息。
直播應(yīng)用。個(gè)人分享已不僅僅是博客、微博的文本形式，更是轉(zhuǎn)變?yōu)榭焖僦庇^(guān)的視頻模式，這背后需要更高、更快的直播內(nèi)容理解、審核需求。
數(shù)據(jù)處理場(chǎng)景需求
對(duì)于圖片分享社區(qū)應(yīng)用場(chǎng)景，最基本的功能是提供備份、分享，但這并不能帶來(lái)更多的價(jià)值。只有提供更多的圖片處理能力，比如主體剪裁、人臉識(shí)別、濾鏡功能、風(fēng)格渲染、視頻合成等數(shù)據(jù)處理功能，如下圖所示。這些亮點(diǎn)將為使用者帶來(lái)“生活不止眼前的茍且，還有依然在你身邊的美好”回憶，從而讓?xiě)?yīng)用更具吸引力。

內(nèi)容檢索場(chǎng)景需求
如今的綜藝節(jié)目非?；鸨?，例如跑男、極限挑戰(zhàn)等，每期拍攝的素材量千倍于實(shí)際播出量；要在這海量素材中快速掃描、找到爆點(diǎn)，需要相當(dāng)大的工作量，例如當(dāng)前的人肉檢索低效率方式需要處理幾周的時(shí)間。如果能夠基于AI分析語(yǔ)音、人物、場(chǎng)景得到結(jié)構(gòu)化信息，并索引管理起來(lái)，支撐更好的檢索，它將會(huì)大大的提高素材的處理效率。

同樣，在線(xiàn)教育等領(lǐng)域，對(duì)于老師、演講者的材料、語(yǔ)音、視頻內(nèi)容，如果能夠提供快速的解析索引能力，那么它將給學(xué)習(xí)者提供便捷的專(zhuān)場(chǎng)內(nèi)容描述、快速定位關(guān)鍵術(shù)語(yǔ)、演講筆記同步提取等亮點(diǎn)。

客戶(hù)痛點(diǎn)分析
要滿(mǎn)足上述場(chǎng)景需求，當(dāng)前應(yīng)用架構(gòu)設(shè)計(jì)時(shí)，需要選型不同數(shù)據(jù)處理功能的廠(chǎng)家（包括AI廠(chǎng)家）進(jìn)行集成、或者自研開(kāi)發(fā)，對(duì)于內(nèi)容檢索，還需要分析場(chǎng)景細(xì)節(jié)需求，引入數(shù)據(jù)庫(kù)設(shè)計(jì)和開(kāi)發(fā)。這都需要很好的技術(shù)能力，以及開(kāi)發(fā)團(tuán)隊(duì)的支撐，并解決如下的痛點(diǎn)。

多廠(chǎng)家管理痛點(diǎn)

圖片應(yīng)用將數(shù)據(jù)保存到云存儲(chǔ)后，要選擇不同廠(chǎng)家的AI分析能力，支撐業(yè)務(wù)和監(jiān)管的需求。應(yīng)用通常會(huì)在云服務(wù)器（Elastic Compute Service，ECS）上部署AI廠(chǎng)家的軟件包，或者直接調(diào)用AI廠(chǎng)家提供的服務(wù)，但需要解決如下問(wèn)題：

接口不統(tǒng)一。因?yàn)榇嬖诙鄰S(chǎng)家的選型，需要考慮不同廠(chǎng)家接口的兼容性。
資源浪費(fèi)。同一張圖片會(huì)被多次讀取，甚至是傳輸?shù)酵獠烤W(wǎng)絡(luò)，浪費(fèi)網(wǎng)絡(luò)帶寬，提高使用成本。
無(wú)存量數(shù)據(jù)的低成本批量處理方案。采用廠(chǎng)商的同步處理價(jià)格高昂，需要提供存量數(shù)據(jù)的低成本批量處理方案，接受異步接口返回檢測(cè)結(jié)果（比如針對(duì)存量的OSS桶里面的所有圖片，進(jìn)行批量鑒黃）。
復(fù)雜元數(shù)據(jù)管理痛點(diǎn)

智能網(wǎng)盤(pán)通過(guò)自己的用戶(hù)鑒權(quán)服務(wù)允許客戶(hù)登錄，然后采用基礎(chǔ)數(shù)據(jù)管理把圖片、視頻上傳到云存儲(chǔ)OSS中。為了提供人臉?lè)纸M、標(biāo)簽分組等搜索功能，需要提供各類(lèi)元數(shù)據(jù)管理，定義基于場(chǎng)景的表格式、處理數(shù)據(jù)庫(kù)的異常，它將帶來(lái)如下的開(kāi)發(fā)難度：

元數(shù)據(jù)表設(shè)計(jì)難度大。針對(duì)不同的元數(shù)據(jù)，需要分類(lèi)設(shè)計(jì)各類(lèi)表結(jié)構(gòu)存儲(chǔ)，有相當(dāng)?shù)募夹g(shù)門(mén)檻。
多維度元數(shù)據(jù)管理有挑戰(zhàn)。需要組合多種元數(shù)據(jù)，進(jìn)行多維度查詢(xún)處理，存在設(shè)計(jì)挑戰(zhàn)。
維護(hù)元數(shù)據(jù)的的一致性難題。解決這些元數(shù)據(jù)在異常場(chǎng)景下的異常處理，是系統(tǒng)級(jí)難題。
設(shè)計(jì)目標(biāo)

通過(guò)上述的場(chǎng)景和痛點(diǎn)分析，智能媒體管理（IMM）服務(wù)提取了6個(gè)關(guān)鍵點(diǎn)作為設(shè)計(jì)目標(biāo)：

海量數(shù)據(jù)，支撐云存儲(chǔ)上的海量數(shù)據(jù)處理。
端云拉通，能夠讓端和云進(jìn)行有效的協(xié)作。
場(chǎng)景結(jié)合，基于場(chǎng)景構(gòu)建元數(shù)據(jù)管理便于快速接入。
一鍵處理，簡(jiǎn)化配置和使用、提高系統(tǒng)易用性。
智能分析，引入業(yè)界領(lǐng)先的處理能力，特別是AI能力。
標(biāo)準(zhǔn)統(tǒng)一，訪(fǎng)問(wèn)接口統(tǒng)一為阿里云的標(biāo)準(zhǔn)。
功能描述

對(duì)于云存儲(chǔ)上的海量數(shù)據(jù)，通過(guò)授權(quán)訪(fǎng)問(wèn)的安全設(shè)計(jì)，讓數(shù)據(jù)處理分析服務(wù)能夠有權(quán)限訪(fǎng)問(wèn)數(shù)據(jù)，在此之上構(gòu)建數(shù)據(jù)智能處理框架，該框架針對(duì)離線(xiàn)處理優(yōu)化設(shè)計(jì)，同時(shí)支持實(shí)時(shí)處理能力。基于該處理框架，引入了業(yè)界領(lǐng)先的數(shù)據(jù)處理能力，包括各種AI能力。利用離線(xiàn)處理能力關(guān)聯(lián)授權(quán)的云存儲(chǔ)，可以提供便捷的存量數(shù)據(jù)一鍵分析，通過(guò)該分析過(guò)程構(gòu)建價(jià)值元數(shù)據(jù)，支撐更好的內(nèi)容檢索。通過(guò)這樣的設(shè)計(jì)，從而提供如下功能：

普惠AI算法，提供豐富功能。人臉?lè)纸M、圖片打標(biāo)、版權(quán)、鑒黃等能力。
價(jià)值元數(shù)據(jù)，為客戶(hù)帶來(lái)新的增長(zhǎng)點(diǎn)。整合價(jià)值元數(shù)據(jù)，提供智能分析搜索。
OFFICE文檔處理，簡(jiǎn)化客戶(hù)使用。提供典型的OFFICE文件格式轉(zhuǎn)換，便于移動(dòng)設(shè)備瀏覽辦公文檔。
場(chǎng)景化、一鍵式處理，提高易用性。基于場(chǎng)景模版，結(jié)合實(shí)時(shí)、離線(xiàn)處理引擎，一鍵生成網(wǎng)盤(pán)關(guān)鍵元數(shù)據(jù)。
架構(gòu)介紹

如圖是IMM服務(wù)的架構(gòu)依賴(lài)上下文，服務(wù)本身的架構(gòu)分為2層：處理引擎、元數(shù)據(jù)索引。

架構(gòu)依賴(lài)上下文
對(duì)下依賴(lài)阿里云的對(duì)象存儲(chǔ)、文件存儲(chǔ)等服務(wù)，通過(guò)安全的機(jī)制訪(fǎng)問(wèn)里面存儲(chǔ)的非結(jié)構(gòu)化數(shù)據(jù)（例如圖片、視頻），提取價(jià)值信息。
對(duì)上依賴(lài)場(chǎng)景理解，進(jìn)行封裝，支撐視頻網(wǎng)盤(pán)、手機(jī)相冊(cè)、社交圖庫(kù)、家庭監(jiān)控等圖片、視頻應(yīng)用場(chǎng)景，為它們產(chǎn)生新的價(jià)值。
處理引擎層
基于阿里云存儲(chǔ)，就近構(gòu)建計(jì)算框架，該框架支持批量異步處理、準(zhǔn)實(shí)時(shí)同步處理，在一鍵關(guān)聯(lián)云存儲(chǔ)（例如，指定Bucket的目錄前綴、指定Bucket的某個(gè)對(duì)象）后，實(shí)現(xiàn)快速的自動(dòng)數(shù)據(jù)處理，通過(guò)整合業(yè)界領(lǐng)先的數(shù)據(jù)處理算法，處理引擎提供如下功能。

OFFICE文檔格式轉(zhuǎn)換。支持將OFFICE文檔轉(zhuǎn)換為JPG圖片格式，從而更好的支持網(wǎng)盤(pán)的文檔預(yù)覽功能。
大圖處理。支持將超大的圖片進(jìn)行切割、縮放處理，友好的支撐相冊(cè)、圖庫(kù)場(chǎng)景的精細(xì)看圖功能。
標(biāo)簽檢測(cè)。通過(guò)人工智能技術(shù)，識(shí)別圖片、視頻中的物品標(biāo)簽，從而實(shí)現(xiàn)機(jī)器的制動(dòng)打標(biāo)，更好的支撐推薦應(yīng)用。
人臉檢測(cè)。通過(guò)人工智能技術(shù)，識(shí)別圖片、視頻中的人臉，檢測(cè)出人臉框，判斷人臉姿勢(shì)、年齡、性別等屬性。
元數(shù)據(jù)索引層
基于處理引擎提供的功能，通過(guò)對(duì)場(chǎng)景的深入理解和梳理，IMM封裝了場(chǎng)景的元數(shù)據(jù)設(shè)計(jì)，對(duì)外提供場(chǎng)景的元數(shù)據(jù)訪(fǎng)問(wèn)接口，簡(jiǎn)化場(chǎng)景應(yīng)用的設(shè)計(jì)難度、無(wú)須關(guān)注元數(shù)據(jù)索引數(shù)據(jù)庫(kù)的運(yùn)維工作，目前支持如下的元數(shù)據(jù)索引。

人臉?lè)纸M索引。構(gòu)建元數(shù)據(jù)集合，然后調(diào)用人臉?lè)纸M的接口分析圖片，把得到的元數(shù)據(jù)加入到該元數(shù)據(jù)集合中，從而可以得到該集合中相似的人臉。通過(guò)該索引，可以快速的支撐網(wǎng)盤(pán)的人臉相冊(cè)、家庭監(jiān)控的陌生人檢測(cè)、甚至新零售的顧客管理等場(chǎng)景。
標(biāo)簽分組索引。構(gòu)建元數(shù)據(jù)集合，然后調(diào)用標(biāo)簽分組的索引接口分析圖片，把得到的元數(shù)據(jù)加入到該元數(shù)據(jù)集合中，從而可以根據(jù)標(biāo)簽搜索圖片。通過(guò)該索引，可以快速的支撐網(wǎng)盤(pán)的場(chǎng)景相冊(cè)、家庭監(jiān)控的寵物跟蹤、甚至暴力、恐怖、色情圖片等標(biāo)簽的搜索。
調(diào)度框架

IMM的所有數(shù)據(jù)處理請(qǐng)求都在調(diào)度框架下執(zhí)行，例如上述架構(gòu)中提到的處理引擎層、元數(shù)據(jù)索引層請(qǐng)求，它由2部分組成：

運(yùn)行實(shí)例（Instance）。運(yùn)行實(shí)例是運(yùn)行指定數(shù)據(jù)處理功能的節(jié)點(diǎn)，例如運(yùn)行圖片打標(biāo)功能的節(jié)點(diǎn)。它可以是虛擬機(jī)、或者Docker，能夠采用預(yù)留類(lèi)型、或者Spot競(jìng)價(jià)類(lèi)型的實(shí)例，支持部署在阿里云的VPC（Virtual Private Cloud）環(huán)境，保證數(shù)據(jù)處理功能的安全性、隔離性。
調(diào)度控制器（Schedule Controller）。調(diào)度控制器負(fù)責(zé)把IMM接收到的請(qǐng)求分發(fā)到指定功能的實(shí)例上，它支持接收同步、異步的請(qǐng)求，提供準(zhǔn)實(shí)時(shí)、離線(xiàn)的調(diào)度。針對(duì)負(fù)載的變化，實(shí)現(xiàn)了實(shí)例資源池的彈性伸縮、故障處理、自動(dòng)升級(jí)等能力。
當(dāng)調(diào)度框架收到同步的請(qǐng)求時(shí)，例如DetectTag進(jìn)行圖片打標(biāo)分析時(shí)。調(diào)度框架將會(huì)把請(qǐng)求分發(fā)到請(qǐng)求隊(duì)列的Pipeline，然后根據(jù)后端實(shí)例的節(jié)點(diǎn)狀態(tài)、負(fù)載情況快速轉(zhuǎn)發(fā)請(qǐng)求，從而達(dá)到準(zhǔn)實(shí)時(shí)調(diào)度的能力。為了保證請(qǐng)求的低時(shí)延，以及請(qǐng)求的成功率，通常選擇預(yù)留的實(shí)例。

當(dāng)調(diào)度框架收到異步的請(qǐng)求時(shí)，例如CreateTagJob指定OSS的桶、前綴進(jìn)行批量的圖片打標(biāo)分析時(shí)。調(diào)度框架將會(huì)把請(qǐng)求放到調(diào)度器，調(diào)度器遍歷OSS桶、前綴的對(duì)象，然后生成單個(gè)對(duì)象的數(shù)據(jù)處理請(qǐng)求并分發(fā)到多個(gè)請(qǐng)求隊(duì)列中，再根據(jù)后端實(shí)例的節(jié)點(diǎn)狀態(tài)、負(fù)載情況快速向多個(gè)實(shí)例轉(zhuǎn)發(fā)請(qǐng)求，從而達(dá)到離線(xiàn)調(diào)度的能力。為了保證離線(xiàn)調(diào)度的成本，通常選擇Spot類(lèi)型的競(jìng)價(jià)實(shí)例。

通過(guò)上述調(diào)度控制和數(shù)據(jù)處理分離的架構(gòu)，調(diào)度框架提供如下亮點(diǎn)：

準(zhǔn)實(shí)時(shí)、離線(xiàn)調(diào)度。針對(duì)離線(xiàn)處理性?xún)r(jià)比競(jìng)爭(zhēng)力的優(yōu)化設(shè)計(jì)下，也能提供準(zhǔn)實(shí)時(shí)能力，實(shí)現(xiàn)數(shù)據(jù)處理的閉環(huán)。
同步、異步請(qǐng)求。支撐一鍵式的異步處理需求同時(shí)，還提供了同步請(qǐng)求的靈活性。
數(shù)據(jù)處理能力的安全性。利用VPC部署數(shù)據(jù)處理的實(shí)例，保證了資源的隔離、安全的屏蔽。
如何使用
IMM提供控制臺(tái)操作和API接口，通過(guò)控制臺(tái)快速的創(chuàng)建IMM的項(xiàng)目，然后體驗(yàn)IMM的數(shù)據(jù)處理功能。

控制臺(tái)使用

登錄阿里云控制臺(tái)，執(zhí)行如下操作：

第一步，開(kāi)通智能媒體管理服務(wù)。開(kāi)通后，即可使用IMM提供的功能。
第二步，創(chuàng)建項(xiàng)目。使用IMM必須要?jiǎng)?chuàng)建項(xiàng)目，它是IMM資源管理、計(jì)費(fèi)的基本單元。

創(chuàng)建了項(xiàng)目，就可以體驗(yàn)IMM支持的功能：

格式預(yù)覽。支持OFFICE文檔轉(zhuǎn)換，并用圖片方式預(yù)覽。
人臉檢測(cè)。檢測(cè)照片中的人臉，識(shí)別年齡、性別，眼部狀態(tài)信息。
圖片打標(biāo)。檢測(cè)圖片包含的標(biāo)簽信息，以及置信度值。
詳細(xì)的控制臺(tái)使用介紹，請(qǐng)參考IMM快速開(kāi)始。

API使用
IMM的API調(diào)用方法
調(diào)用IMM的API需要遵守阿里云的API規(guī)范，請(qǐng)參考IMM API調(diào)用，請(qǐng)您注意調(diào)用時(shí)的參數(shù)，特別是簽名。

如下是IMM典型功能的API調(diào)用示例。

文件格式轉(zhuǎn)換CreateFormatConvertJob

POST https://imm.cn-shanghai.aliyuncs.com?Action=CreateFormatConvertJob
&Project=test
&SrcUri="oss://bucket1/test.pptx"
&TgtType=jpg
&TgtUri="oss://bucket1/imm-format-convert-tgt/session123/"
&ExternalID=aaa

該功能接口的詳細(xì)信息，請(qǐng)參考CreateFormatConvertJob。

圖片打標(biāo)DetectTag

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectTag
&Project=test
&SrcUri=["oss://bucket1/1.jpg"]

該功能接口的詳細(xì)信息，請(qǐng)參考DetectTag。

人臉檢測(cè)DetectFace

POST https://imm.cn-shanghai.aliyuncs.com?Action=DetectFace
&Project=test
&SrcUri=["oss://bucket1/A.jpg"]

該功能接口的詳細(xì)信息，請(qǐng)參考DetectFace。

批量鑒黃CreatePornBatchDetectJob

POST https://imm.cn-hangzhou.aliyuncs.com?Action=CreatePornBatchDetectJob
&Project=test
&SrcUri="oss://bucket/prefix"
&TgtUri="oss://bucket/imm-porn-batch-tgt/session1"

該功能接口的詳細(xì)信息，請(qǐng)參考CreatePornBatchDetectJob。

立即體驗(yàn)
現(xiàn)在產(chǎn)品已經(jīng)在阿里云官網(wǎng)正式開(kāi)始公測(cè)，點(diǎn)擊這里立即體驗(yàn)。

后續(xù)規(guī)劃
下一階段，IMM將和OSS集成拉通：

在OSS控制臺(tái)集成IMM功能。實(shí)現(xiàn)OFFICE文檔的預(yù)覽，媒體對(duì)象的AI功能。
在OSS提供存量數(shù)據(jù)的IMM處理對(duì)接?？梢酝ㄟ^(guò)OSS的控制臺(tái)，選擇某個(gè)桶或者其目錄，調(diào)用IMM的批量異步任務(wù)，例如批量鑒黃，從而享受高性?xún)r(jià)比、便捷的數(shù)據(jù)處理。
在OSS的API中拉通。調(diào)用oss的x-oss-process處理引擎時(shí)，調(diào)用到IMM的API進(jìn)行處理。
通過(guò)這樣端的端的集成，從而讓您在云上的管理更加易用。
點(diǎn)擊查看原文