資訊專欄INFORMATION COLUMN
摘要：可預見的未來激情賽事已經(jīng)過半，阿里云視頻技術在本次世界杯中也成功落地，而這并不是結局，這是將視頻應用于體育行業(yè)以及更多其他行業(yè)的開端。
本屆世界杯互聯(lián)網(wǎng)直播的順利進行，離不開各大云計算廠商的支持。在這其中，阿里云是當之無愧的“C位“，除了優(yōu)酷外，阿里云還支撐了CNTV、CCTV5客戶端，為全網(wǎng)70%的世界杯直播流量保駕護航。
對于世界杯這種超大觀看量級、超強影響力的重要體育賽事，阿里云一直致力研究的AI技術一定不會缺席。
如何用AI替代傳統(tǒng)的內容加工模式，高效地產(chǎn)出比賽集錦并將精彩內容快速呈現(xiàn)給觀眾呢？世界杯期間，阿里云聯(lián)合阿里巴巴機器智能技術實驗室，利用“視頻AI+云剪輯+媒資管理”的技術，實時產(chǎn)生精彩集錦和球星集錦，滿足球迷們的重溫賽事和追星的需求，本文將揭曉技術實現(xiàn)過程。
從整場賽事維度產(chǎn)生精彩集錦首先，要做的事情是讓機器比人更懂視頻。通過對過去多屆世界杯的多場賽事，以及上萬篇足球或世界杯相關文稿的學習，阿里云視頻AI對球場、球員、比賽機制、特定行為等都有了全面的理解，所以它具備像觀眾一樣去客觀地認知和感受每一場世界杯球賽的能力。
其次，大量的標注工作也是必不可少的，包括對幀圖景深、位置、事件、紅黃牌、不同角色行為、禁區(qū)危險畫面及球星人臉的標注，也包含對音頻中關鍵詞、音頻事件等的標注。
最后，便是準確地提取“精彩”的內容。在這個環(huán)節(jié)，算法和工程上進行了多處創(chuàng)新。包括：
1、將視頻進行多模態(tài)分析，從視頻畫面、音頻、文字等多個維度提取關鍵信息，再通過融合或者相互校驗，大幅度提高鎖定精彩內容的準確性。
2、將音頻的信息分析和視頻行為分析結果取權重融合判斷，將視頻時域、空域網(wǎng)絡權重與音頻事件、ASR網(wǎng)絡自適應累加，從而對射門、進球、犯規(guī)、精妙傳球等精彩鏡頭準確捕獲；同時，結合實時事件信息分析結果進行合理回溯或預測，完成事件提取，比如受傷、換人、過人等事件相關的回放、特寫、裁判行為抓取等。
3、利用多維數(shù)據(jù)進行相互校驗，結合事件回溯和預測技術，進行進一步的信息平滑處理，在直播過程中逐漸累積精彩集錦或球星集錦。
從球星的維度產(chǎn)生球星集錦賽事精彩集錦是以比賽本身為核心，對精彩信息進行定義、提取、匯聚與展示；而球星集錦是以特定球員為核心，獲取直播賽事中與球星相關的關鍵畫面或關鍵事件。這一技術不僅能為視頻生產(chǎn)方實時提供素材，也能快速呈現(xiàn)球星愛豆的精華鏡頭，讓球迷們過足眼癮。
簡單來說，球星集錦的實現(xiàn)通過對世界杯場景進行深入理解和分析，從比賽視頻、解說詞音頻、球星庫及人物場記等各個維度進行識別與分析，并利用多模態(tài)融合技術，從而實現(xiàn)復雜場景下的集錦效果。
在視頻AI處理中，通過識別視頻中已注冊的球星并進行人物追蹤，同時做了一定程度的容錯處理和補償優(yōu)化，并針對不同位置的球星微調追蹤模型，最終對球星在視頻中出現(xiàn)的時間線、幅面坐標及置信度進行綜合的動態(tài)分析。
在解說詞AI處理中， 則使用了世界杯場景的語音識別模型，該模型對球員名稱、足球術語、解說員的語速/語氣/語調等進行了額外的訓練和優(yōu)化，尤其是在聲學模型上針對足球場景下的球場及觀眾噪聲進行了適應性訓練，使得其最終對世界杯解說詞的識別準確率提升了超過10個百分點。
云剪輯是生成球星集錦的最后一步，它能夠接收視頻AI輸出的最終時間線，對原始素材進行剪切合并。云剪輯可根據(jù)需要來開啟并行剪輯模式，這種模式下，原始素材片段越多，剪輯倍速越高。另外，云剪輯還可接收高級剪輯參數(shù)，如在不同剪輯片段之間增加轉場，在球星首次特寫幀增加貼紙，增加背景音樂、片頭片尾等，豐富集錦的娛樂效果。
如何瞬時產(chǎn)出視頻集錦對于直播體育賽事，集錦視頻產(chǎn)出的高效性非常重要。這也是視頻AI真正可以替代人力發(fā)揮其價值的依據(jù)之一。而這對于視頻云的流傳輸、音視頻編解碼、直轉點以及云剪輯等技術能力都是極大的挑戰(zhàn)。
在保證實時性上，阿里視頻云利用直轉點技術，先碎片化進行實時多模態(tài)分析，再結合事件回溯與預估，對精彩集錦進行累積和快速調整，最終合理聚合產(chǎn)出優(yōu)質集錦。
依靠強大的流媒體處理能力，可以保證每場比賽的精彩集錦以及所有球星集錦，在3-5分鐘內生成，再由平臺快速發(fā)布出去。技術經(jīng)歷過無數(shù)次大“舞臺”的洗練，本次世界杯中，再一次完美地解決了這一問題。
可預見的未來激情賽事已經(jīng)過半，阿里云視頻AI技術在本次世界杯中也成功落地，而這并不是結局，這是將視頻AI應用于體育行業(yè)以及更多其他行業(yè)的開端。經(jīng)歷了對世界杯如此大型賽事的穩(wěn)定保障，阿里視頻云將更成熟、穩(wěn)定地去應對賽事場景下的視頻分析與處理。AI技術也將滲透到各個行業(yè)中，幫助用戶有效提高視頻的生產(chǎn)效率，讓內容更快、更準、更優(yōu)。
除了視頻AI之外，阿里云在本次世界杯中用到的窄帶高清、50幀極清、CDN智能調度等技術，也為2018年的世界杯的廣大體育迷提供了更好的觀看體驗。阿里云目前已經(jīng)是國內視頻服務體量最大的云計算公司，客戶涵蓋社交、教育、電商、游戲等，未來也將不斷致力釋放技術紅利，幫助越來越多的客戶實現(xiàn)業(yè)務飛速增長，站領行業(yè)“C位”。
本文作者：樰籬
閱讀原文
本文為云棲社區(qū)原創(chuàng)內容，未經(jīng)允許不得轉載。
文章版權歸作者所有，未經(jīng)允許請勿轉載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉載請注明本文地址：http://systransis.cn/yun/11080.html
摘要：在亞太領袖峰會上，阿里視頻云總經(jīng)理朱照遠叔度作了題為享見未來開啟新視界的主題演講。視頻，比你更懂你的視頻朱照遠談到，全民視頻的時代已經(jīng)來臨，互聯(lián)網(wǎng)流量以上來自視頻，未來將超過。因此阿里云發(fā)布邊緣節(jié)點服務，是阿里云的邊緣計算的第二款產(chǎn)品。 摘要： 2018年4月11-12日，2018亞太CDN峰會在北京隆重召開，大會由亞太CDN領袖論壇、電視云論壇、短視頻論壇、視頻云論壇、新技術論壇、運...
摘要：在亞太領袖峰會上，阿里視頻云總經(jīng)理朱照遠叔度作了題為享見未來開啟新視界的主題演講。視頻，比你更懂你的視頻朱照遠談到，全民視頻的時代已經(jīng)來臨，互聯(lián)網(wǎng)流量以上來自視頻，未來將超過。因此阿里云發(fā)布邊緣節(jié)點服務，是阿里云的邊緣計算的第二款產(chǎn)品。 摘要： 2018年4月11-12日，2018亞太CDN峰會在北京隆重召開，大會由亞太CDN領袖論壇、電視云論壇、短視頻論壇、視頻云論壇、新技術論壇、運...
摘要：今年夏天，俄羅斯世界杯召開。世界杯高達千萬級的并發(fā)在線觀看用戶，且用戶量徒增非常明顯。安全世界杯賽事直播護航工作中，內容的安全和穩(wěn)定同樣重要。 今年夏天，俄羅斯世界杯召開。在剛剛落幕的重慶云棲飛天技術匯專場中，阿里視頻云技術專家裘良科，就世界杯這個話題，跟參會嘉賓一起探討了千萬級直播高穩(wěn)定的挑戰(zhàn)和相關實踐，本文為演講全文。 showImg(https://segmentfault.co...
閱讀 3774·2021-10-12 10:12
閱讀 1425·2021-10-11 10:58
閱讀 2237·2021-10-09 10:01
閱讀 2513·2021-09-24 09:48
閱讀 2682·2021-09-09 11:38
閱讀 3504·2019-08-30 15:44
閱讀 1708·2019-08-30 14:22
閱讀 504·2019-08-29 12:42
