摘要：實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)在美國(guó)已成功舉辦屆，是全球范圍影響最大最權(quán)威的實(shí)時(shí)通信行業(yè)技術(shù)會(huì)議。由聲網(wǎng)主辦，和協(xié)辦的在亞洲的第屆盛會(huì)，也是亞洲唯一最權(quán)威的實(shí)時(shí)通信行業(yè)技術(shù)會(huì)議。

Walker.Xu

RTC實(shí)時(shí)互聯(lián)網(wǎng)大會(huì)在美國(guó)已成功舉辦8屆，是全球范圍影響最大最權(quán)威的實(shí)時(shí)通信行業(yè)技術(shù)會(huì)議。該會(huì)議吸引了來(lái)自全球數(shù)萬(wàn)名開(kāi)發(fā)者和技術(shù)大咖參加，Google、Ericsson、Oracle、Intel、Agora.io、Mozilla、Avaya等公司均曾在大會(huì)上分享過(guò)各自在實(shí)時(shí)通信領(lǐng)域的技術(shù)、應(yīng)用與經(jīng)驗(yàn)。

RTC2017由聲網(wǎng)Agora.io主辦，CSDN和Allthingsrtc.org協(xié)辦的在亞洲的第3屆盛會(huì)，也是亞洲唯一最權(quán)威的RTC實(shí)時(shí)通信行業(yè)技術(shù)會(huì)議。
1.商業(yè)目的，生態(tài)鏈
2.技術(shù)，應(yīng)用交流

1.學(xué)習(xí)，了解RTC行業(yè)的先進(jìn)水平
2.開(kāi)闊思路，了解音視頻技術(shù)，實(shí)時(shí)音視頻技術(shù)的發(fā)展方向

社交

微信，QQ，陌陌，face u，holla，house party，facebook

直播，連麥

熊貓TV，YY，映客，花椒，荔枝FM(語(yǔ)音直播，萬(wàn)人連麥)，twitch

游戲

王者榮耀，狼人殺，飯局狼人殺，棋牌類(lèi)游戲

在線教育

滬江CCtalk

其他：醫(yī)療，金融服務(wù)，工具類(lèi)，會(huì)議類(lèi)
遠(yuǎn)程助手，slack

實(shí)時(shí)音視頻技術(shù)扮演的角色

1.創(chuàng)造應(yīng)用場(chǎng)景，沒(méi)有實(shí)時(shí)音視頻技術(shù)就沒(méi)有這個(gè)用戶(hù)場(chǎng)景，社交視頻語(yǔ)音聊天，直播連麥，各種狼人殺，在線課堂
2.增強(qiáng)應(yīng)用體驗(yàn)，王者榮耀語(yǔ)音，棋牌類(lèi)游戲
3.跨界，行業(yè)融合，直播連麥社交，狼人殺是游戲也是社交，twitch，熊貓是直播跟游戲密不可分

我們出不去，別人進(jìn)不來(lái)

硬實(shí)力軟實(shí)力

南亞，東南亞

北美，美國(guó)：3.23億，加拿大：3628萬(wàn)
東亞，東南亞，南亞，非中國(guó)大陸，越南：9270萬(wàn)，泰國(guó)：6886萬(wàn)，馬來(lái)西亞：3118萬(wàn)，印度尼西亞：2.611億，菲律賓：1.03億，巴基斯坦：1.93億，孟加拉國(guó)：1.7億，印度：13.24億，日本：1.27億，韓國(guó)：5125萬(wàn)，臺(tái)灣：2349萬(wàn)，新加坡：560萬(wàn)，香港：737萬(wàn)
中國(guó)大陸：14億
中亞：7000萬(wàn)

1.標(biāo)準(zhǔn)組織
2.研究機(jī)構(gòu)
3.技術(shù)框架聯(lián)盟，一般大公司牽頭發(fā)起，開(kāi)源社區(qū)
4.技術(shù)實(shí)現(xiàn)，質(zhì)量監(jiān)測(cè)，數(shù)據(jù)分析等服務(wù)提供商
5.開(kāi)源應(yīng)用，技術(shù)框架
6.行業(yè)應(yīng)用

1.國(guó)內(nèi)RTC

騰訊，YY為代表的，從技術(shù)到服務(wù)到應(yīng)用都自己干
Agora.io為代表的技術(shù)，服務(wù)提供商，服務(wù)了陌陌，face u，holla，熊貓TV，小米，cctalk等
技術(shù)體系私有，或webrtc變種
一個(gè)供應(yīng)商解決所有問(wèn)題，快速反應(yīng)，提供保姆式服務(wù)，國(guó)情決定

2.國(guó)外WebRTC

IETF:國(guó)際互聯(lián)網(wǎng)工程任務(wù)組（The Internet Engineering Task Force）
W3C
CoSMo Software Consulting: webrtc research and api test of browsers
Google: add GIPS to webrtc and open source
Callstates.io: webrtc a/v quality monitor service
Jitsi
Slack
Twitch
Facebook
生態(tài)比較多樣，分工較明確

實(shí)時(shí)音視頻技術(shù)是一個(gè)技術(shù)平臺(tái)可以將很多新的多媒體技術(shù)融合進(jìn)來(lái)，進(jìn)行組合，創(chuàng)造新的應(yīng)用場(chǎng)景
1.AI：小米音箱
2.AR
3.VR+人臉識(shí)別
4.holographic projection:全息投影, art media直播+全息投影
5.全景聲技術(shù)：dolby atoms

What？

RTC, real time communication, webrtc是RTC的一種

Why?

我們不是有http,https,hls,rtsp,rtmp嗎，為什么還要開(kāi)發(fā)實(shí)時(shí)音視頻技術(shù)
簡(jiǎn)單來(lái)說(shuō)就是不滿足進(jìn)行實(shí)時(shí)音視頻通信的要求
1.延時(shí)低
2.雙向／多向

Http, https,hls延時(shí)10s左右，pass
rtmp延時(shí)1~3s還不錯(cuò)，進(jìn)行實(shí)時(shí)音視頻通信還差點(diǎn)意思，pass
rtsp的延時(shí)可以做到0.5s，基本滿足需求，但是它不是為雙向設(shè)計(jì)的，實(shí)現(xiàn)起來(lái)很復(fù)雜，而且網(wǎng)絡(luò)穿透能力差

RTC延時(shí)

webrtc為例實(shí)驗(yàn)室200ms以?xún)?nèi)，比較好的網(wǎng)絡(luò)300ms以?xún)?nèi)，遠(yuǎn)程助手基于webrtc實(shí)現(xiàn)的，單向延時(shí)可以做到300～400ms在魅族網(wǎng)絡(luò)
商業(yè)公司的延時(shí)基本做到在全網(wǎng)400ms

1.客戶(hù)端

傳輸

傳輸質(zhì)量測(cè)量，智能網(wǎng)絡(luò)接入(就近接入)，流控(flow control)，帶寬估計(jì)，擁塞控制(congestion control)，弱網(wǎng)對(duì)抗
Packet loss,RTT,丟包重傳,jitter buffer

編解碼

Opus,agora solo
H26x:H264,H265
VPX:VP8,VP9
編碼的壓縮率，抗丟包，丟包隱藏，F(xiàn)EC，動(dòng)態(tài)碼率(QP)，幀率設(shè)計(jì)，I幀間隔，動(dòng)態(tài)分辨率，B幀
SVC: scalable video coding
可分級(jí)的視頻編碼(Scalable Video Coding)
出現(xiàn)的原因 主要解決網(wǎng)絡(luò)傳輸視頻信息的時(shí)候,帶寬限制了數(shù)據(jù)的傳輸,而我們通過(guò)某種方法使得視頻流擁有可分級(jí)性,當(dāng)網(wǎng)絡(luò)帶寬較小的時(shí)候,只保持基本的視頻信息被傳輸,并根據(jù)實(shí)際的網(wǎng)絡(luò)環(huán)境決定是否傳增強(qiáng)的視頻信息以使得圖像質(zhì)量得到加強(qiáng),以此得到自適應(yīng)性.這樣的方式可以保持擁有網(wǎng)絡(luò)連接的大部分終端都可以以適當(dāng)?shù)拇a流來(lái)使用多媒體信息,而不考慮原碼流的需求.

前后處理

回聲消除，噪聲抑制，增益控制，可懂度增強(qiáng)，聲音美化／變聲，空間音頻，盲源分離
美顏，濾鏡，降噪，平滑，銳化，error concealment，人臉識(shí)別

兼容性處理（Android platform mainly）

市面上幾百款手機(jī)，魅族支持遠(yuǎn)程協(xié)助的有20多款

流控flow control

是用于控制發(fā)送方的速度，防止接收方緩存溢出，它的局限性顯而易見(jiàn)，只有在特定限制條件下才有意義，如圖1
擁塞控制是在擁塞發(fā)生時(shí)控制進(jìn)入網(wǎng)絡(luò)的數(shù)據(jù)量，相對(duì)復(fù)雜，GCC同時(shí)使用基于時(shí)延(delay-based)和基于丟包(lost-based)的兩種算法應(yīng)對(duì)帶寬網(wǎng)絡(luò)的擁塞控制，這兩個(gè)預(yù)測(cè)控制組成了速率預(yù)測(cè)控制器如圖2
delay-based算法由數(shù)據(jù)的接收方實(shí)現(xiàn)，接收方需要記錄每個(gè)數(shù)據(jù)包到達(dá)的時(shí)間和大小，并計(jì)算每個(gè)數(shù)據(jù)分組之間（inter-group）的延遲的變化，由此判斷當(dāng)前網(wǎng)絡(luò)的擁塞情況，并最終輸出碼率估計(jì)值由RTCP feedback（TMMBR或 REMB）反饋給發(fā)送方；loss-based算法則由數(shù)據(jù)的發(fā)送方來(lái)實(shí)現(xiàn)，發(fā)送方通過(guò)從接收方周期性發(fā)來(lái)的RTCP RR（Receiver Report）中獲取丟包信息以及計(jì)算RTT，并結(jié)合TMMBR或REMB中攜帶的碼率信息算得最終的碼率值，然后由媒體引擎根據(jù)碼率來(lái)配置編碼器，從而實(shí)現(xiàn)碼率的自適應(yīng)調(diào)整。如圖3。可以看出，這兩個(gè)算法在系統(tǒng)中并不是孤立存在的。

QP

降噪 & 自動(dòng)增益

SVC

Agora solo

2.后臺(tái)

傳輸，骨干網(wǎng)絡(luò)，時(shí)髦叫法云

全球網(wǎng)絡(luò)覆蓋(跨洲，跨國(guó)，夸網(wǎng)，夸運(yùn)行商)，CDN ，高并發(fā)，高可用(可用度，容災(zāi)性)，應(yīng)用專(zhuān)網(wǎng)(路由選擇)

SFU/MCU

NAT(network address translation)，STUN/TURN，ICE

SFU/MCU

Bandwidth & CPU are limited in a device

smart way

NAT

STUN/TURN

3.信令

信息數(shù)據(jù)交換，sdp，ice options
呼叫和消息系統(tǒng)，Websocket，SIP
信令通道在數(shù)據(jù)通道之前建立
其他作用，比如傳遞一些設(shè)備，狀態(tài)信息

4.評(píng)價(jià)體系

指標(biāo)，perfect/good/acceptable/bad/mess
測(cè)試環(huán)境／工具／資料／應(yīng)用場(chǎng)景／人
大數(shù)據(jù)，監(jiān)測(cè)統(tǒng)計(jì)，在實(shí)際使用環(huán)境中評(píng)估
高大上的音視頻實(shí)驗(yàn)環(huán)境

評(píng)價(jià)體系 實(shí)踐

用其他手段代替昂貴的器材
指標(biāo) 測(cè)試環(huán)境 大數(shù)據(jù)，實(shí)際使用環(huán)境

重要或緊急的事情，第一選擇，打電話

質(zhì)量，質(zhì)量，質(zhì)量

1.接通率 （業(yè)內(nèi)先進(jìn)水平失敗率<=2%）
2.音視頻體驗(yàn) （做的不錯(cuò)）
卡頓，模糊，馬賽克，數(shù)據(jù)丟失

1.普通的直播RTMP可以實(shí)現(xiàn)
2.需要連麥，需要實(shí)時(shí)音視頻技術(shù)的介入，主播和其他連麥用戶(hù)通過(guò)　RTC技術(shù)實(shí)現(xiàn)實(shí)時(shí)音視頻互動(dòng)，再通過(guò)RTMP把連麥現(xiàn)場(chǎng)直播出去

1.適配了20多款機(jī)型

M。。。

2.系統(tǒng)版本

Android5.0~Android7.1
flyme5~flyme7
【應(yīng)對(duì)了Android跨版本,flyme框架,不同屏幕分辨率等兼容性問(wèn)題的挑戰(zhàn)】

3.服務(wù)業(yè)務(wù)

用戶(hù)幫助
安全家庭
遠(yuǎn)程監(jiān)控

4.打通了瀏覽器端

chrome and firefox

5.欠缺

迭代不持續(xù)，不夠?qū)Ｗ?；后臺(tái)能力.

1.適配了meizu全部幾十款機(jī)型

2.系統(tǒng)版本

Android4.2~Android7.1
yunos
flyme4.5~flyme7
【應(yīng)對(duì)了Android跨版本,flyme框架,不同屏幕分辨率等兼容性問(wèn)題的挑戰(zhàn)】

3.服務(wù)業(yè)務(wù)

Music音樂(lè)，主題功能+定制需求比如drm，代理，副歌等，日活100萬(wàn)，月活千萬(wàn)
News咨訊，在線短視頻播放，cp重要有360(640x360),UC(852x480),快手(960x720)，360,UC可以做到秒播，快手在1～2s內(nèi)起播，千萬(wàn)用戶(hù)
趣視頻，在線短視頻播放

4.欠缺

迭代不持續(xù)，不夠?qū)Ｗ?；部分業(yè)務(wù)沒(méi)有推廣成功.

1.從0到1，實(shí)現(xiàn)我們的基本設(shè)想，滿足最初的需求

【做不出來(lái)，die】

2.生存，在具體產(chǎn)品上應(yīng)用，達(dá)到一定要求，上線運(yùn)行，實(shí)現(xiàn)更多需求

在更多機(jī)型上落地，在穩(wěn)定性,功能,性能方面達(dá)到一定的要求，滿足現(xiàn)階段業(yè)務(wù)需求，并且部分指標(biāo)不落后或不大幅落后市面上比較先進(jìn)的產(chǎn)品
【做出來(lái)沒(méi)人用，die】

3.發(fā)展，持續(xù)迭代，升級(jí)，優(yōu)化，技術(shù)上看著業(yè)內(nèi)第一梯隊(duì)向業(yè)內(nèi)第二梯隊(duì)靠攏

多看多想，擴(kuò)展更多產(chǎn)品形態(tài)和場(chǎng)景
從業(yè)務(wù)上也對(duì)我們提出了更高的要求，業(yè)務(wù)上會(huì)直接和競(jìng)品對(duì)比，業(yè)務(wù)或用戶(hù)不會(huì)關(guān)心你的團(tuán)隊(duì)或資源，只關(guān)心體驗(yàn)結(jié)果，能不能有好的體驗(yàn)
【用戶(hù)用起來(lái)不爽，不能與竟品競(jìng)爭(zhēng)，die】
從目前看，我們基本滿足生存的第二個(gè)階段，努力向發(fā)展的第三階段靠攏，這個(gè)階段對(duì)我們自身提出了更高的要求需要更深入的學(xué)習(xí)和積累，創(chuàng)造機(jī)會(huì)抓住機(jī)會(huì)不停的學(xué)習(xí)

平臺(tái)

產(chǎn)品

需求／功能

生命越長(zhǎng)越專(zhuān)注價(jià)值越大