摘要：的關(guān)鍵技術(shù)主要有內(nèi)容存儲(chǔ)和分發(fā)技術(shù)。分發(fā)本身是和存儲(chǔ)密不可分的存儲(chǔ)和分發(fā)的實(shí)質(zhì)都是數(shù)據(jù)的讀取和使用，兩者是不可能分割的。只是存儲(chǔ)場(chǎng)景和分發(fā)場(chǎng)景，設(shè)計(jì)有些不同，服務(wù)質(zhì)量的要求也不一樣。根據(jù)區(qū)域和時(shí)段的不同，存儲(chǔ)的價(jià)格也會(huì)有不同。

PPIO 是為開(kāi)發(fā)者打造的去中心化存儲(chǔ)與分發(fā)平臺(tái)，讓數(shù)據(jù)存儲(chǔ)更便宜、更高速、更隱私。官方網(wǎng)站是 https://pp.io 。PPIO 不僅僅是個(gè)存儲(chǔ)平臺(tái)，也是一個(gè)分發(fā)平臺(tái)。之前我們寫了許多文章介紹 PPIO 的存儲(chǔ)技術(shù)，這篇文章將重點(diǎn)介紹 PPIO 的分發(fā)技術(shù)。

分發(fā)指的是在保證傳遞體驗(yàn)的同時(shí)將同一份數(shù)據(jù)快速傳遞給很多人。這些人分布在一定區(qū)域很多地方 (可能是一個(gè)國(guó)家)，而且要保證數(shù)據(jù)傳輸?shù)捏w驗(yàn)。常用的分發(fā)場(chǎng)景有：靜態(tài)網(wǎng)頁(yè)、大文件下載、大圖片查看、流媒體點(diǎn)播、流媒體直播等。還有一些商業(yè)場(chǎng)景，如多路視頻通話、視頻會(huì)議等，其本質(zhì)也是一種雙向的分發(fā)。

#1. CDN & P2P

傳統(tǒng)意義上的分發(fā)叫做 CDN，Content Delivery Network (內(nèi)容分發(fā)網(wǎng)絡(luò))，是一種構(gòu)建在網(wǎng)絡(luò)之上的內(nèi)容分發(fā)網(wǎng)絡(luò)，他的技術(shù)基本原理是把數(shù)據(jù)從源站推送到離用戶最近的服務(wù)器上，然后用戶直接從離自己最近的服務(wù)器獲取數(shù)據(jù)，從而獲得最好的用戶體驗(yàn)。依靠部署在各地的邊緣服務(wù)器，通過(guò)中心平臺(tái)的負(fù)載均衡、內(nèi)容分發(fā)、調(diào)度等功能模塊，使用戶就近獲取所需內(nèi)容，降低網(wǎng)絡(luò)擁塞，提高用戶訪問(wèn)響應(yīng)速度和命中率。CDN 的關(guān)鍵技術(shù)主要有內(nèi)容存儲(chǔ)和分發(fā)技術(shù)。

分發(fā)是 P2P 技術(shù)的最古老的應(yīng)用。P2P 網(wǎng)絡(luò)從最早的的Napster 到后來(lái)的 Edonkey，Bittorrent 等，其應(yīng)用場(chǎng)景本身都是把同一個(gè)內(nèi)容，傳遞給更多的人，因?yàn)樵蕉嗟娜耸褂猛粋€(gè)內(nèi)容，就意味著上傳的節(jié)點(diǎn)越多，速度也就能越快，這本身就是分發(fā)的場(chǎng)景。

雖然同樣是分發(fā)技術(shù)，P2P 和 CDN 的實(shí)現(xiàn)方式卻不同。CDN 中每個(gè)分發(fā)的節(jié)點(diǎn)都是服務(wù)器，CDN 網(wǎng)絡(luò)最終形成的是樹(shù)狀結(jié)構(gòu)，一級(jí)一級(jí)的分發(fā)數(shù)據(jù)。而 P2P 網(wǎng)絡(luò)則不同，P2P 中的每個(gè)客戶端都具有上傳能力，當(dāng)客戶端在下載數(shù)據(jù)的同時(shí)其實(shí)也上傳數(shù)據(jù)給別的客戶端。如果每個(gè)客戶端都按照這個(gè)邏輯來(lái)，就形成了一個(gè)人人為我，我為人人的生態(tài)系統(tǒng)。

P2P 對(duì)比 CDN 具有的優(yōu)勢(shì)有：

P2P 是多點(diǎn)下載，能更充分的使用自身網(wǎng)絡(luò)，下載速度更快。特別是對(duì)于服務(wù)器（也包括 CDN 節(jié)點(diǎn)）距離客戶端比較遠(yuǎn)的時(shí)候，這里說(shuō)的是網(wǎng)絡(luò)距離。

P2P 的多點(diǎn)下載模式下，單節(jié)點(diǎn)的下載讀取抖動(dòng)不會(huì)引起整體下載速度的波動(dòng)

節(jié)約資源發(fā)布者帶寬

P2P 對(duì)比 CDN 的缺點(diǎn)有：

P2P 實(shí)現(xiàn)比較復(fù)雜，CDN 簡(jiǎn)單。P2P 的服務(wù)在面對(duì)業(yè)務(wù)變化的時(shí)候，沒(méi)有 CDN 快。

P2P 在啟動(dòng)的時(shí)候，有冷啟動(dòng)問(wèn)題需要解決，要找到優(yōu)質(zhì)的其他節(jié)點(diǎn)需要些時(shí)間；所有在要求快速啟動(dòng)的業(yè)務(wù)上，P2P 不如 CDN 便利。

對(duì)運(yùn)營(yíng)商來(lái)說(shuō)，P2P 的可控性不如 CDN，運(yùn)營(yíng)商會(huì)研究如何限制 P2P，降低了 P2P 的用戶體驗(yàn)。

P2P 和 CDN 并不矛盾，P2SP 技術(shù)就是 P2P 和 CDN 技術(shù)的結(jié)合，也就是對(duì)客戶端來(lái)說(shuō)，既可以從 CDN 節(jié)點(diǎn)上下載，也可以從 P2P 網(wǎng)絡(luò)中下載數(shù)據(jù)。使用 P2SP 構(gòu)建的服務(wù)，也被稱為 PCDN 服務(wù)。

#2. 視頻的應(yīng)用在分發(fā)中很常見(jiàn)

分發(fā)應(yīng)用是個(gè)重流媒體應(yīng)用，視頻點(diǎn)播，如 Youtube, Netflix，還有視頻直播，如 Hulu 等，以及短視頻，如Tiktok 等，都是分發(fā)類的應(yīng)用場(chǎng)景。據(jù)2018年10月的報(bào)告，視頻應(yīng)用占互聯(lián)網(wǎng)流量下載量的58%左右。所以，PPIO 在做分發(fā)技術(shù)時(shí)候，會(huì)花大量的精力把視頻類的服務(wù)質(zhì)量 QoS 做好。

#3. 分發(fā)本身是和存儲(chǔ)密不可分的

存儲(chǔ)和分發(fā)的實(shí)質(zhì)都是數(shù)據(jù)的讀取和使用，兩者是不可能分割的。當(dāng)一個(gè)數(shù)據(jù)存儲(chǔ)在 PPIO 網(wǎng)絡(luò)中，如果只有一個(gè)人會(huì)讀取并使用，就是存儲(chǔ)；如何有很多人讀取或者使用，就是分發(fā)。只是存儲(chǔ)場(chǎng)景和分發(fā)場(chǎng)景，設(shè)計(jì)有些不同，服務(wù)質(zhì)量的要求也不一樣。

PPIO 的核心團(tuán)隊(duì)在做過(guò) PPTV，這是曾經(jīng)最大的 P2SP 華語(yǔ)視頻平臺(tái)，用戶數(shù)做到了4.5億的規(guī)模。近十年的 P2P 視頻產(chǎn)品經(jīng)驗(yàn)讓我們團(tuán)隊(duì)積累了豐富的 P2P 和分發(fā)類項(xiàng)目的技術(shù)、產(chǎn)品和運(yùn)營(yíng)實(shí)踐。我們非常了解分發(fā)場(chǎng)景對(duì)技術(shù)的多樣化甚至刁鉆的需求。這些經(jīng)驗(yàn)讓我們可以為分發(fā)類產(chǎn)品做出符合實(shí)際需要的技術(shù)架構(gòu)。以下是 PPIO 為分發(fā)場(chǎng)景所做的技術(shù)設(shè)計(jì)。

#1. 重疊網(wǎng)絡(luò)

PPIO 支持重疊網(wǎng)絡(luò) (Overlay 網(wǎng)絡(luò))，每個(gè)存儲(chǔ)節(jié)點(diǎn) (Storage Node/Miner) 都會(huì)將與自己物理連接較快的存儲(chǔ)節(jié)點(diǎn)作為自己的鄰居，在數(shù)據(jù)傳遞和信息交互過(guò)程，充分發(fā)揮臨近節(jié)點(diǎn)的優(yōu)勢(shì)，使得網(wǎng)絡(luò)效率大大提高。

#2. 流媒體傳輸?shù)膬?yōu)化

前面提到，流媒體是分發(fā)場(chǎng)景的最主要應(yīng)用，對(duì)流媒體的支持以及做到足夠好的服務(wù)質(zhì)量 (QoS) 非常重要。PPIO 實(shí)現(xiàn)了針對(duì)流媒體的由數(shù)據(jù)來(lái)驅(qū)動(dòng)的特別下載算法，從而保證實(shí)時(shí)流媒體的流暢播放。

#3. P4P 技術(shù)的支持

P2P 會(huì)產(chǎn)生大量的網(wǎng)絡(luò)間的跨 ISP 流量。一般來(lái)說(shuō)，網(wǎng)絡(luò)運(yùn)營(yíng)商 ISP 的網(wǎng)絡(luò)內(nèi)的流量是沒(méi)有額外費(fèi)用的，但是，運(yùn)營(yíng)商之間傳輸所產(chǎn)生的通訊會(huì)按照流量來(lái)計(jì)費(fèi)。有沒(méi)有什么辦法能夠做到既保留 P2P 技術(shù)的優(yōu)勢(shì)，又能做到降低跨 ISP 流量呢？這就是 P4P 技術(shù)。

P4P 全稱 Proactive Network Provider Participation for P2P，在加強(qiáng)相同服務(wù)供應(yīng)商 (ISP) 內(nèi)網(wǎng)絡(luò)流量的同時(shí)，降低了骨干網(wǎng)絡(luò)傳輸壓力和運(yùn)營(yíng)成本，從而也提高了 P2P 文件的傳輸性能。與 P2P 隨機(jī)挑選節(jié)點(diǎn)的方式不同，P4P 模式可以協(xié)調(diào)網(wǎng)絡(luò)拓?fù)鋽?shù)據(jù)，有效選擇節(jié)點(diǎn)，從而提高網(wǎng)絡(luò)路由效率。

PPIO 團(tuán)隊(duì)之前在做 PPTV 的時(shí)候有豐富地和運(yùn)營(yíng)商打交道的經(jīng)歷，在降低運(yùn)營(yíng)商的跨 ISP 流量有獨(dú)特的方法。而在 P4P 技術(shù)出現(xiàn)之前，運(yùn)營(yíng)商都在想辦法限制使用 P2P 的技術(shù)。

#4. 熱門內(nèi)容的自適應(yīng)調(diào)度

PPIO 支持 P2P-CDN。在 P2P-CDN 里面，熱門內(nèi)容的自適應(yīng)調(diào)度是非常重要的，也是提高服務(wù)質(zhì)量 (QoS) 的重要手段。熱門內(nèi)容的自適應(yīng)調(diào)度就是當(dāng)一個(gè)文件在網(wǎng)絡(luò)中變得受歡迎之后，系統(tǒng)會(huì)自動(dòng)觸發(fā)調(diào)度機(jī)制，讓更多的存儲(chǔ)節(jié)點(diǎn)存儲(chǔ)這個(gè)文件。這樣的設(shè)計(jì)既能提高用戶體驗(yàn)，也能提高更多存儲(chǔ)節(jié)點(diǎn)的收益。反之，當(dāng)很受歡迎的文件失去熱度之后，系統(tǒng)則會(huì)自適應(yīng)地減少存儲(chǔ)此文件的存儲(chǔ)節(jié)點(diǎn)的數(shù)量。這樣就形成一種動(dòng)態(tài)的平衡。PPIO 在熱門內(nèi)容調(diào)度算法上下了很大的功夫。

#5. 人為預(yù)熱機(jī)制

除了熱門內(nèi)容的自適應(yīng)調(diào)度之外，PPIO 還提供了一套人為預(yù)熱的機(jī)制，那么人為預(yù)熱機(jī)制適用于什么場(chǎng)景呢？

比如說(shuō)大家在看一部電視劇，前面一集看的人已經(jīng)很多了，那么大概率地預(yù)測(cè)，下一集看的人也會(huì)很多。所以發(fā)布方在更新新的一集的時(shí)候，就可以提前推送新的一集的資源到更多礦工那里。這樣當(dāng)大家觀看下一級(jí)電視劇的時(shí)候，已經(jīng)有足夠多的存儲(chǔ)節(jié)點(diǎn)在做種了。這樣在內(nèi)容發(fā)布前就能充分利用 P2P 網(wǎng)絡(luò)的優(yōu)勢(shì)，大大提升觀看體驗(yàn)。類似的場(chǎng)景還有很多，只要人為可預(yù)知的熱門內(nèi)容都可以預(yù)熱來(lái)提升冷啟動(dòng)過(guò)程中的體驗(yàn)。

內(nèi)容發(fā)布者可以支付費(fèi)用來(lái)指定需要預(yù)熱的內(nèi)容，并且可以指定執(zhí)行預(yù)熱的區(qū)域、ISP、時(shí)間段。根據(jù)區(qū)域、ISP 和時(shí)段的不同，存儲(chǔ)的價(jià)格也會(huì)有不同。PPIO 中預(yù)熱的實(shí)現(xiàn)是和去中心化存儲(chǔ)的原理基本一致的，因?yàn)榈V工不知道這個(gè)內(nèi)容是不是真的很熱，所以需要收取費(fèi)用來(lái)對(duì)沖風(fēng)險(xiǎn)。但是預(yù)熱和存儲(chǔ)不同的是，預(yù)熱采用的是全副本，而存儲(chǔ)主要采用的糾刪碼，后面我會(huì)解釋為什么會(huì)有所不同。

#6. P2P 直播的考慮

PPIO 不僅僅考慮了流媒體點(diǎn)播的下載，而且還考慮實(shí)時(shí)流媒體直播。直播在本質(zhì)上就是一堆連續(xù)的小文件的分發(fā)，只是這些小文件他們的生命周期比較短，一段時(shí)間過(guò)后就沒(méi)有用了，但同時(shí)也要求這些小文件的分發(fā)效率要非常高，要非?？焖俚胤职l(fā)到盡可能多的節(jié)點(diǎn)上。直播的整體架構(gòu)和 PPIO 的流媒體體系是一致的，只是切分文件的方式，下載算法有所不同。

直播分為兩類，一類是高延時(shí)直播，主要用于賽事，新聞等，這類直播的特點(diǎn)是一個(gè)直播頻道，可能觀看的用戶數(shù)很多很多，但是大家對(duì)節(jié)目的時(shí)延不是那么敏感。還有一類是低延時(shí)直播，主要用于主播，秀場(chǎng)等模式，這種直播的特點(diǎn)是，由于涉及到和主播之間的互動(dòng)，這類對(duì)延時(shí)的要求非常低，一般在 5s 之內(nèi)，也就是當(dāng)動(dòng)作發(fā)生到看到畫面最多只有 5s 的時(shí)間，但是用戶規(guī)模一般不大。

PPIO 面對(duì)這兩種直播場(chǎng)景，使用一推二拉三補(bǔ)償?shù)姆桨?，做了一致性兼容，只是參?shù)的不同，就能很好地支持兩種模式。PPIO 的創(chuàng)始團(tuán)隊(duì)之前是做 P2P 直播起家的，做過(guò)全世界最大的 P2P 直播平臺(tái)，PPTV，在直播領(lǐng)域的積累也是非常豐富的。

#7. PPIO PCDN 的設(shè)計(jì)

PCDN 即 CDN acceleration with P2P，是利用 P2P 技術(shù)和大量租戶節(jié)點(diǎn)的帶寬和磁盤資源來(lái)做 CDN 分發(fā)加速。PPIO 的設(shè)計(jì)是支持 PCDN 的，并且提供了 DApp 開(kāi)發(fā)接口，開(kāi)發(fā)者將很容易使用 PCDN 接口為自己的內(nèi)容服務(wù)提供加速。

應(yīng)用中的存儲(chǔ)內(nèi)容會(huì)首先在發(fā)布源節(jié)點(diǎn)進(jìn)行發(fā)布，在源節(jié)點(diǎn)不下線的前提下，能夠持續(xù)提供下載服務(wù)。然而當(dāng)從同一個(gè)源節(jié)點(diǎn)下載的用戶數(shù)增加后，該節(jié)點(diǎn)的帶寬將被消耗殆盡，而每個(gè)用戶的下載速度也會(huì)降低。通過(guò) PCDN，網(wǎng)絡(luò)中的大量租戶節(jié)點(diǎn)開(kāi)始保存和提供同樣內(nèi)容的下載。用戶因此可以從多個(gè)節(jié)點(diǎn)下載內(nèi)容，用戶體驗(yàn)大幅提高。

PCDN 在 PPIO 網(wǎng)絡(luò)中有兩種實(shí)現(xiàn)方式：

充分利用3.2.4中熱門內(nèi)容按照預(yù)測(cè)調(diào)度的機(jī)制。PPIO 本身有根據(jù)熱度來(lái)預(yù)測(cè)調(diào)度的功能。當(dāng)發(fā)現(xiàn)一個(gè)熱度比較好的內(nèi)容時(shí)候，有其他租戶也主動(dòng)拉過(guò)來(lái)提供服務(wù)，從而增加了網(wǎng)絡(luò)的副本數(shù)，而副本數(shù)越多，最終用戶 P2P 下載的效果也就越好。

源節(jié)點(diǎn)發(fā)布內(nèi)容的時(shí)候，可以指定 PCDN 定向緩存副本數(shù)。DApp 開(kāi)發(fā)者可以根據(jù)自身需求，通過(guò) PCDN API 接口，強(qiáng)制對(duì)一個(gè)內(nèi)容設(shè)置緩存，可以在設(shè)定哪個(gè)網(wǎng)絡(luò)區(qū)域，及地理區(qū)域（國(guó)家，ISP，州，市 四元組）的緩存數(shù)量。PPIO 會(huì)在這些定向區(qū)域的范圍內(nèi)尋找租戶節(jié)點(diǎn)，以存儲(chǔ)數(shù)據(jù)并提供下載服務(wù)。因?yàn)檫@是通過(guò) API 指定的租戶，所以源節(jié)點(diǎn)在這種情況下要支付給這部分租戶相應(yīng)的存儲(chǔ)時(shí)空費(fèi)用，調(diào)度費(fèi)和時(shí)空證明費(fèi)。上圖中展示了這種情況下網(wǎng)絡(luò)中 PCDN 驅(qū)動(dòng)的數(shù)據(jù)流動(dòng)。

PPIO 的定位是做存儲(chǔ)與分發(fā)，那么存儲(chǔ)和做分發(fā)在技術(shù)上還有什么不同呢？主要有以下幾點(diǎn)。

#1 全副本和糾刪碼

分發(fā)和存儲(chǔ)的最終目的是不同的。分發(fā)講究的是如何快地獲取內(nèi)容。一般的分發(fā)場(chǎng)景中，源節(jié)點(diǎn)是在的，在所以不用擔(dān)心數(shù)據(jù)會(huì)丟失，即使不小心被存儲(chǔ)節(jié)點(diǎn)搞丟了，也能從源節(jié)點(diǎn)找到。所以在分發(fā)場(chǎng)景中我們選擇采用全副本的算法。

而存儲(chǔ)則不同，存儲(chǔ)首先要保證不能丟數(shù)據(jù),?提高內(nèi)容不丟失率。如果采用全副本算法的方式，不知道要存多少副本才能做到11個(gè)9的不丟失率。而在適用糾刪碼技術(shù)候，做到11個(gè)9的不丟失率，需要的冗余空間將會(huì)少很多，這是提高內(nèi)容不丟失率的最有用方案。

簡(jiǎn)單地來(lái)說(shuō)，分發(fā)追求高速，所以用全副本方案為主；而存儲(chǔ)追求極高的內(nèi)容不丟失率，所以適用糾刪碼技術(shù)為主導(dǎo)。

#2 內(nèi)存緩存

分發(fā)和存儲(chǔ)還有一個(gè)很大的區(qū)別。分發(fā)往往有很強(qiáng)的頭部效應(yīng)而存儲(chǔ)沒(méi)有。

分發(fā)的頭部效應(yīng)，也叫二八原則，就是20%的內(nèi)容擁有80%的流量。而深入研究可能會(huì)發(fā)現(xiàn)，頭部的20%的內(nèi)容里面，也適用二八原則。所以在分發(fā)中，我們通常把內(nèi)容分為頭部?jī)?nèi)容，中部?jī)?nèi)容和尾部?jī)?nèi)容：頭部的流量很集中，中部的流量較少，尾部的流量非常零散。在分發(fā)的場(chǎng)景中，從成本的角度考慮。頭部和中頭部?jī)?nèi)容適合使用內(nèi)存的緩存，中尾部?jī)?nèi)容適合使用 SSD 等高速存儲(chǔ)介質(zhì)，而尾部?jī)?nèi)容處于成本角度考慮，則更適合機(jī)械硬盤。

存儲(chǔ)沒(méi)有頭部效應(yīng)，都是尾部?jī)?nèi)容，因?yàn)楹苌儆腥藫碛邢嗤膬?nèi)容。存儲(chǔ)也分為熱存儲(chǔ)、溫存儲(chǔ)和冷存儲(chǔ)，熱存儲(chǔ)指的是數(shù)據(jù)在寫入之后，經(jīng)常會(huì)被讀??；溫存儲(chǔ)指得是數(shù)據(jù)在寫入之后，很少被讀取，也可能永遠(yuǎn)不被去讀，如私人網(wǎng)盤的老數(shù)據(jù)；冷存儲(chǔ)指的是寫入后，大概率是不會(huì)使用，即使使用也不會(huì)要求那么及時(shí)，如監(jiān)控?cái)?shù)據(jù)。

在 PPIO 的網(wǎng)絡(luò)中，熱存儲(chǔ)主要使用全副本和糾刪碼并存方案，全副本保證適當(dāng)?shù)馗咚賯鬏?，糾刪碼能將數(shù)據(jù)的丟失率降到很低，同時(shí)推薦承載熱存儲(chǔ)的存儲(chǔ)節(jié)點(diǎn)使用 SSD 等高速硬盤。而溫存儲(chǔ)和冷存儲(chǔ)使用純糾刪碼方案，因?yàn)樽x取的次數(shù)不多，推薦使用機(jī)械硬盤，這樣能將成本降到最低。

所以對(duì)于存儲(chǔ)節(jié)點(diǎn)來(lái)說(shuō)，如果要獲得最大的收益，其機(jī)器配置的參數(shù)也要與其提供的服務(wù)相搭配。

PPIO 項(xiàng)目相當(dāng)于其他去中心化存儲(chǔ)區(qū)塊鏈項(xiàng)目，如 Filecoin 和 Storj，是更重視分發(fā)場(chǎng)景的，其他項(xiàng)目都把重心放在了存儲(chǔ)場(chǎng)景上。這里有個(gè)簡(jiǎn)易地對(duì)比表格分析三個(gè)存儲(chǔ)鏈，并給出對(duì)比信息。

綜上所訴，這些就是 PPIO 在數(shù)據(jù)分發(fā)領(lǐng)域的優(yōu)勢(shì)。如果你想了解更多，歡迎加入我們的開(kāi)發(fā)者社區(qū)共同討論！