資訊專欄INFORMATION COLUMN
摘要：更壞的，事件可能偶爾丟失，這將導(dǎo)致標(biāo)題不能上線，知道某一個(gè)標(biāo)題運(yùn)營人員發(fā)現(xiàn)可能有問題。
原文 https://medium.com/netflix-te...
本文介紹了了內(nèi)容配置工程團(tuán)隊(duì)使用Hollow，一個(gè)Netflix OSS技術(shù)，重新架構(gòu)與簡化我們內(nèi)容管道上的基礎(chǔ)組件 - 在流程中交付巨大業(yè)務(wù)價(jià)值。
上下文每個(gè)在Netflix服務(wù)上的電影和秀都被精心處理以提供最佳的觀看體驗(yàn)。團(tuán)隊(duì)對處理主要負(fù)責(zé)標(biāo)題運(yùn)營(Title Operation)。標(biāo)題運(yùn)營會(huì)確認(rèn)，除了：
我們確保合同符合規(guī)范 - 我們?yōu)槊總€(gè)標(biāo)題配置的視頻日期時(shí)間段與位置是正確的。
視頻的標(biāo)題，字幕，第二音軌都被翻譯并被正確分發(fā)到世界各地。
標(biāo)題名與概要都可用并被翻譯。
每個(gè)國家都有合適的觀影等級
當(dāng)標(biāo)題達(dá)到了以上需求的最低要求，它就可以發(fā)布到服務(wù)上上線。Gatekeeper是在Netflix負(fù)責(zé)評估網(wǎng)站上視頻和資產(chǎn)的“活躍度”。在Gatekeeper批準(zhǔn)前標(biāo)題對于會(huì)員是不可見的 - 如果它驗(yàn)證不了設(shè)置，它會(huì)指出從客戶體驗(yàn)基線上缺了什么來輔助標(biāo)題運(yùn)營(Title Operation)。
Gatekeeper通過聚合多個(gè)上游系統(tǒng)的數(shù)據(jù)來完成預(yù)處理任務(wù)，使用合適的業(yè)務(wù)邏輯，生產(chǎn)和輸出每個(gè)國家每個(gè)視頻的詳細(xì)狀態(tài)。
技術(shù)Hollow, 是我們幾年前發(fā)布的OSS技術(shù)。并被描述為一種靠近緩存的全高密度(total high-density near cache)技術(shù)：
全：在每個(gè)節(jié)點(diǎn)上都緩存著這個(gè)數(shù)據(jù)集 - 沒有驅(qū)逐策略，沒有緩存命中丟失。
高密度：編碼，解碼，反重復(fù)技術(shù)都被用來數(shù)據(jù)集上的內(nèi)存指紋。
靠近：在每個(gè)需要存取數(shù)據(jù)集的實(shí)例上都有RAM上的緩存。
對于這個(gè)全(total)技術(shù)有一個(gè)令人興奮的內(nèi)容 - 因?yàn)槲覀儾恍枰獡?dān)心清除內(nèi)存中的數(shù)據(jù)項(xiàng)，我們可以對內(nèi)存中的數(shù)據(jù)集展示做一些假設(shè)與預(yù)計(jì)算，沒有這個(gè)特性是不可能的。結(jié)果是，對許多數(shù)據(jù)集，提高了很大的內(nèi)存使用效率。而在傳統(tǒng)的部分緩存方案上你可能會(huì)想是否你只緩存了5%的數(shù)據(jù)集，或者你需要被10%保留足夠的空間用來得到一個(gè)可接受的命中/丟失率 - 使用同樣的內(nèi)存Hollow可以緩存100%的數(shù)據(jù)集數(shù)據(jù)并得到100%的命中率。
很明顯，如果你有100%的命中率，你可以消除所有訪問你數(shù)據(jù)的IO需求 - 并可以更有效的提高數(shù)據(jù)訪問效率，可以開啟更多可能性。
現(xiàn)狀在不久以前，Gatekeeper是一個(gè)完全的事件驅(qū)動(dòng)系統(tǒng)。當(dāng)任何上游系統(tǒng)對視頻有改動(dòng)，系統(tǒng)會(huì)發(fā)送給Gatekeeper發(fā)送一個(gè)事件。Gatekeeper會(huì)對那條事件進(jìn)行響應(yīng)，進(jìn)入每一個(gè)它的上游服務(wù)，收集必要的輸入數(shù)據(jù)來評估視頻與它的對應(yīng)資產(chǎn)的活躍性。它會(huì)產(chǎn)生一條輸出記錄來輸出這條視頻的詳細(xì)狀態(tài)。
這個(gè)模型有一些相關(guān)的問題：
這個(gè)進(jìn)程完全與IO綁定，并對上游系統(tǒng)產(chǎn)生了很大的負(fù)載。
因此，這些事件會(huì)將一天的吞吐隊(duì)列化并產(chǎn)生處理的延遲，導(dǎo)致標(biāo)題的處理不能及時(shí)的上線。
更壞的，事件可能偶爾丟失，這將導(dǎo)致標(biāo)題不能上線，知道某一個(gè)標(biāo)題運(yùn)營人員發(fā)現(xiàn)可能有問題。
為了減輕這些問題可以“清掃”目錄讓視頻可以匹配特定的查詢條件(比如，計(jì)劃下周上線)可以讓事件自動(dòng)注入到處理隊(duì)列中。不幸的是，這種方式會(huì)往隊(duì)列中增加更多的事件，會(huì)使問題更加惡化。
很明顯，很有必要改變方向。
本文來自微信公眾號「麥芽面包，id「darkjune_think」
轉(zhuǎn)載請注明。微信掃一掃關(guān)注公眾號。
交流Email: [email protected]
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/76043.html
摘要：相對于對事件進(jìn)行響應(yīng)，會(huì)以一個(gè)重復(fù)的周期從遍布全世界的視頻數(shù)據(jù)中持續(xù)的處理活躍性數(shù)據(jù)。作為一個(gè)數(shù)據(jù)一直在變化的數(shù)據(jù)集，通過將變更分成一系列的時(shí)間線的數(shù)據(jù)狀態(tài)并將變更發(fā)送給消費(fèi)方。傳統(tǒng)產(chǎn)生數(shù)據(jù)狀態(tài)的方式是維護(hù)一個(gè)運(yùn)行重復(fù)周期的生產(chǎn)者。 原文: https://medium.com/netflix-te... 想法 我們決定部署一個(gè)全高密度近場緩存(Hollow)來解決我們的IO瓶頸。對...
摘要：但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。實(shí)際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時(shí)創(chuàng)建效果 現(xiàn)代瀏覽器支持通過元素播放視頻。大多數(shù)瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。 幸運(yùn)的是，瀏覽器有一...
摘要：但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。實(shí)際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時(shí)創(chuàng)建效果 現(xiàn)代瀏覽器支持通過元素播放視頻。大多數(shù)瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。 幸運(yùn)的是，瀏覽器有一...
摘要：但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。實(shí)際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時(shí)創(chuàng)建效果 現(xiàn)代瀏覽器支持通過元素播放視頻。大多數(shù)瀏覽器也可以通過MediaDevices.getUserMedia() API訪問攝像頭。但即使這兩件事結(jié)合起來，我們也無法直接訪問和操縱這些像素。 幸運(yùn)的是，瀏覽器有一...
閱讀 3916·2021-11-24 11:14
閱讀 3367·2021-11-22 13:53
閱讀 3944·2021-11-11 16:54
閱讀 1660·2021-10-13 09:49
閱讀 1261·2021-10-08 10:05
閱讀 3433·2021-09-22 15:57
閱讀 1788·2021-08-16 11:01
閱讀 1003·2019-08-30 15:55
