資訊專(zhuān)欄INFORMATION COLUMN
摘要：相對(duì)于對(duì)事件進(jìn)行響應(yīng)，會(huì)以一個(gè)重復(fù)的周期從遍布全世界的視頻數(shù)據(jù)中持續(xù)的處理活躍性數(shù)據(jù)。作為一個(gè)數(shù)據(jù)一直在變化的數(shù)據(jù)集，通過(guò)將變更分成一系列的時(shí)間線的數(shù)據(jù)狀態(tài)并將變更發(fā)送給消費(fèi)方。傳統(tǒng)產(chǎn)生數(shù)據(jù)狀態(tài)的方式是維護(hù)一個(gè)運(yùn)行重復(fù)周期的生產(chǎn)者。
原文: https://medium.com/netflix-te...想法
我們決定部署一個(gè)全高密度近場(chǎng)緩存(Hollow)來(lái)解決我們的IO瓶頸。對(duì)于我們的每個(gè)上游系統(tǒng)，我們要建一個(gè)能讓Gatekeeper執(zhí)行這次評(píng)估的包括所有數(shù)據(jù)的Hollow數(shù)據(jù)集。每個(gè)上游系統(tǒng)現(xiàn)在都需要保證它的緩存保持最新。
使用這個(gè)模型，活躍性評(píng)估將數(shù)據(jù)從上游系統(tǒng)中隔離出來(lái)了。相對(duì)于對(duì)事件進(jìn)行響應(yīng)，Gatekeeper會(huì)以一個(gè)重復(fù)的周期從遍布全世界的視頻數(shù)據(jù)中持續(xù)的處理活躍性數(shù)據(jù)。迭代周期從Netflix的每個(gè)視頻上線開(kāi)始，計(jì)算它們的活躍性信息。在每個(gè)周期的結(jié)束，它產(chǎn)出一個(gè)經(jīng)過(guò)計(jì)算的表示全世界所有視頻的活躍性明細(xì)信息的輸出(包括Hollow數(shù)據(jù)集)。
我們希望這個(gè)持續(xù)處理模型是可行的，這樣我們可以徹底移除我們IO上的瓶頸，可以保證操作順序更有效。我們也期望通過(guò)遷移到這個(gè)模型，我們可以對(duì)業(yè)務(wù)產(chǎn)生更正面的影響。
作為對(duì)Gatekeeper對(duì)上游系統(tǒng)產(chǎn)生的過(guò)大的負(fù)載的最終解決方案
徹底消除活躍性處理的延遲和錯(cuò)過(guò)上線日期的問(wèn)題。
緩解內(nèi)容配置工程團(tuán)隊(duì)在性能相關(guān)問(wèn)題的時(shí)間消耗。
改進(jìn)活躍性處理的可調(diào)試性和可見(jiàn)性
問(wèn)題Hollow可以被想象為一個(gè)時(shí)間機(jī)器。作為一個(gè)數(shù)據(jù)一直在變化的數(shù)據(jù)集，通過(guò)將變更分成一系列的時(shí)間線的數(shù)據(jù)狀態(tài)并將變更發(fā)送給消費(fèi)方。每份數(shù)據(jù)狀態(tài)都表示為整個(gè)數(shù)據(jù)集在當(dāng)時(shí)時(shí)刻的一份快照。
通常，Hollow數(shù)據(jù)集的消費(fèi)者將加載的最新的數(shù)據(jù)狀態(tài)并將產(chǎn)生的新?tīng)顟B(tài)保存到他們的混存中。當(dāng)然，它們可能會(huì)將狀態(tài)替換到之前的樣子 - 導(dǎo)致將整個(gè)數(shù)據(jù)集指向之前的一個(gè)狀態(tài)。
傳統(tǒng)產(chǎn)生數(shù)據(jù)狀態(tài)的方式是維護(hù)一個(gè)運(yùn)行重復(fù)周期的生產(chǎn)者。在一個(gè)周期中，生產(chǎn)者從元數(shù)據(jù)中迭代所有記錄。在迭代中，它對(duì)Hollow庫(kù)中增加每條數(shù)據(jù)。Hollow則在之后計(jì)算數(shù)據(jù)的變化并在最后的周期將數(shù)據(jù)填加上去，將數(shù)據(jù)狀態(tài)發(fā)布到一個(gè)已知地址的消費(fèi)者。
這個(gè)基于真實(shí)數(shù)據(jù)源的迭代模型的問(wèn)題是它可能會(huì)需要很長(zhǎng)時(shí)間。在這個(gè)場(chǎng)景中一些我們的上游系統(tǒng)，這需要幾小時(shí)。數(shù)據(jù)傳播延遲是不可接受的 - 我們不能為活躍性處理等待幾個(gè)小時(shí)，比如，標(biāo)題運(yùn)營(yíng)給電影增加了一個(gè)評(píng)級(jí)并需要立即發(fā)布上線。
改進(jìn)我們需要一個(gè)更快的時(shí)間機(jī)器 - 它可以更頻繁的產(chǎn)出狀態(tài)，讓消費(fèi)方可以更快的識(shí)別到變化。
為了達(dá)到這個(gè)目標(biāo)，我們建立了一套很強(qiáng)的Hollow基礎(chǔ)設(shè)施，平衡了之前Hollow library做的工作，與流處理團(tuán)隊(duì)在Target生產(chǎn)環(huán)境做的先鋒性工作(現(xiàn)在是公開(kāi)的非beta的API)
使用這套基礎(chǔ)設(shè)施，每次變更都可以在源應(yīng)用中唄檢測(cè)到，更新過(guò)的記錄會(huì)被編碼并發(fā)送給Kafka topic。一個(gè)不屬于源應(yīng)用的新組件，Hollow增量生產(chǎn)服務(wù)，以一個(gè)預(yù)定義的節(jié)奏執(zhí)行一個(gè)重復(fù)周期。 在每個(gè)周期，它讀取自從上個(gè)周期所有增加到topic的消息，并讓Hollow狀態(tài)引擎反映出更新過(guò)的記錄的最新?tīng)顟B(tài)。
如果一個(gè)Kafka topic中的消息包含了已經(jīng)在Hollow數(shù)據(jù)集中已經(jīng)反映出來(lái)的相同數(shù)據(jù)，不會(huì)有任何變動(dòng)。
為了緩解丟失事件產(chǎn)生的影響，我們實(shí)現(xiàn)了一套周期性從整個(gè)數(shù)據(jù)集清掃的機(jī)制。當(dāng)它執(zhí)行時(shí)，它將每條記錄的內(nèi)容發(fā)送給Kafka topic。通過(guò)這種方式，任何可能丟失的更新都會(huì)反映到Hollow數(shù)據(jù)集上。并且，這不是更新傳播到Hollow數(shù)據(jù)集上的主要方式，它不需要像傳統(tǒng)Hollow使用方式那樣很快很頻繁的在源上迭代運(yùn)行。
Hollow增量生產(chǎn)者有從Kafka topic中讀取大量消息并快速轉(zhuǎn)變成Hollow狀態(tài)的能力 - 所以我們可以將這個(gè)周期配置的非常短(我們目前的缺省配置是30秒)。
這就是我們?nèi)绾螛?gòu)建一個(gè)更快時(shí)間機(jī)器的方式?，F(xiàn)在，如果標(biāo)題運(yùn)營(yíng)給電影增加了一條評(píng)級(jí)，在30秒內(nèi)，數(shù)據(jù)就可以在Hollow數(shù)據(jù)集上可用。
—
本文來(lái)自微信公眾號(hào)「麥芽面包，id「darkjune_think」
轉(zhuǎn)載請(qǐng)注明。微信掃一掃關(guān)注公眾號(hào)。
交流Email: [email protected]
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/76285.html
摘要：更壞的，事件可能偶爾丟失，這將導(dǎo)致標(biāo)題不能上線，知道某一個(gè)標(biāo)題運(yùn)營(yíng)人員發(fā)現(xiàn)可能有問(wèn)題。 原文 https://medium.com/netflix-te... 本文介紹了了內(nèi)容配置工程團(tuán)隊(duì)使用Hollow，一個(gè)Netflix OSS技術(shù)，重新架構(gòu)與簡(jiǎn)化我們內(nèi)容管道上的基礎(chǔ)組件 - 在流程中交付巨大業(yè)務(wù)價(jià)值。 上下文 每個(gè)在Netflix服務(wù)上的電影和秀都被精心處理以提供最佳的觀看體驗(yàn)...
摘要：關(guān)鍵詞動(dòng)效多端兼容效果預(yù)覽截圖見(jiàn)附錄，在線地址實(shí)現(xiàn)小結(jié)想要說(shuō)明的主要是兩點(diǎn)，一個(gè)是的運(yùn)用，另一個(gè)是在移動(dòng)端的兼容問(wèn)題。單獨(dú)引用方法有如下這些移動(dòng)端兼容問(wèn)題，微信內(nèi)置瀏覽器自動(dòng)全屏的問(wèn)題。處理方法是在標(biāo)簽上加，微信內(nèi)置瀏覽器不起作用問(wèn)題。 關(guān)鍵詞：動(dòng)效 svg video 多端兼容 效果預(yù)覽 截圖見(jiàn)附錄，在線地址 實(shí)現(xiàn)小結(jié) 想要說(shuō)明的主要是兩點(diǎn)，一個(gè)是svg的運(yùn)用，另一個(gè)是video在移...
摘要：但即使這兩件事結(jié)合起來(lái)，我們也無(wú)法直接訪問(wèn)和操縱這些像素。實(shí)際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時(shí)創(chuàng)建效果 現(xiàn)代瀏覽器支持通過(guò)元素播放視頻。大多數(shù)瀏覽器也可以通過(guò)MediaDevices.getUserMedia() API訪問(wèn)攝像頭。但即使這兩件事結(jié)合起來(lái)，我們也無(wú)法直接訪問(wèn)和操縱這些像素。 幸運(yùn)的是，瀏覽器有一...
摘要：但即使這兩件事結(jié)合起來(lái)，我們也無(wú)法直接訪問(wèn)和操縱這些像素。實(shí)際上，我們可以從視頻本身將圖像繪制到，這使我們能夠操作和展示這些像素。您甚至可以在不使用圖像或視頻的情況下即時(shí)創(chuàng)建效果 現(xiàn)代瀏覽器支持通過(guò)元素播放視頻。大多數(shù)瀏覽器也可以通過(guò)MediaDevices.getUserMedia() API訪問(wèn)攝像頭。但即使這兩件事結(jié)合起來(lái)，我們也無(wú)法直接訪問(wèn)和操縱這些像素。 幸運(yùn)的是，瀏覽器有一...
閱讀 2961·2021-11-23 09:51
閱讀 3787·2021-11-22 15:29
閱讀 3245·2021-10-08 10:05
閱讀 1568·2021-09-22 15:20
閱讀 983·2019-08-30 15:56
閱讀 1082·2019-08-30 15:54
閱讀 742·2019-08-26 11:54
閱讀 2643·2019-08-26 11:32
