資訊專欄INFORMATION COLUMN
摘要：索引設(shè)計(jì)介紹在我們廣告系統(tǒng)中，為了我們能更快的拿到我們想要的廣告數(shù)據(jù)，我們需要對(duì)廣告數(shù)據(jù)添加類似于數(shù)據(jù)庫(kù)一樣的索引結(jié)構(gòu)，分兩大類正向索引和倒排索引。如何在廣告系統(tǒng)中使用倒排索引核心用途是對(duì)各個(gè)維度限制的整理。
在我們廣告系統(tǒng)中，為了我們能更快的拿到我們想要的廣告數(shù)據(jù)，我們需要對(duì)廣告數(shù)據(jù)添加類似于數(shù)據(jù)庫(kù)index一樣的索引結(jié)構(gòu)，分兩大類：正向索引和倒排索引。
通過(guò)唯一鍵/主鍵生成與對(duì)象的映射關(guān)系。比如，我們從數(shù)據(jù)庫(kù)中查詢數(shù)據(jù)的時(shí)候，根據(jù)數(shù)據(jù)主鍵ID查詢當(dāng)前記錄，其實(shí)就是一個(gè)正向索引的過(guò)程。
根據(jù)這個(gè)描述，很明顯，我們的正向索引適用于推廣計(jì)劃,推廣單元 和 創(chuàng)意這幾張表的數(shù)據(jù)上，因?yàn)閺V告檢索的請(qǐng)求信息，不可能是請(qǐng)求具體的計(jì)劃或推廣單元，它的檢索請(qǐng)求一定是限制條件。
也叫反向索引，是一種檢索方法。它的設(shè)計(jì)是為了存儲(chǔ)在全文檢索下某個(gè)單詞在一個(gè)文檔貨一組文檔中存儲(chǔ)位置的映射，是在文件檢索系統(tǒng)中最常用的數(shù)據(jù)結(jié)構(gòu)。也就是我們提供具體的內(nèi)容實(shí)例，根據(jù)內(nèi)容來(lái)查詢?cè)搩?nèi)容所處的位置。
如何在廣告系統(tǒng)中使用倒排索引？
核心用途是對(duì)各個(gè)維度 限制的整理。
如圖中所示，我們希望找到西安市的所有的推廣單元信息，那么我們只需要根據(jù)陜西省-西安市來(lái)進(jìn)行索引，可以快速定位到所在的推廣單元有10，11兩個(gè)。
索引的維護(hù)最主要的是為了保證檢索服務(wù)中的索引是完整的，我們?cè)诰S護(hù)索引數(shù)據(jù)的時(shí)候，有兩種場(chǎng)景會(huì)帶來(lái)廣告數(shù)據(jù)。在系統(tǒng)啟動(dòng)之初，會(huì)有一部分初始化數(shù)據(jù)，在系統(tǒng)上線運(yùn)行之后，會(huì)逐漸有不少新的廣告信息加入。因此，我們的廣告索引類型整體可以分為兩大類：
檢索系統(tǒng)在每次啟動(dòng)的時(shí)候，需要一次性讀取當(dāng)前數(shù)據(jù)庫(kù)中的所有數(shù)據(jù)，建立索引。TIPS：（這里有一個(gè)問(wèn)題，如果我們系統(tǒng)流量高的時(shí)候，需要部署多實(shí)例，每一個(gè)實(shí)例在系統(tǒng)啟動(dòng)的時(shí)候，都直接從數(shù)據(jù)庫(kù)中加載全量索引，會(huì)對(duì)數(shù)據(jù)庫(kù)造成極大的壓力。）
因此，通常我們實(shí)現(xiàn)全量索引都是通過(guò)讀取文件中預(yù)先存儲(chǔ)的廣告數(shù)據(jù)來(lái)實(shí)現(xiàn)全量索引導(dǎo)入。
顧名思義就是后來(lái)新增的數(shù)據(jù)索引。系統(tǒng)在運(yùn)行過(guò)程中，會(huì)對(duì)數(shù)據(jù)庫(kù)的變動(dòng)進(jìn)行監(jiān)控，實(shí)現(xiàn)加載更新，構(gòu)建索引，我們系統(tǒng)中通過(guò)對(duì)數(shù)據(jù)庫(kù)表的CRUD操作的變動(dòng)，通過(guò)監(jiān)聽Binlog來(lái)實(shí)現(xiàn)增量索引的更新。
文章版權(quán)歸作者所有，未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址：http://systransis.cn/yun/75913.html
摘要：上一節(jié)我們分析了廣告索引的維護(hù)有種，全量索引加載和增量索引維護(hù)。因?yàn)閺V告檢索是廣告系統(tǒng)中最為重要的環(huán)節(jié)，大家一定要認(rèn)真理解我們索引設(shè)計(jì)的思路，接下來(lái)我們來(lái)編碼實(shí)現(xiàn)索引維護(hù)功能。 上一節(jié)我們分析了廣告索引的維護(hù)有2種，全量索引加載和增量索引維護(hù)。因?yàn)閺V告檢索是廣告系統(tǒng)中最為重要的環(huán)節(jié)，大家一定要認(rèn)真理解我們索引設(shè)計(jì)的思路，接下來(lái)我們來(lái)編碼實(shí)現(xiàn)索引維護(hù)功能。 我們來(lái)定義一個(gè)接口，來(lái)接收所有...
摘要：在前面的過(guò)程中，我們創(chuàng)建了個(gè)服務(wù)發(fā)現(xiàn)我們使用作為服務(wù)發(fā)現(xiàn)組件，學(xué)習(xí)了的使用。加依賴加注解改配置使用項(xiàng)目三部曲，我們可以快速添加一個(gè)新組件，并正常使用這個(gè)我沒有在項(xiàng)目中實(shí)現(xiàn)，但是大家可以和一樣，三部曲搞定。 在前面的過(guò)程中，我們創(chuàng)建了4個(gè)project： 服務(wù)發(fā)現(xiàn) 我們使用Eureka 作為服務(wù)發(fā)現(xiàn)組件，學(xué)習(xí)了Eureka Server,Eureka Client的使用。 Eureka...
摘要：各個(gè)表數(shù)據(jù)的存儲(chǔ)文件名定義索引對(duì)象導(dǎo)出的字段信息依然用為例。通用處理索引類索引之間存在層級(jí)劃分，也就是相互之間擁有依賴關(guān)系的劃分加載全量索引其實(shí)是增量索引添加的一種特殊實(shí)現(xiàn)若初實(shí)現(xiàn)廣告推廣計(jì)劃的第二層級(jí)索引實(shí)現(xiàn)。 上一節(jié)我們實(shí)現(xiàn)了索引基本操作的類以及索引緩存工具類，本小節(jié)我們開始實(shí)現(xiàn)加載全量索引數(shù)據(jù)，在加載全量索引數(shù)據(jù)之前，我們需要先將數(shù)據(jù)庫(kù)中的表數(shù)據(jù)導(dǎo)出到一份文件中。Lets cod...
摘要：工作流程項(xiàng)目依賴監(jiān)控面板引入服務(wù)調(diào)用的組件依賴引入服務(wù)消費(fèi)者的依賴數(shù)據(jù)庫(kù)鏈接依賴工具類集合類操作日志監(jiān)聽解析開源工具類庫(kù)中的配置相關(guān)依賴圖片壓縮 工作流程 showImg(https://i.loli.net/2019/07/29/5d3ee1829df4d57461.png); 項(xiàng)目依賴 org.springframewo...
摘要：在使用調(diào)用廣告投放系統(tǒng)之前，我們需要先創(chuàng)建個(gè)對(duì)象，數(shù)據(jù)請(qǐng)求對(duì)象請(qǐng)求響應(yīng)結(jié)果反序列化對(duì)象在啟動(dòng)類中，添加客戶端。注冊(cè)讓在調(diào)用服務(wù)的時(shí)候，可以實(shí)現(xiàn)負(fù)載均衡創(chuàng)建一個(gè)，來(lái)測(cè)試調(diào)用廣告提供系統(tǒng)的若初注入 在使用Ribbon調(diào)用廣告投放系統(tǒng)API之前，我們需要先創(chuàng)建2個(gè)VO對(duì)象，AdPlanVO,AdPlanGetRequestVO. //數(shù)據(jù)請(qǐng)求對(duì)象 @Data @NoArgsConstruct...
閱讀 2045·2023-04-26 02:15
閱讀 2311·2021-11-19 09:40
閱讀 1061·2021-10-27 14:13
閱讀 3329·2021-08-23 09:44
閱讀 3623·2019-12-27 12:24
閱讀 665·2019-08-30 15:53
閱讀 1181·2019-08-30 10:53
閱讀 2171·2019-08-26 12:14
