資訊專欄INFORMATION COLUMN
摘要：需求背景系統(tǒng)有數(shù)據(jù)識別數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進(jìn)行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量。可用性分析可用性表格分析場景影響降級原因某臺數(shù)據(jù)同步下線無影響數(shù)據(jù)同步無狀態(tài)，調(diào)度平臺重連其他的數(shù)據(jù)同步服務(wù)。
需求背景
系統(tǒng)有數(shù)據(jù)識別、數(shù)據(jù)脫敏邏輯，支持可配置規(guī)則，自定義等，需要進(jìn)行異構(gòu)數(shù)據(jù)同步，大數(shù)據(jù)量?，F(xiàn)在針對以下幾個需求進(jìn)行講解
1、支持冗余設(shè)計
2、支持任務(wù)自動分發(fā)，支持自動負(fù)載均衡
3、支持隨時擴(kuò)容節(jié)點(diǎn)而無需關(guān)停原有的系統(tǒng)和業(yè)務(wù)
調(diào)度平臺
使用Nginx方式來調(diào)用數(shù)據(jù)中心，通過注冊中心獲取數(shù)據(jù)中心的服務(wù)列表
可以合理的根據(jù)數(shù)據(jù)同步的情況，去調(diào)用服務(wù)；比如數(shù)據(jù)同步可能存在的順序性，執(zhí)行延時；
讀取控制臺DB的配置信息，定時執(zhí)行數(shù)據(jù)同步任務(wù)
對數(shù)據(jù)同步的調(diào)用，可以按照簡單的輪詢方式，也可以根據(jù)數(shù)據(jù)同步服務(wù)器的性能情況，進(jìn)行負(fù)載均衡
數(shù)據(jù)同步
負(fù)責(zé)執(zhí)行數(shù)據(jù)庫異構(gòu)數(shù)據(jù)同步任務(wù)，可支持增量，全量模式，用DataX框架來實(shí)現(xiàn)
服務(wù)于調(diào)度平臺的調(diào)用
會存儲數(shù)據(jù)同步的執(zhí)行結(jié)果，供控制臺進(jìn)行展示
會上報服務(wù)器的性能指標(biāo)到數(shù)據(jù)同步DB，以供調(diào)度平臺參考
控制臺
配置管理界面，服務(wù)于用戶進(jìn)行數(shù)據(jù)同步任務(wù)的配置信息，并存儲到控制臺DB中；
數(shù)據(jù)識別
負(fù)責(zé)針對數(shù)據(jù)庫的數(shù)據(jù)進(jìn)行數(shù)據(jù)識別任務(wù)
數(shù)據(jù)脫敏
按照內(nèi)置規(guī)則、自定義配置，負(fù)責(zé)脫敏數(shù)據(jù)
可提前進(jìn)行數(shù)據(jù)脫敏，以供數(shù)據(jù)同步轉(zhuǎn)換環(huán)節(jié)調(diào)用
三個輔助服務(wù)發(fā)現(xiàn)模塊
注冊中心
用于服務(wù)發(fā)現(xiàn)和注冊
數(shù)據(jù)同步注冊實(shí)例并定期報心跳
可以用zookeerper來實(shí)現(xiàn)
調(diào)度平臺通過域名訪問注冊中心獲取數(shù)據(jù)同步的地址列表
Nginx
和域名系統(tǒng)配合，協(xié)助調(diào)度平臺訪問注冊中心獲取數(shù)據(jù)同步地址列表
和域名系統(tǒng)配合，協(xié)助用戶訪問控制臺進(jìn)行配置管理
可用性分析高可用通過Nginx、注冊中心來實(shí)現(xiàn)，可以支持動態(tài)擴(kuò)容。每個主要模塊都是以無狀態(tài)集群方式部署的，各自模塊都可以通過注冊中心來實(shí)現(xiàn)服務(wù)注冊，模塊之間的調(diào)用服務(wù)發(fā)現(xiàn)來獲取，并以域名方式實(shí)現(xiàn)。
考慮到擴(kuò)展，所以設(shè)想的方案是盡可能的做到每個服務(wù)職責(zé)單一。
這樣的拆分，也是考量到每個環(huán)節(jié)的瓶頸都不一樣，目前預(yù)估不是很精確，這樣可以為后續(xù)擴(kuò)展提供方便性。
數(shù)據(jù)脫敏、數(shù)據(jù)識別需要多帶帶獨(dú)立出來，原因：本身的服務(wù)不在數(shù)據(jù)同步中，可能提前預(yù)處理進(jìn)行。
通過集群部署方式，支持冗余設(shè)計。
調(diào)度平臺、Nginx集群通過數(shù)據(jù)同步性能情況,實(shí)現(xiàn)任務(wù)自動分發(fā)，支持自動負(fù)載均衡。
可用性分析可用性表格分析
| 場景 | 影響 | 降級 | 原因 |
|---|---|---|---|
| 某臺數(shù)據(jù)同步下線 | 無影響 | - | 數(shù)據(jù)同步無狀態(tài)，調(diào)度平臺重連其他的數(shù)據(jù)同步服務(wù)。 |
| 所有數(shù)據(jù)同步下線 | 調(diào)度平臺無法執(zhí)行數(shù)據(jù)同步任務(wù) | 控制臺正常運(yùn)行；調(diào)度平臺把數(shù)據(jù)同步任務(wù)放入執(zhí)行隊(duì)列，等待執(zhí)行 | - |
| 某個Nginx下線 | 無影響 | - | 多Nginx部署，數(shù)據(jù)完全同步，注冊中心、控制臺域名通過SLB自動切換到其他存活的Nginx |
| 控制臺DB宕機(jī) | 調(diào)度中心無影響，控制臺無法更新配置 | 調(diào)度平臺開啟配置緩存后，對配置的讀取不受數(shù)據(jù)庫宕機(jī)影響 | |
| 某臺數(shù)據(jù)識別、數(shù)據(jù)脫敏下線 | 無影響 | - | 數(shù)據(jù)識別、數(shù)據(jù)脫敏無狀態(tài)，數(shù)據(jù)同步重連其他的數(shù)據(jù)識別、數(shù)據(jù)脫敏同步服務(wù) |
| 全部數(shù)據(jù)識別、數(shù)據(jù)脫敏下線 | 無影響 | - | 數(shù)據(jù)同步可執(zhí)行在線脫敏功能，會影響任務(wù)時長。 |
數(shù)據(jù)同步、控制臺、調(diào)度平臺、數(shù)據(jù)識別、數(shù)據(jù)脫敏是數(shù)據(jù)脫敏的幾大核心微服務(wù)模塊，相互協(xié)作完成配置中心業(yè)務(wù)功能，Nginx、注冊中心是輔助微服務(wù)之間進(jìn)行服務(wù)發(fā)現(xiàn)的模塊。
采用微服務(wù)架構(gòu)設(shè)計，架構(gòu)和部署（部署方式可以用容器思路來操作）都有一些復(fù)雜，但是每個服務(wù)職責(zé)單一，易于擴(kuò)展。
文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/11990.html
摘要：接下來我們以余額寶為例，重點(diǎn)剖析天弘基金在日志數(shù)據(jù)分析領(lǐng)域是如何突破的此前，天弘基金一直使用開源的日志方案，研發(fā)和運(yùn)維人員通過對日志數(shù)據(jù)進(jìn)行處理，使用日志文件進(jìn)行查詢檢索。 雙十一剛剛結(jié)束，其實(shí)最緊張的不是商鋪理貨，也不是網(wǎng)友緊盯大促商品準(zhǔn)備秒殺，而是網(wǎng)購幕后的運(yùn)維人員，他們最擔(dān)心：什么網(wǎng)絡(luò)中斷、應(yīng)用卡頓、響應(yīng)速度慢，服務(wù)器宕機(jī)……雙十一作為電商 IT 部門的頭等大事，大促前，運(yùn)維人員就需要...
摘要：華為云數(shù)據(jù)庫安全服務(wù)，簡稱，經(jīng)過華為內(nèi)部大規(guī)模實(shí)踐和廣泛邀請各行業(yè)企業(yè)試用后，已經(jīng)在今年上線華為云。華為數(shù)據(jù)庫安全服務(wù)能夠更加全面的解決前文提到的敏感數(shù)據(jù)泄露的問題。5月12日，第九屆中國數(shù)據(jù)庫技術(shù)大會（DTCC2018）在北京落下帷幕，縱觀三天的會議議程，當(dāng)前全球主要的數(shù)據(jù)庫例如Oracle，MySQL，SQL Server，PostgreSQL等紛紛亮相大會，來自國內(nèi)外互聯(lián)網(wǎng)、金融、教育...
摘要：阿里云成為唯一入選的中國產(chǎn)品。在阿里云的眾多產(chǎn)品中，和共同構(gòu)成了服務(wù)能力的核心。作為大數(shù)據(jù)能力賦能的重要手段，出現(xiàn)在了等阿里云專有云解決方案中。利用云計算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對外賦能。 1.前言 本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...
摘要：阿里云成為唯一入選的中國產(chǎn)品。在阿里云的眾多產(chǎn)品中，和共同構(gòu)成了服務(wù)能力的核心。作為大數(shù)據(jù)能力賦能的重要手段，出現(xiàn)在了等阿里云專有云解決方案中。利用云計算技術(shù)，互聯(lián)網(wǎng)公司得以快速的將自身的大數(shù)據(jù)處理能力對外賦能。 1.前言 本文基于Now Tech: Cloud Data Warehouse, Q1 2018 (Published: by Noel Yuhanna, March 13,...
閱讀 856·2021-10-25 09:48
閱讀 618·2021-08-23 09:45
閱讀 2510·2019-08-30 15:53
閱讀 1766·2019-08-30 12:45
閱讀 617·2019-08-29 17:21
閱讀 3429·2019-08-27 10:56
閱讀 2559·2019-08-26 13:48
閱讀 705·2019-08-26 12:24
