1、數(shù)據(jù)分散在不同的數(shù)據(jù)庫實例上，形成獨立的數(shù)據(jù)孤島，難以實現(xiàn)數(shù)據(jù)的聚合分析。傳統(tǒng)的通過MySQL主從關(guān)系同步數(shù)據(jù)的方式，在MySQL5.7版本之前無法建立多對一的增量同步關(guān)系。MySQL5.7版本雖然推出了多源復(fù)制功能，但功能單一，無法進行不同庫表間的映射，且配置過" />

成人国产在线小视频_日韩寡妇人妻调教在线播放_色成人www永久在线观看_2018国产精品久久_亚洲欧美高清在线30p_亚洲少妇综合一区_黄色在线播放国产_亚洲另类技巧小说校园_国产主播xx日韩_a级毛片在线免费

資訊專欄INFORMATION COLUMN

UDTS上線數(shù)據(jù)集成服務(wù)，匯聚多源數(shù)據(jù)幫助企業(yè)高效分析決策

Tecode / 2225人閱讀

摘要：推出數(shù)據(jù)集成服務(wù)，可輕松幫助用戶完成多源聚合。數(shù)據(jù)集成服務(wù)案例數(shù)據(jù)脫敏某教育企業(yè)，使用數(shù)據(jù)集成服務(wù)，將數(shù)據(jù)脫敏處理后，再交由內(nèi)部其它部進行數(shù)據(jù)分析，提取數(shù)據(jù)的有效價值。既避免了敏感數(shù)據(jù)泄漏風(fēng)險，又幫助企業(yè)更快更精準(zhǔn)的決策。

背景

由于不同業(yè)務(wù)的數(shù)據(jù)存儲和應(yīng)用需求不同，企業(yè)通常會將不同業(yè)務(wù)產(chǎn)生的數(shù)據(jù)分別存儲在獨立的數(shù)據(jù)庫中。隨著業(yè)務(wù)架構(gòu)的不斷調(diào)整，以及受開發(fā)過程的影響，原先分開存儲的數(shù)據(jù)庫逐漸暴露出一些問題：

1、數(shù)據(jù)分散在不同的數(shù)據(jù)庫實例上，形成獨立的數(shù)據(jù)孤島，難以實現(xiàn)數(shù)據(jù)的聚合分析。傳統(tǒng)的通過MySQL主從關(guān)系同步數(shù)據(jù)的方式，在MySQL5.7版本之前無法建立多對一的增量同步關(guān)系。MySQL5.7版本雖然推出了多源復(fù)制功能，但功能單一，無法進行不同庫表間的映射，且配置過程復(fù)雜，當(dāng)源數(shù)量較多時容易出錯。
2、數(shù)據(jù)庫分庫分表之后存在多個數(shù)據(jù)庫實例，難以再合并到統(tǒng)一的庫表中。傳統(tǒng)的數(shù)據(jù)庫遷移工具無法處理合并過程中產(chǎn)生的數(shù)據(jù)沖突問題。
3、數(shù)據(jù)量越來越大，在不影響業(yè)務(wù)的前提下很難調(diào)整數(shù)據(jù)庫架構(gòu)。在線修改字段類型或者字段名，要么受限于數(shù)據(jù)庫功能，要么可能給業(yè)務(wù)帶來較大影響而難以調(diào)整。

為此，UDTS在數(shù)據(jù)傳輸?shù)幕A(chǔ)上，增加了數(shù)據(jù)集成服務(wù)，可實現(xiàn)多個數(shù)據(jù)源合并，打通數(shù)據(jù)孤島以獲得數(shù)據(jù)的統(tǒng)一視圖，方便業(yè)務(wù)進行數(shù)據(jù)分析決策; 助力企業(yè)靈活調(diào)整業(yè)務(wù)架構(gòu)，優(yōu)化現(xiàn)有的數(shù)據(jù)庫服務(wù); 快速實現(xiàn)分庫分表合并、自定義沖突處理策略、方便業(yè)務(wù)構(gòu)建數(shù)據(jù)看板。

image.png

一站式數(shù)據(jù)集成解決方案

多源數(shù)據(jù)聚合

針對數(shù)據(jù)庫分散，難以聚合的問題。UDTS推出數(shù)據(jù)集成服務(wù)，可輕松幫助用戶完成多源聚合。單個任務(wù)可支持多達 10 個數(shù)據(jù)源聚合，同時可支持不同類型網(wǎng)絡(luò)環(huán)境下的數(shù)據(jù)源，包括外網(wǎng)、內(nèi)網(wǎng)以及專線。

舉例: 假設(shè)現(xiàn)在有兩個數(shù)據(jù)源，分別是 10.10.10.100:3306 和 10.10.10.120:3306 ，聚合模式如下圖所示 ：

image.png

考慮到大多數(shù)據(jù)源都承載著在線業(yè)務(wù)，為了避免多源聚合對線上業(yè)務(wù)的影響，UDTS數(shù)據(jù)集成服務(wù)還支持針對每個數(shù)據(jù)源獨立限速。

數(shù)據(jù)庫合庫合表

數(shù)據(jù)庫合庫合表通常存在以下難點:

  • 數(shù)據(jù)庫實例分散；
  • 數(shù)據(jù)可能存在沖突；
  • 對不同的數(shù)據(jù)庫需要不同的數(shù)據(jù)沖突解決方法。

針對以上這些問題，UDTS數(shù)據(jù)集成服務(wù)在多源聚合的基礎(chǔ)上，提供以下方式解決：

1、自定義基礎(chǔ)數(shù)據(jù)

  • 對于每個數(shù)據(jù)源，都可指定“是否保留目標(biāo)庫的原數(shù)據(jù)”，如果選擇“是”，在導(dǎo)入數(shù)據(jù)表時，會保留原有數(shù)據(jù)庫表定義及數(shù)據(jù)。
  • 而如果選擇了不保留數(shù)據(jù)，則在導(dǎo)入數(shù)據(jù)時，會根據(jù)映射規(guī)則先清理對應(yīng)的表及其數(shù)據(jù)。

image.png

  1. 自動解決數(shù)據(jù)沖突

在創(chuàng)建任務(wù)時可對每個數(shù)據(jù)源獨立定義數(shù)據(jù)沖突解決策略，在數(shù)據(jù)集成時，可根據(jù)自己的數(shù)據(jù)沖突解決策略來處理沖突數(shù)據(jù)。當(dāng)前提供“保留”與“替換”兩種策略。

  • 保留: 當(dāng)數(shù)據(jù)發(fā)生沖突時，保留目標(biāo)庫中的原數(shù)據(jù)，而丟棄當(dāng)前數(shù)據(jù)。

當(dāng)使用保留規(guī)則時，導(dǎo)入數(shù)據(jù)使用 INSERT IGNORE INTO 比如 INSERT IGNORE INTO table VALUES(1 "name" 18) ，當(dāng)有重復(fù)數(shù)據(jù)時，保留原有的數(shù)據(jù)，新插入的數(shù)據(jù)會被忽略。

  • 替換: 當(dāng)發(fā)生數(shù)據(jù)沖突時，使用新的數(shù)據(jù)替換目標(biāo)庫中原來的數(shù)據(jù)。

當(dāng)使用替換規(guī)則時，導(dǎo)入數(shù)據(jù)使用 REPLACE INTO ，比如 REPLACE INTO table VALUES(1 "name" 18) ，老的數(shù)據(jù)將會被新數(shù)據(jù)覆蓋，集成任務(wù)中有多個子任務(wù)(多個源往同一個目標(biāo)數(shù)據(jù)庫同步)時，需要注意順序。
image.png

數(shù)據(jù)庫架構(gòu)調(diào)整

在開發(fā)的過程中，難免會遇到數(shù)據(jù)庫改名、表變更等問題，但等到數(shù)據(jù)庫架構(gòu)要調(diào)整的時候，才發(fā)現(xiàn)累積了一堆“陳年舊債”。通過UDTS數(shù)據(jù)集成服務(wù)的全量+增量，不僅可以將全量數(shù)據(jù)按映射規(guī)則遷移到目標(biāo)庫中，還可動態(tài)實現(xiàn)增量數(shù)據(jù)的庫表名稱的映射。
image.png

避免用戶對數(shù)據(jù)源鎖庫鎖表的擔(dān)憂，UDTS數(shù)據(jù)集成服務(wù)還提供了No Lock模式，在此模式下數(shù)據(jù)集成服務(wù)運行的過程中不會對源庫表進行任何的鎖操作。

數(shù)據(jù)集成服務(wù)案例

1、數(shù)據(jù)脫敏

某教育企業(yè)，使用UDTS數(shù)據(jù)集成服務(wù)，將數(shù)據(jù)脫敏處理后，再交由內(nèi)部其它部?進行數(shù)據(jù)分析，提取數(shù)據(jù)的有效價值。既避免了敏感數(shù)據(jù)泄漏風(fēng)險，又幫助企業(yè)更快、更精準(zhǔn)的決策。

image.png

2、數(shù)據(jù)合并

某金融企業(yè)使用UDTS數(shù)據(jù)集成服務(wù)，將前期拆分后的數(shù)據(jù)庫合并，方便進行后續(xù)的業(yè)務(wù)開發(fā)和分析。
image.png

3、架構(gòu)調(diào)整

某交友軟件為了適應(yīng)新的架構(gòu)，通過UDTS數(shù)據(jù)集成服務(wù)對數(shù)據(jù)庫 db 和 table 進行了重新調(diào)整，適應(yīng)了新的環(huán)境。

架構(gòu)的調(diào)整不僅僅是對現(xiàn)有數(shù)據(jù)庫的改名，還依賴于存量數(shù)據(jù)的變更、增量數(shù)據(jù)的同步、業(yè)務(wù)的回滾等。
image.png

總結(jié)

總的來說，UDTS數(shù)據(jù)集成服務(wù)帶給企業(yè)的價值主要體現(xiàn)在以下三個方面：

  • 多源數(shù)據(jù)聚合，數(shù)據(jù)合并，構(gòu)建 BI數(shù)據(jù)看板，提取數(shù)據(jù)價值；
  • 同構(gòu)數(shù)據(jù)整合，自動處理數(shù)據(jù)沖突。
  • 數(shù)據(jù)庫架構(gòu)在線調(diào)整，提升業(yè)務(wù)整體性能。

UDTS數(shù)據(jù)集成服務(wù)目前正在免費公測期，歡迎前往控制臺開啟體驗～

文章版權(quán)歸作者所有，未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為，您可以聯(lián)系管理員刪除。

轉(zhuǎn)載請注明本文地址：http://systransis.cn/yun/126184.html

相關(guān)文章

  • UCloud數(shù)據(jù)遷移方案UDTS：在線業(yè)務(wù)數(shù)據(jù)，一鍵平滑遷移

    摘要：自上線以來，總遷移已超過級數(shù)據(jù)量。支持通過內(nèi)網(wǎng)專線以及外網(wǎng)遷移數(shù)據(jù)。全量遷移在全球多地地域部署服務(wù)，根據(jù)源目位置來就近選擇運行位置，保證遷移效率。數(shù)據(jù)庫是公司核心資產(chǎn)的重要存儲基座，面對用戶不同場景，數(shù)據(jù)也需跨數(shù)據(jù)庫遷移。如用戶業(yè)務(wù)上云、多云災(zāi)備下的數(shù)據(jù)同步、不同數(shù)據(jù)源的聚合分析等，都需數(shù)據(jù)跨數(shù)據(jù)庫的遷移。UCloud數(shù)據(jù)遷移方案UDTSUCloud數(shù)據(jù)傳輸服務(wù)UDTS(UCloud Dat...

    Tecode 評論0 收藏0

  • U產(chǎn)品快報 | UCloud 智能大數(shù)據(jù)平臺USDP公測、快杰裸金屬服務(wù)器上線等重要更新

    摘要：幫助企業(yè)快速搭建和使用大數(shù)據(jù)平臺，降低大數(shù)據(jù)開發(fā)運維成本。發(fā)布范圍北京二可用區(qū)灰度中。機型快杰版的數(shù)據(jù)庫實例，采用業(yè)內(nèi)主流的計算存儲分離架構(gòu)計算層使用高性能快杰云主機，存儲層采用超高性能云盤。UCloud PyPI私有源上線PyPI是Python官方的第三方庫的倉庫，為解決默認官方源在國內(nèi)的訪問速度受限，并發(fā)請求受限，經(jīng)常出現(xiàn)丟包、超時等問題，UCloud 近期上線了PyPI私有源。PyPI...

    Tecode 評論0 收藏0

  • 小程序上云，有點猛

    摘要：另外小程序云應(yīng)用有一套高可用架構(gòu)，提供監(jiān)控預(yù)警能力。自主可控小程序云應(yīng)用提供服務(wù)器，開發(fā)者可以擁有登錄或重啟，也可以修改密碼。也就是說，服務(wù)器是由小程序云應(yīng)用提供，但使用權(quán)歸開發(fā)者?！　∏安痪糜幸粋€朋友問我，到底是做什么端的小程序比較好？ 　　我只問了一句，你的產(chǎn)品里是否涉及錢和服務(wù)，如果涉及這兩者，建議你選擇支付寶小程序。你可以通過其他小程序玩裂變，但如果你想做服務(wù)和商業(yè)，一定要考慮支付寶...

    jsdt 評論0 收藏0

  • 五分鐘教你建立有效的電子化客戶關(guān)系管理

    摘要：于是在這樣的背景下，客戶關(guān)系管理系統(tǒng)出現(xiàn)了?？梢哉f，有了，企業(yè)就有了一套完整的客戶管理工具，也相當(dāng)于有了一個數(shù)據(jù)分析的工具。 關(guān)于客戶，越來越多的企業(yè)覺得有必要對面向客戶的各項信息和活動進行集成，組建以客戶為中心的企業(yè)，實現(xiàn)對客戶活動的全面管理。于是在這樣的背景下，CRM（客戶關(guān)系管理）系統(tǒng)出現(xiàn)了。 而對于銷售行業(yè)來說，一套好用的CRM系統(tǒng)更是可以發(fā)揮出不可估量的價值。 CRM系統(tǒng)對于...

    forrest23 評論0 收藏0

  • 安防如何運用云計算建設(shè)智慧城市

    摘要：根據(jù)的預(yù)計截至年，全球云計算市場規(guī)模將達到億美元。雙方將積極推進云計算大數(shù)據(jù)等新一代信息技術(shù)在各領(lǐng)域?qū)崿F(xiàn)深入應(yīng)用，加快湖南省智慧城市建設(shè)。從目前市場發(fā)展看，很多智能安防系統(tǒng)都具備了云計算的架構(gòu)和運算能力，在公安交通零售智慧城市等需要大根據(jù)Bain&Company的預(yù)計：截至2020年，全球云計算市場規(guī)模將達到3900億美元。與2015年的1800億美元規(guī)模相比，意味著該市場年均復(fù)合增長率將達...

    Neilyo 評論0 收藏0

發(fā)表評論

0條評論

最新活動
閱讀需要支付1元查看
<