Syncer精品文章

• 

  貝殼金服 TiDB 在線跨機(jī)房遷移實(shí)踐

  ...目背景 貝殼金服數(shù)據(jù)中臺(tái)使用 TiDB 和 TiSpark 平臺(tái)，基于 Syncer 將業(yè)務(wù)數(shù)據(jù)實(shí)時(shí)從 MySQL 備庫(kù)抽取到 TiDB 中，并通過(guò) TiSpark 對(duì) TiDB 中的數(shù)據(jù)進(jìn)行數(shù)據(jù)分析處理，供上游業(yè)務(wù)消費(fèi)，現(xiàn)已服務(wù)于 70 多名數(shù)據(jù)開(kāi)發(fā)人員?，F(xiàn)有集群已經(jīng)使用 ...

  Ashin 2019-06-25 19:13 評(píng)論0 收藏0
• 

  劉寅：TiDB 工具鏈和生態(tài)

  ...，其實(shí)這里面有一些大家已經(jīng)接觸和使用過(guò)了。 首先是 Syncer，這個(gè)小工具在很多生產(chǎn)環(huán)境上已經(jīng)用起來(lái)了。它是一個(gè) MySQL 到 TiDB 間的實(shí)時(shí)同步工具。原理很簡(jiǎn)單，就是把自己偽裝成一個(gè) MySQL 的 Slave 庫(kù)，從上游 MySQL 里面把 binlo...

  whjin 2019-06-25 18:36 評(píng)論0 收藏0
• 

  TiDB Ecosystem Tools 原理解讀系列（三）TiDB-DM 架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理

  ...于特定的數(shù)據(jù)同步子任務(wù)，主要由 dumper、loader、relay 與 syncer（binlog replication）等數(shù)據(jù)同步處理單元執(zhí)行具體的數(shù)據(jù)同步操作。 對(duì)于全量數(shù)據(jù)遷移，DM 首先使用 dumper 單元從上游 MySQL 中將表結(jié)構(gòu)與數(shù)據(jù)導(dǎo)出成 SQL 文件；然后使用...

  legendaryedu 2019-06-25 19:00 評(píng)論0 收藏0
• 

  TiDB 在小米的應(yīng)用實(shí)踐

  ...的工具 TiDB Lightning。 對(duì)于增量備份可以使用 TiDB 提供的 Syncer （新版已經(jīng)更名為 DM - Data Migration）來(lái)保證數(shù)據(jù)同步。 Syncer 結(jié)構(gòu)如圖 6，主要依靠各種 Rule 來(lái)實(shí)現(xiàn)不同的過(guò)濾、合并效果，一個(gè)同步源對(duì)應(yīng)一個(gè) Syncer 進(jìn)程，同步 Shard...

  mingzhong 2019-06-25 18:56 評(píng)論0 收藏0
• 

  剝開(kāi)比原看代碼05：如何從比原節(jié)點(diǎn)拿到區(qū)塊數(shù)據(jù)？

  ...func (sm *SyncManager) Start() { go sm.netStart() // ... go sm.syncer() } 注意sm.netStart()，我們?cè)谝黄薪⑦B接并驗(yàn)證身份的操作，就是在它里面完成的。而這次的這個(gè)問(wèn)題，是在下面的sm.syncer()中完成的。 另外注意，由于這兩個(gè)函數(shù)...

  233jl 2019-06-27 18:32 評(píng)論0 收藏0
• 

  TiDB 在愛(ài)奇藝的應(yīng)用及實(shí)踐

  ...化了業(yè)務(wù)代碼。 在部署增量同步的過(guò)程中使用了官方的 Syncer 工具。Syncer 支持通過(guò)通配符的方式將多源多表數(shù)據(jù)匯聚到一個(gè)表當(dāng)中，是個(gè)實(shí)用的功能，大大簡(jiǎn)化了我們的增量同步工作。目前的 Syncer 工具還不支持在 Grafana 中展示...

  jsbintask 2019-06-25 18:49 評(píng)論0 收藏0