摘要：組件用于收集的，并準(zhǔn)實(shí)時(shí)同步給下游，如等。為方便用戶和開(kāi)發(fā)者更加深入理解和使用組件，以及基于組件做二次開(kāi)發(fā)用于更多的業(yè)務(wù)場(chǎng)景，我們決定今天正式開(kāi)源組件。近期我們將發(fā)布源碼閱讀指南，敬請(qǐng)期待。

TiDB Binlog 組件用于收集 TiDB 的 binlog，并準(zhǔn)實(shí)時(shí)同步給下游，如：TiDB/MySQL等。該組件在功能上類似于 MySQL 的主從復(fù)制，會(huì)收集各個(gè) TiDB 實(shí)例產(chǎn)生的 binlog，并按事務(wù)提交的時(shí)間排序，全局有序的將數(shù)據(jù)同步至下游。利用 TiDB Binlog 可以實(shí)現(xiàn)數(shù)據(jù)準(zhǔn)實(shí)時(shí)同步到其他數(shù)據(jù)庫(kù)，以及 TiDB 數(shù)據(jù)準(zhǔn)實(shí)時(shí)的備份與恢復(fù)。TiDB Binlog 作為 TiDB 的核心組件之一，已經(jīng)在上百家用戶的生產(chǎn)環(huán)境中長(zhǎng)時(shí)間穩(wěn)定運(yùn)行。

為方便用戶和開(kāi)發(fā)者更加深入理解和使用 TiDB Binlog 組件，以及基于 TiDB Binlog 組件做二次開(kāi)發(fā)用于更多的業(yè)務(wù)場(chǎng)景， 我們決定今天正式開(kāi)源 TiDB Binlog 組件。

準(zhǔn)實(shí)時(shí)數(shù)據(jù)同步：同步 TiDB 數(shù)據(jù)到其他數(shù)據(jù)庫(kù)或消息隊(duì)列（如TiDB/MySQL/MariaDB/Kafka）。

準(zhǔn)實(shí)時(shí)備份和恢復(fù)：增量備份 TiDB 集群數(shù)據(jù)到外部系統(tǒng)，利用備份的數(shù)據(jù)在系統(tǒng)故障或者其他場(chǎng)景時(shí)可將數(shù)據(jù)恢復(fù)到任意時(shí)間點(diǎn)。

支持類似 MySQL ROW 復(fù)制模式。

準(zhǔn)實(shí)時(shí)并按事務(wù)提交的時(shí)間順序?qū)?shù)據(jù)同步至下游。

分布式架構(gòu)設(shè)計(jì)，支持水平彈性擴(kuò)容和服務(wù)高可用。

數(shù)據(jù)高可靠，系統(tǒng)實(shí)時(shí)將數(shù)據(jù)持久化到本地磁盤。

支持多種輸出方式，如下：

文件：系統(tǒng)準(zhǔn)實(shí)時(shí)將 binlog 寫入文件系統(tǒng)作為增量備份，利用此增量備份文件可將數(shù)據(jù)恢復(fù)到任意時(shí)間點(diǎn)。

消息隊(duì)列：按照 binlog slave protocol 輸出到 Kafka。

下游目標(biāo)數(shù)據(jù)庫(kù)：TiDB/MySQL/MariaDB。

TiDB Binlog 源代碼

TiDB Binlog 使用手冊(cè)

深入理解 TiDB Binlog 組件實(shí)現(xiàn)原理

定制輸出方式或者輸出到其他下游存儲(chǔ)系統(tǒng)

歡迎大家一起參與 TiDB Binlog 的設(shè)計(jì)、研發(fā)、測(cè)試共同推進(jìn) TiDB Binlog 走向更成熟，更穩(wěn)定。近期我們將發(fā)布 TiDB Binlog 源碼閱讀指南，敬請(qǐng)期待。