數(shù)據(jù)庫的分庫分表

elarity 發(fā)布于2019-08-16 18:37 / 1002人閱讀

摘要：如成千上萬的螞蟻完成一項(xiàng)搬運(yùn)工作縱向擴(kuò)展又叫垂直擴(kuò)展，擴(kuò)展一個(gè)點(diǎn)的能力支撐更大的請(qǐng)求。如利用個(gè)人的能力，如蜘蛛俠逼停火車參考分庫分表的基本思想

一概念:什么是分庫分表(sharding)

1 將集中于單一節(jié)點(diǎn)的數(shù)據(jù)拆分并分別存儲(chǔ)到多個(gè)數(shù)據(jù)庫或表,稱為分庫分表
2 數(shù)據(jù)切分分為兩種方式,垂直切分和水平切分
3 分庫:因?yàn)楸矶鄬?dǎo)致數(shù)據(jù)過多使用垂直切分,垂直切分就是根據(jù)業(yè)務(wù)的耦合性,將關(guān)聯(lián)度低的不同表存儲(chǔ)在不同的數(shù)據(jù)庫,按照業(yè)務(wù)分離進(jìn)行獨(dú)立存儲(chǔ)
4 分表:每張表的數(shù)據(jù)非常多適合使用水平切分,即把表的數(shù)據(jù)按某種規(guī)則切分到多個(gè)數(shù)據(jù)庫上

二用途:分庫分表用來解決什么問題

數(shù)據(jù)庫面對(duì)海量數(shù)據(jù)由于數(shù)據(jù)量過大導(dǎo)致的性能問題

三用例:具體的使用用例,解決了什么典型問題

Sharding的基本思想就要把一個(gè)數(shù)據(jù)庫切分成多個(gè)部分方法哦不同的數(shù)據(jù)庫server上,從而緩解單一數(shù)據(jù)庫的性能問題,

中間件

當(dāng)當(dāng) sharding-jdbc

蘑菇街 TSharding

sharding

TDDL Smart Client的方式 -- 淘寶

Atlas -- 360

alibaba.cobar 阿里巴巴B2B

MyCat 基于阿里開源的Cobar

Oceanus 58同城

OneProxy 支付寶首席架構(gòu)師樓方鑫

vitess 谷歌

分庫分表后會(huì)遇到什么問題?

事務(wù)問題方案一,使用分布式事務(wù). 方案二, 由應(yīng)用程序和數(shù)據(jù)庫共同控制

跨節(jié)點(diǎn)Join的問題方案,兩次查詢第一次找出關(guān)聯(lián)數(shù)據(jù)的ID,第二次根據(jù)這些ID獲得關(guān)聯(lián)數(shù)據(jù)

跨節(jié)點(diǎn)的count,order by,group by以及聚合函數(shù)問題方案,并行在各節(jié)點(diǎn)上查詢?nèi)缓蠛喜⒔Y(jié)果

數(shù)據(jù)遷移,容量規(guī)劃,擴(kuò)容問題

       來自淘寶綜合業(yè)務(wù)平臺(tái)團(tuán)隊(duì)，它利用對(duì)2的倍數(shù)取余具有向前兼容的特性（如對(duì)4取余得1的數(shù)對(duì)2取余也是1）來分配數(shù)據(jù)，避免了行級(jí)別的數(shù)據(jù)遷移，但是依然需要進(jìn)行表級(jí)別的遷移，同時(shí)對(duì)擴(kuò)容規(guī)模和分表數(shù)量都有限制?？偟脕碚f，這些方案都不是十分的理想，多多少少都存在一些缺點(diǎn)，這也從一個(gè)側(cè)面反映出了Sharding擴(kuò)容的難度

ID問題

UUID , 結(jié)合數(shù)據(jù)庫維護(hù)一個(gè)Sequence , [Twitter的分布式自增ID算法Snowflake][1]

跨分片的排序分頁方案,限制能查看的頁數(shù),一定要查看可縮小范圍重新查看

分庫策略根據(jù)數(shù)值取模

分庫數(shù)量初次建議 4 - 8

路由透明

使用框架還是自主研發(fā)

擴(kuò)容

  //TODO

四其他解決方案

主從  讀寫分離  緩存

五熟悉原理,重新實(shí)現(xiàn)

//TODO

備注

1 , 橫向擴(kuò)展也叫水平擴(kuò)展，用更多的節(jié)點(diǎn)支撐更大量的請(qǐng)求。如成千上萬的螞蟻完成一項(xiàng)搬運(yùn)工作
2 , 縱向擴(kuò)展又叫垂直擴(kuò)展，擴(kuò)展一個(gè)點(diǎn)的能力支撐更大的請(qǐng)求。如利用1個(gè)人的能力，如蜘蛛俠逼?；疖?br> 3 , 參考分庫分表的基本思想