摘要:在分布式數(shù)據(jù)庫(kù)中,一份數(shù)據(jù)往往會(huì)存儲(chǔ)多份拷貝所謂冗余,或者現(xiàn)在,假設(shè)我們有一個(gè)服務(wù)器節(jié)點(diǎn),存有三個(gè)數(shù)據(jù)分別是,。
Riak 是什么
Riak 是一個(gè) erlang 開(kāi)發(fā)的開(kāi)源的分布式 key-value 數(shù)據(jù)庫(kù),
在 High Availability, Fault Tolerance, Scalability 方面表現(xiàn)優(yōu)異。
其實(shí)現(xiàn)受 Amazon Dynamodb 啟發(fā),是一個(gè)很有代表性的分布式數(shù)據(jù)庫(kù)。
Riak 集群是一個(gè)去中心化的集群。每個(gè)服務(wù)器節(jié)點(diǎn)都是平等的,可以自由地添加和刪除。
這使得 Riak 的故障轉(zhuǎn)移(Failure Over)和擴(kuò)展非常容易。
在 CAP 理論方面,Riak 可以自由地在 CP 和 AP 之間做平衡。
下面還是讓我們從簡(jiǎn)單的例子開(kāi)始,來(lái)理解下 Riak 的分布式數(shù)據(jù)庫(kù)模型,包括數(shù)據(jù)的存儲(chǔ),節(jié)點(diǎn)服務(wù)器的,CAP理論的關(guān)系等。
首先讓我們先定義一個(gè)概念:N,表示數(shù)據(jù)的"份數(shù)"。在分布式數(shù)據(jù)庫(kù)中,一份數(shù)據(jù)往往會(huì)存儲(chǔ)多份拷貝(所謂冗余,或者 replications)
現(xiàn)在,假設(shè)我們有一個(gè)服務(wù)器節(jié)點(diǎn)(node1),存有三個(gè)數(shù)據(jù)(key分別是 P0, P1, P2),N = 1。那么可以想象,這三個(gè)數(shù)據(jù)都是存放在 node1 中。如下圖所示:
當(dāng) N = 2 時(shí),假設(shè) P0, P1, P2 的冗余數(shù)據(jù)分別是 R0, R1, R2, 那么可以想象,這6個(gè)數(shù)據(jù)也應(yīng)該都存儲(chǔ)在 node1 中,如 下圖所示:
這時(shí)候,讓我們把服務(wù)器節(jié)點(diǎn)增加到2個(gè)(node1, node2),那么可以想象,6個(gè)數(shù)據(jù)有很多中組合方式,例如下面這兩種:
也許你發(fā)現(xiàn)了,他們有個(gè)共同點(diǎn):同一個(gè)數(shù)據(jù)的冗余數(shù)據(jù)放在不同的服務(wù)器節(jié)點(diǎn)中。這樣就算一個(gè)節(jié)點(diǎn)刪除(當(dāng)機(jī))了,集群的數(shù)據(jù)仍然能保證完整性。
這為故障轉(zhuǎn)移(Failure over)提供了基礎(chǔ)。
那么現(xiàn)在的問(wèn)題來(lái)了,是否有什么科學(xué)(公式化)的方式來(lái)找到分配這些數(shù)據(jù)的組合(之一)呢?
Riak RingRiak 通過(guò)被稱(chēng)作 Riak Ring 的東西來(lái)解決這個(gè)問(wèn)題。
首先,Riak 將所有的 key 通過(guò) hash 函數(shù)映射到一個(gè) 160 bit 的整數(shù)空間中。
即一個(gè) key 對(duì)應(yīng)著一個(gè) 0 ~ 2^160 - 1 的整數(shù)。
然后,Riak 引入了 vnode(虛擬節(jié)點(diǎn)) 的概念,vnode 個(gè)數(shù)是可以配置的,默認(rèn)是 64。
160 bit 的整數(shù)會(huì)均勻的分布到所有的 vnode。
最后,這些 vnode 會(huì)"均勻地"分配到 物理節(jié)點(diǎn)上。具體的分配的方法很巧妙,通過(guò) Riak Ring 這樣的東西。
下面我們用一幅圖來(lái)具體解釋下 Riak Ring。圖中,假設(shè) vnode 32 個(gè),服務(wù)器節(jié)點(diǎn) 4個(gè)。
讓我們把 160 bit 想像成一個(gè)環(huán),環(huán)上的一小段代表一個(gè) vnode。四種顏色分別代表 4 個(gè)服務(wù)器節(jié)點(diǎn)。
2^160 個(gè)整數(shù)按照從小到大的順序均勻地分布到 32 個(gè) vnode 中,例如 2^159 是第 17 個(gè) vnode 上的第一個(gè)整數(shù)。
32 個(gè) vnode 按照從小到大的順序依次被分配到 4 個(gè)服務(wù)器節(jié)點(diǎn)上。即:
1, 5, 9...29 vnode 分配給第1個(gè)服務(wù)器節(jié)點(diǎn)(node1)
2, 6, 10...30 vnode 分配給第1個(gè)服務(wù)器節(jié)點(diǎn)(node2)
3, 7, 11...31 vnode 分配給第1個(gè)服務(wù)器節(jié)點(diǎn)(node3)
4, 8, 12...32 vnode 分配給第1個(gè)服務(wù)器節(jié)點(diǎn)(node4)
現(xiàn)在還剩下一個(gè)問(wèn)題:
冗余數(shù)據(jù)的存儲(chǔ)
我們先假設(shè) N = 3(即有2份冗余存儲(chǔ))
假設(shè)要存儲(chǔ)的數(shù)據(jù),key 為 test-key ,根據(jù) Riak Ring 算出來(lái),應(yīng)該存儲(chǔ)在 vnode6(即:node2)上。
那么 拷貝1 存儲(chǔ)在 vnode7(即:node3)上,拷貝2 存儲(chǔ)在 vnode8(即:node4)上。
所以 Riak 對(duì)于冗余數(shù)據(jù)的存儲(chǔ)策略是:將冗余數(shù)據(jù)依次存到下一個(gè)vnode中。
文章版權(quán)歸作者所有,未經(jīng)允許請(qǐng)勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請(qǐng)注明本文地址:http://systransis.cn/yun/17459.html
摘要:和上一篇博文一樣,這次我們依舊以為案例,來(lái)分析理論在一個(gè)實(shí)際的分布式數(shù)據(jù)庫(kù)中的作用。這次我們來(lái)看看,在這樣的分布式數(shù)據(jù)庫(kù)中,理論是怎么起作用的。需要最終包含正確的值的服務(wù)器節(jié)點(diǎn)總數(shù)正確的冗余數(shù)據(jù)拷貝數(shù)。其實(shí)這就是關(guān)系型數(shù)據(jù)庫(kù)的做法。 和上一篇博文一樣,這次我們依舊以 Riak 為案例,來(lái)分析 CAP 理論在一個(gè)實(shí)際的分布式數(shù)據(jù)庫(kù)中的作用。 如果你還不熟悉 CAP,可以參考我之前的兩篇博...
閱讀 2415·2021-10-14 09:43
閱讀 2444·2021-09-09 09:34
閱讀 1609·2019-08-30 12:57
閱讀 1209·2019-08-29 14:16
閱讀 729·2019-08-26 12:13
閱讀 3210·2019-08-26 11:45
閱讀 2294·2019-08-23 16:18
閱讀 2671·2019-08-23 15:27