摘要:原文鏈接其他分布式系列快捷鍵分布式系列為什么需要分布式以及分布式的業(yè)務(wù)需求分布式系列適合做分布式嗎分布式系列數(shù)據(jù)庫自增機(jī)制適合做分布式嗎分布式系列集群實(shí)現(xiàn)的分布式適合做分布式嗎分布式系列的雪法算法適合做分布式嗎大佬網(wǎng)址
今天我們來講一下Redis集群實(shí)現(xiàn)的分布式ID的過程,總結(jié)一下Redis集群是否適合做分布式ID?
首先是項(xiàng)目地址:https://github.com/maqiankun/...
關(guān)于Redis集群生成分布式ID,這里要先了解redis使用lua腳本的時候的EVAL,EVALSHA命令:https://www.runoob.com/redis/...
https://www.runoob.com/redis/...
這里的分布式id我們分成3部分組成:毫秒級時間,redis集群的第多少個節(jié)點(diǎn),每一個redis節(jié)點(diǎn)在每一毫秒的自增序列值
然后因?yàn)閣indow是64位的,然后整數(shù)的時候第一位必須是0,所以最大的數(shù)值就是63位的111111111111111111111111111111111111111111111111111111111111111,這里呢,我們分出來41位作為毫秒,然后12位作為redis節(jié)點(diǎn)的數(shù)量,然后10位做成redis節(jié)點(diǎn)在每一毫秒的自增序列值
41位的二進(jìn)制11111111111111111111111111111111111111111轉(zhuǎn)換成10進(jìn)制的毫秒就是2199023255551,然后我們把 2199023255551轉(zhuǎn)換成時間就是2039-09-07,也就是說可以用20年的
然后12位作為redis節(jié)點(diǎn),所以最多就是12位的111111111111,也就是最多可以支持4095個redis節(jié)點(diǎn),
然后10位的redis每一個節(jié)點(diǎn)自增序列值,,這里最多就是10位的1111111111,也就是說每一個redis節(jié)點(diǎn)可以每一毫秒可以最多生成1023個不重復(fù)id值
然后我們使用java代碼來講解這個原理,下面的1565165536640L是一個毫秒值,然后我們的的redis節(jié)點(diǎn)設(shè)置成53,然后我們設(shè)置了兩個不同的自增序列值,分別是1和1023,下面的結(jié)果展示的就是在1565165536640L這一毫秒里面,53號redis節(jié)點(diǎn)生成了兩個不同的分布式id值
package io.github.hengyunabc.redis; import java.text.SimpleDateFormat; import java.util.Date; public class Test { public static void main(String[] args) { long buildId = buildId(1565165536640L, 53, 1); System.out.println("分布式id是:"+buildId); long buildIdLast = buildId(1565165536640L, 53, 1023); System.out.println("分布式id是:"+buildIdLast); } public static long buildId(long miliSecond, long shardId, long seq) { return (miliSecond << (12 + 10)) + (shardId << 10) + seq; } } public class Test { public static void main(String[] args) { long buildId = buildId(1565165536640L, 53, 1); System.out.println("分布式id是:"+buildId); long buildIdLast = buildId(1565165536640L, 53, 1023); System.out.println("分布式id是:"+buildIdLast); } public static long buildId(long miliSecond, long shardId, long seq) { return (miliSecond << (12 + 10)) + (shardId << 10) + seq; } }
結(jié)果如下所示
分布式id是:6564780070991352833 分布式id是:6564780070991353855
那么有人要說了,你這也不符合分布式id的設(shè)置啊,完全沒有可讀性啊,這里我們可以使用下面的方式來獲取這個分布式id的生成毫秒時間值,
package io.github.hengyunabc.redis; import java.text.SimpleDateFormat; import java.util.Date; public class Test { public static void main(String[] args) { long buildId = buildId(1565165536640L, 53, 1); parseId(buildId); long buildIdLast = buildId(1565165536640L, 53, 1023); parseId(buildIdLast); } public static long buildId(long miliSecond, long shardId, long seq) { return (miliSecond << (12 + 10)) + (shardId << 10) + seq; } public static void parseId(long id) { long miliSecond = id >>> 22; long shardId = (id & (0xFFF << 10)) >> 10; System.err.println("分布式id-"+id+"生成的時間是:"+new SimpleDateFormat("yyyy-MM-dd").format(new Date(miliSecond))); System.err.println("分布式id-"+id+"在第"+shardId+"號redis節(jié)點(diǎn)生成"); } }
這樣不就ok了,哈哈。
分布式id-6564780070991352833生成的時間是:2019-08-07 分布式id-6564780070991352833在第53號redis節(jié)點(diǎn)生成 分布式id-6564780070991353855生成的時間是:2019-08-07 分布式id-6564780070991353855在第53號redis節(jié)點(diǎn)生成實(shí)現(xiàn)集群版的redis的分布式id創(chuàng)建
此時我的分布式redis集群的端口分別是6380,6381
首先是生成Evalsha命令安全sha1 校驗(yàn)碼,生成過程如下,
首先是生成6380端口對應(yīng)的安全sha1 校驗(yàn)碼,首先進(jìn)入到redis的bin目錄里面,然后執(zhí)行下面的命令下載lua腳本
wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node1.lua
然后執(zhí)行下面的命令,生成6380端口對應(yīng)的安全sha1 校驗(yàn)碼,此時看到是be6d4e21e9113bf8af47ce72f3da18e00580d402
./redis-cli -p 6380 script load "$(cat redis-script-node1.lua)"
首先是生成6381端口對應(yīng)的安全sha1 校驗(yàn)碼,首先進(jìn)入到redis的bin目錄里面,然后執(zhí)行下面的命令下載lua腳本
wget https://github.com/maqiankun/distributed-id-redis-generator/blob/master/redis-script-node2.lua
然后執(zhí)行下面的命令,生成6381端口對應(yīng)的安全sha1 校驗(yàn)碼,此時看到是97f65601d0aaf1a0574da69b1ff3092969c4310e
./redis-cli -p 6381 script load "$(cat redis-script-node2.lua)"然后我們就使用上面的sha1 校驗(yàn)碼和下面的代碼來生成分布式id
項(xiàng)目圖片如下
IdGenerator類的代碼如下所示
package io.github.hengyunabc.redis; import java.util.ArrayList; import java.util.List; import org.apache.commons.lang3.tuple.Pair; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.exceptions.JedisConnectionException; public class IdGenerator { /** * JedisPool, luaSha */ List> jedisPoolList; int retryTimes; int index = 0; private IdGenerator(List > jedisPoolList, int retryTimes) { this.jedisPoolList = jedisPoolList; this.retryTimes = retryTimes; } static public IdGeneratorBuilder builder() { return new IdGeneratorBuilder(); } static class IdGeneratorBuilder { List > jedisPoolList = new ArrayList(); int retryTimes = 5; public IdGeneratorBuilder addHost(String host, int port, String luaSha) { jedisPoolList.add(Pair.of(new JedisPool(host, port), luaSha)); return this; } public IdGenerator build() { return new IdGenerator(jedisPoolList, retryTimes); } } public long next(String tab) { for (int i = 0; i < retryTimes; ++i) { Long id = innerNext(tab); if (id != null) { return id; } } throw new RuntimeException("Can not generate id!"); } Long innerNext(String tab) { index++; int i = index % jedisPoolList.size(); Pair pair = jedisPoolList.get(i); JedisPool jedisPool = pair.getLeft(); String luaSha = pair.getRight(); Jedis jedis = null; try { jedis = jedisPool.getResource(); List result = (List ) jedis.evalsha(luaSha, 2, tab, "" + i); long id = buildId(result.get(0), result.get(1), result.get(2), result.get(3)); return id; } catch (JedisConnectionException e) { if (jedis != null) { jedisPool.returnBrokenResource(jedis); } } finally { if (jedis != null) { jedisPool.returnResource(jedis); } } return null; } public static long buildId(long second, long microSecond, long shardId, long seq) { long miliSecond = (second * 1000 + microSecond / 1000); return (miliSecond << (12 + 10)) + (shardId << 10) + seq; } public static List parseId(long id) { long miliSecond = id >>> 22; long shardId = (id & (0xFFF << 10)) >> 10; List re = new ArrayList (4); re.add(miliSecond); re.add(shardId); return re; } }
Example的代碼如下所示,下面的while循環(huán)的目的就是為了打印多個分布式id,下面的tab變量就是evalsha命令里面的參數(shù),可以根據(jù)自己的需求來定義
package io.github.hengyunabc.redis; import java.text.SimpleDateFormat; import java.util.Date; import java.util.List; public class Example { public static void main(String[] args) { String tab = "這個就是evalsha命令里面的參數(shù),隨便定義"; IdGenerator idGenerator = IdGenerator.builder() .addHost("47.91.248.236", 6380, "be6d4e21e9113bf8af47ce72f3da18e00580d402") .addHost("47.91.248.236", 6381, "97f65601d0aaf1a0574da69b1ff3092969c4310e") .build(); int hello = 0; while (hello<3){ long id = idGenerator.next(tab); System.out.println("分布式id值:" + id); Listresult = IdGenerator.parseId(id); System.out.println("分布式id生成的時間是:" + new SimpleDateFormat("yyyy-MM-dd").format(new Date(result.get(0))) ); System.out.println("redis節(jié)點(diǎn):" + result.get(1)); hello++; } } }
此時打印結(jié)果如下所示
分布式id值:6564819854640022531 分布式id生成的時間是:2019-08-07 redis節(jié)點(diǎn):1 分布式id值:6564819855189475330 分布式id生成的時間是:2019-08-07 redis節(jié)點(diǎn):0 分布式id值:6564819855361442819 分布式id生成的時間是:2019-08-07 redis節(jié)點(diǎn):1
到這里redis集群版的分布式id就算搞定了,完美????乛?乛????
Redis集群實(shí)現(xiàn)的分布式id是否適合做分布式id呢?我覺得Redis集群實(shí)現(xiàn)分布式ID是可以供我們開發(fā)中的基本使用的,但是我還是覺得它有下面的兩個問題:
1:這里我們可以給上一篇的數(shù)據(jù)庫自增ID機(jī)制進(jìn)行對比,其實(shí)Redis集群可以說是解決了數(shù)據(jù)庫集群創(chuàng)建分布式ID的性能問題,但是Redis集群系統(tǒng)水平擴(kuò)展還是比較困難,如果以后想對Redis集群增加Redis節(jié)點(diǎn)的話,還是會和數(shù)據(jù)庫集群的節(jié)點(diǎn)擴(kuò)展一樣麻煩。
2:還有就是如果你的項(xiàng)目里面沒有使用Redis,那么你就要引入新的組件,這也是一個比較麻煩的問題。
原文鏈接
其他分布式ID系列快捷鍵:
分布式ID系列(1)——為什么需要分布式ID以及分布式ID的業(yè)務(wù)需求
分布式ID系列(2)——UUID適合做分布式ID嗎
分布式ID系列(3)——數(shù)據(jù)庫自增ID機(jī)制適合做分布式ID嗎
分布式ID系列(4)——Redis集群實(shí)現(xiàn)的分布式ID適合做分布式ID嗎
分布式ID系列(5)——Twitter的雪法算法Snowflake適合做分布式ID嗎
大佬網(wǎng)址
https://www.itqiankun.com/art...
https://blog.csdn.net/hengyun...
https://tech.meituan.com/2017...
https://segmentfault.com/a/11...
https://www.jianshu.com/p/9d7...
文章版權(quán)歸作者所有,未經(jīng)允許請勿轉(zhuǎn)載,若此文章存在違規(guī)行為,您可以聯(lián)系管理員刪除。
轉(zhuǎn)載請注明本文地址:http://systransis.cn/yun/76209.html
摘要:數(shù)據(jù)庫自增機(jī)制原理介紹在分布式里面,數(shù)據(jù)庫的自增機(jī)制的主要原理是數(shù)據(jù)庫自增和數(shù)據(jù)庫的函數(shù)實(shí)現(xiàn)的。 數(shù)據(jù)庫自增ID機(jī)制原理介紹 在分布式里面,數(shù)據(jù)庫的自增ID機(jī)制的主要原理是:數(shù)據(jù)庫自增ID和mysql數(shù)據(jù)庫的replace_into()函數(shù)實(shí)現(xiàn)的。這里的replace數(shù)據(jù)庫自增ID和mysql數(shù)據(jù)庫的replace_into()函數(shù)實(shí)現(xiàn)的。這里的replace into跟insert功...
摘要:用戶指定一個名字空間和一個字符串,通過散列,生成。字符串本身需要是唯一的。。雖然是基于隨機(jī)數(shù),但是重復(fù)的可能性可以忽略不計(jì),因此該版本也是被經(jīng)常使用的版本。。當(dāng)前正在使用的。。 UUID的生成策略: UUID的方式能生成一串唯一隨機(jī)32位長度數(shù)據(jù),它是無序的一串?dāng)?shù)據(jù),按照開放軟件基金會(OSF)制定的標(biāo)準(zhǔn)計(jì)算,UUID的生成用到了以太網(wǎng)卡地址、納秒級時間、芯片ID碼和許多可能的數(shù)字。U...
摘要:同時除了對號碼自身的要求,業(yè)務(wù)還對號生成系統(tǒng)的可用性要求極高,想象一下,如果生成系統(tǒng)癱瘓,整個美團(tuán)點(diǎn)評支付優(yōu)惠券發(fā)券騎手派單等關(guān)鍵動作都無法執(zhí)行,這就會帶來一場災(zāi)難。 分布式id主要用到哪些地方 在復(fù)雜分布式系統(tǒng)中,往往需要對大量的數(shù)據(jù)和消息進(jìn)行唯一標(biāo)識。如在美團(tuán)點(diǎn)評的金融、支付、餐飲、酒店、貓眼電影等產(chǎn)品的系統(tǒng)中,數(shù)據(jù)日漸增長,對數(shù)據(jù)分庫分表后需要有一個唯一ID來標(biāo)識一條數(shù)據(jù)或消息,...
摘要:我的后端書架阿里大牛,書單整合一整合一分布式生成器架構(gòu)師之路這也是本文要討論的核心問題如何高效生成趨勢有序的全局唯一。 輕松搞定 rabbitMQ rabbitMQ 的基本使用。 REST 真的完全適合微服務(wù)架構(gòu)嗎? 作者根據(jù)自己的微服務(wù)經(jīng)驗(yàn),提出 REST 并不是微服務(wù)的唯一通信機(jī)制,從而介紹了微服務(wù)的幾種通信機(jī)制,包括 REST、管道以及基于異步消息傳遞。同時,作者提出了在不同的場...
閱讀 649·2023-04-26 02:08
閱讀 2668·2021-11-18 10:02
閱讀 3472·2021-11-11 16:55
閱讀 2354·2021-08-17 10:13
閱讀 2914·2019-08-30 15:53
閱讀 696·2019-08-30 15:44
閱讀 2561·2019-08-30 11:10
閱讀 1768·2019-08-29 16:57