【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法)

这篇具有很好参考价值的文章主要介绍了【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

前言:

什么是全局唯一ID? 

尝试构造全局唯一ID: 

其他构造全局唯一ID的方法

1.基于数据库自增构造全局唯一ID:

2.基于UUID构造全局唯一ID:

3.基于雪花算法构造全局唯一ID:

总结:


 

前言:

        在各种实际业务中,全局唯一ID是一个重要的存在,它用来标识用户的特定服务,方便用户在后续基于这个ID来进行各种服务。而如何构造全局唯一ID也是一个比较重要的知识点。因此今天来介绍一下如何基于Redis构造全局唯一ID。

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

什么是全局唯一ID? 

        全局唯一ID(Global Unique Identifier,简称GUID)是在计算机系统中用于唯一标识实体或对象的标识符。它通常由一个128位的数字字符串组成,采用特定的算法生成,以确保在相同的算法和生成器设置下几乎不会重复。


让我们回到业务中:

每个店铺都可下发自己店铺的优惠卷,当用户抢购的时候,就会生成订单到订单表中,并且返回订单号给用户。但是如果只是使用简单的数据库自增就会出现问题:

        1.少量数据下,采用数据库自增的方式,会泄漏信息给用户。用户可以根据订单ID推测出优惠卷的订单数,可能会引发恶意行为。

        2.大量数据下,如果所有的订单都在一个张表中,在进行SQL查询的时候效率会大大降低,并且如果我们进行了分表,那么多个订单表中间的数据库自增是隔离的,并不能保证多表下的ID唯一


        那么我们目前可以知道:如果要追求ID的唯一性,那么就应该避免在数据库中进行ID的构造。基于这种情况,那么我们就把ID的构造放到Redis中进行。

尝试构造全局唯一ID: 

而为了增加ID的安全性,我们也不直接使用Redis的自增数值,而是再拼接一些其他的信息:

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

由图可看得,我们设计的ID一共分为三部分:

1.符号位:永远为0,标识我们的ID是一个整数。

2.时间戳:从自定义时间开始,按秒计算。那么32位我们大约可以使用60多年。

3.序列号:同一时间内下单进行自增。在时间戳相等的形况下的区分不同的订单。

代码实现:

    public long nextId(String keyPrefix) {
        //1.生成时间戳
        LocalDateTime now = LocalDateTime.now();
        long nowhSecond = now.toEpochSecond(ZoneOffset.UTC);
        long timestamp = nowhSecond - BEGIN_TIMESTAMP;
        //2.生成序列号
        //1.获取日期,精确到天
        String date = now.format(DateTimeFormatter.ofPattern("yyyy:MM:dd"));
        Long count = stringRedisTemplate.opsForValue().increment("icr:" + keyPrefix + ":" + date);
      
        return (timestamp << COUNT_BITS) | count;
    }

 在这里我们唯一需要讲的就是返回结果中的(timestamp << COUNT_BITS) | count

                其实是他就是一个拼接序列号的过程,只不过相比较于符号运算来讲,使用位运算的效率更高。

其他构造全局唯一ID的方法

1.基于数据库自增构造全局唯一ID:

 基于数据库自增构造ID,之前我们讲了主要的难点是:分表之后无法统一构造自增唯一ID,多个订单表在构造ID的时候可能会出现重复。

那么其实解决方案很简单:既然多个表在构造ID的时候会出现重复问题,那么我们就不要在订单表中构造ID了,创建一个订单ID表去专门维护ID

比如我们可以这样设计一个订单ID表:

create table order_test.order_id
(
    id   int auto_increment
        primary key,
    name varchar(20) null,
    constraint name
        unique (name)
);

那么我们就得到了这样一张表:

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

在查询的时候,我们使用这样一条语句:

begin ;
replace into order_id (name) values ("order_id");
SELECT last_insert_id();
COMMIT ;

 这样我们基于name的唯一性,就做到了对id的自增:

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

 但是这种创建一张表去维护订单ID的方式仍然是有问题的:高并发场景下,万一这张表挂了怎么办

所以为了优化,我们还可以采取多表的思想:

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

在新思想中,我们让一个表维护订单id为偶数,一个表维护订单id为奇数。这样的话,我们就是实现了减轻单表压力。而且这种思想是可以不断的改进的,我们可以通过让表维护不同类型的数字来不断的拆表,减轻单表压力

但是这种方法得到的订单id,他不一定是逐个递增的,只能说是整体呈现递增趋势

而且这种方式如果要抵抗高并发的话,就要不断的去加数据库,对维护数字进行分类。因此这种方式其实缺点还是比较明显的。

但其实基于数据库构造全局唯一ID是有成熟的方案的:美团的LEAF数据库方案,原文链接我也留在这里:

Leaf——美团点评分布式ID生成系统 - 美团技术团队 (meituan.com)https://tech.meituan.com/2017/04/21/mt-leaf.html        LEAF数据库方案简而言之就一句话:批量获取ID进行处理。在上文我们简单的对数据库进行优化的时候,优化问题基本都来源于高并发下数据库高频的读写操作。而LEAF数据库方案也是针对这个方面进行优化的

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

我们可以把图中的leaf简单的理解为是一个生成全局唯一ID的服务。那么整个LEAF数据库的思想就是:leaf服务提前就拿好一批号端,例如从0-1000。那么我在生成唯一ID的时候,压力就从数据库转到了Leaf这个服务里面。

优点:

        1.leaf只是一个简单的web服务,方便进行扩展

        2.ID号也满足趋势递增的要求

        3.容灾性高,由于生成唯一ID的是leaf服务,而且内部有号段缓存,因此即使数据库挂了,短时间内也可以正常对外提供服务

缺点:

        当所有的leaf用完自己的号段之后,就会向数据库再次请求号段,此时leaf服务是不可用的。而如果此时有大量的请求leaf服务,就会引发一段尖刺。

解决方案:

        我们并不会等到号段全部用完之后再去请求新的号段。美团给出的技术方案是当号段消费到某个点时就异步的把下一个号段加载到内存中。而不需要等到号段用尽的时候才去更新号段。【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

        一开始先用A号段,等 A号段消耗10%的时候,就向数据库请求新号段。之后当前号段消耗完之后就可以进行快速的切换。如此循环往复。

2.基于UUID构造全局唯一ID:

虽然基于UUID可以保证构造ID的唯一性,但是UUID是随机生成的数字+字母。这使得UUID构造出的ID不具备递增性,在做数据库索引的时候效率比较慢。

而且UUID也存在安全性问题:UUID有一版是基于MAC地址来构造唯一标识的,可能会有泄漏MAC地址的风险

import java.util.UUID;

public class UUIDExample {
    public static void main(String[] args) {
        // 生成随机的UUID
        UUID uuid = UUID.randomUUID();
        System.out.println("随机生成的UUID: " + uuid.toString());

        // 根据字符串生成UUID
        String uuidString = "38400000-8cf0-11bd-b23e-10b96e4ef00d";
        UUID fromString = UUID.fromString(uuidString);
        System.out.println("从字符串生成的UUID: " + fromString.toString());
    }
}

3.基于雪花算法构造全局唯一ID:

六十四位雪花算法构成:

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存

其实可以看出,雪花算法跟我们上文提到的基于Redis生成全局唯一ID的思路是一样的。因此这里不做赘述。

而基于雪花算法,最常问的一个面试问题就是:如何解决时间回拨问题

其实就是说:如果时间戳回拨了,我们要如何处理?因为时间戳回拨之后,生成的id就有可能和以前的重合,那么我们要如何进行处理呢?

大部分的开源版本的雪花算法面对时间回拨问题采用的是抛异常的处理方法,其实我感觉这属于是没处理。

比较好的处理方法是根据回拨时间的长短来个性化处理方案:

        1.回拨时间很短(<=100ms):直接睡眠当前线程,等到时间戳加载正常之后再生成ID

        2.回拨时间适中(>100ms<=1s):寻找当前回拨时间毫秒内的最大id,直接沿着那个id++就可以。

        3.回拨时间较长(>1s<=5s):创建多个雪花算法服务,当前使用的雪花算法服务时间戳发生回拨就换一个。

        4.回拨时间很长(>5s):直接下线服务,人工介入手动调试时间戳。

除此之外,我们还可以提前就预留好一部分的分布式ID,在时间戳回拨之后,我们使用这部分预留的分布式ID,直至时间戳恢复正常。

总结:

当我们在设计分布式系统时,唯一ID的生成是一个非常重要的问题。为了保证分布式环境下ID的唯一性和无序性,我们可以采用雪花算法、UUID、数据库自增等方式生成唯一ID。

其中,雪花算法是目前应用最广泛的分布式ID生成算法之一。它通过使用时间戳、机器ID和序列号来生成64位的唯一ID,可以在多个节点上生成ID而不会重复。

除了ID的生成算法外,还需要考虑时钟回拨问题、ID的长度、ID的可读性等问题。为了解决时钟回拨问题,我们可以采取物理时钟、NTP同步、预留ID范围等方式;

如果我的内容对你有帮助,请点赞,评论,收藏。创作不易,大家的支持就是我坚持下去的动力!

【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法),学习,jvm,过滤器,算法,缓存文章来源地址https://www.toymoban.com/news/detail-802341.html

到了这里,关于【从零开始学习Redis | 第七篇】利用Redis构造全局唯一ID(含其他构造方法)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Shader学习第七篇:几种Unity的Shader的例子

    下面是几种Shader的例子,从简单到复杂,一步一步了解 Shader 的编写机制。 顶点/片元着色器 Vertex/Fragment Shader,下面我们介绍的示例就是这个。 表面着色器 Surface Shader ,而这个底层Unity也是转成了顶点/片元着色器 固定函数着色器 Fixed Function Shader (已弃用) 在一些低端设备使

    2024年02月09日
    浏览(40)
  • Qt6 Qt Quick UI原型学习QML第七篇

    导入 QtQuick 2.12 导入 QtQuick.Window 2.12 导入 QtQuick.Controls 2.12 导入 QtQuick.Layouts 1.3 导入 Qt.labs.calendar 1.0 矩形 { id: root 属性 int duration: 3000 } 这段代码使用了QtQuick库来创建一个用户界面。其中的Rectangle是界面的根元素。 id: root : 为Rectangle元素指定唯一的标识符root。 property int durat

    2024年02月16日
    浏览(29)
  • AI提示工程实战:从零开始利用提示工程学习应用大语言模型【文末送书-19】

    随着人工智能技术的飞速发展,大语言模型如GPT-4等在自然语言处理领域取得了令人瞩目的成果。而对于普通用户而言,如何利用这些强大的模型进行实际应用成为一个备受关注的话题。本文将介绍一种称之为“提示工程”的方法,通过简单的提示构建,让大语言模型为我们

    2024年02月19日
    浏览(40)
  • 从零开始的力扣刷题记录-第七十二天

    题目描述: 给你一个整数数组 nums ,它包含 2 * n 个整数。 你需要将 nums 划分成 n 个数对,满足: 每个元素 只属于一个 数对。 同一数对中的元素 相等 。 如果可以将 nums 划分成 n 个数对,请你返回 true ,否则返回 false 题解: 哈希表统计各元素数量,如果有不能被2整除的就

    2024年02月11日
    浏览(35)
  • 【粉丝福利社】AI提示工程实战:从零开始利用提示工程学习应用大语言模型(文末送书-完结)

    🏆 作者简介,愚公搬代码 🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,51CTO博客专家等。 🏆《近期荣誉》:

    2024年01月25日
    浏览(48)
  • 【粉丝福利社】AI提示工程实战:从零开始利用提示工程学习应用大语言模型(文末送书-进行中)

    🏆 作者简介,愚公搬代码 🏆《头衔》:华为云特约编辑,华为云云享专家,华为开发者专家,华为产品云测专家,CSDN博客专家,CSDN商业化专家,阿里云专家博主,阿里云签约作者,腾讯云优秀博主,腾讯云内容共创官,掘金优秀博主,51CTO博客专家等。 🏆《近期荣誉》:

    2024年01月24日
    浏览(33)
  • Vue基础第七篇

    在Vue中实现集中式状态(数据)管理的一个Vue插件,对vue应用中多个组件的共享状态进行集中式的管理(读/写),也是一种组件间通信的方式,且适用于任意组件间通信。 多个组件需要共享数据时  3.搭建vuex环境 创建文件: src/store/index.js 在 main.js 中创建vm时传入 store 配置

    2024年02月08日
    浏览(90)
  • OpenCV第七篇:车牌识别

    目录 1.调整图片大小,并获取灰度图  2.双边滤波去除噪音:cv2.bilateralFilter()。 3.边缘检测:cv2.Canny(image,threshold1,threshold2) 4.寻找轮廓:车牌(四边形) ​编辑 5.图像位运算进行遮罩 6.图像剪裁 7.字符识别:OCR 1.调整图片大小,并获取灰度图  2.双边滤波去除噪音:cv

    2024年02月06日
    浏览(40)
  • 微服务开发系列 第七篇:RocketMQ

    A、技术栈 开发语言:Java 1.8 数据库:MySQL、Redis、MongoDB、Elasticsearch 微服务框架:Spring Cloud Alibaba 微服务网关:Spring Cloud Gateway 服务注册和配置中心:Nacos 分布式事务:Seata 链路追踪框架:Sleuth 服务降级与熔断:Sentinel ORM框架:MyBatis-Plus 分布式任务调度平台:XXL-JOB 消息中间

    2024年02月07日
    浏览(28)
  • 网络基础(第七篇)静态路由配置

    三台PC机、三台路由器 配置静态路由: 第一步,Ensp上写好PC机的IP地址和子网掩码、每一个接口的网关和网段,如图(绿色):  第二步,配置三台PC机的IP地址、子网掩码、网关。      第三步,配置所有接口的网关: 第四步,完成所有接口配置后,开始配静态路由,这里

    2024年02月10日
    浏览(32)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包