雪花算法使用以及优化问题 附代码

这篇具有很好参考价值的文章主要介绍了雪花算法使用以及优化问题 附代码。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

/**
 * 雪花算法生成分布式唯一ID
 */
public class Snowflake {
    private long datacenterId; // 数据中心ID
    private long machineId;  // 机器标识ID
    private long sequence; // 序列号
    private long lastStamp; // 上一次时间戳

    // 雪花算法参数
    private final static long datacenterIdBits = 5L; // 数据中心ID所占位数
    private final static long machineIdBits = 5L; // 机器标识ID所占位数
    private final static long sequenceBits = 12L; // 序列号所占位数
    private final static long maxDatacenterId = -1L ^ (-1L << datacenterIdBits); // 最大数据中心ID
    private final static long maxMachineId = -1L ^ (-1L << machineIdBits); // 最大机器标识ID
    private final static long sequenceMask = -1L ^ (-1L << sequenceBits); // 序列号掩码
    private final static long epoch = 1661932800000L; // 这里指定了一个固定的起始时间戳(从2015-01-01 00:00:00开始)

    public Snowflake(long datacenterId, long machineId) {
        if (datacenterId > maxDatacenterId || datacenterId < 0) { // 判断数据中心ID的有效性
            throw new IllegalArgumentException("Datacenter Id can't be greater than " + maxDatacenterId + " or less than 0");
        }
        if (machineId > maxMachineId || machineId < 0) { // 判断机器标识ID的有效性
            throw new IllegalArgumentException("Machine Id can't be greater than " + maxMachineId + " or less than 0");
        }
        this.datacenterId = datacenterId;
        this.machineId = machineId;
        this.sequence = 0L;
        this.lastStamp = -1L;
    }

    /**
     * 生成下一个ID
     *
     * @return long
     */
    public synchronized long nextId() {
        long currStamp = getNow(); // 获取现在的时间戳
        if (currStamp < lastStamp) { // 如果当前时间小于上一次时间戳,则抛出异常
            throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
        }
        if (currStamp == lastStamp) { // 如果当前时间等于上一次时间戳,则序列号+1
            sequence = (sequence + 1) & sequenceMask;
            if (sequence == 0) { // 如果序列号达到最大值,则等待下一个时间戳
                currStamp = getNextMillis(lastStamp);
            }
        } else { // 如果当前时间大于上一次时间戳,则序列号被重置
            sequence = 0L;
        }
        lastStamp = currStamp; // 保存当前时间戳

        // 生成ID,ID共64位,其中41位为时间戳,5位为数据中心ID,5位为机器标识ID,12位为序列号
        return (currStamp - epoch) << (datacenterIdBits + machineIdBits + sequenceBits)
                | (datacenterId << (machineIdBits + sequenceBits))
                | (machineId << sequenceBits)
                | sequence;
    }

    private long getNextMillis(long lastStamp) {
        long currMillis = getNow(); // 获取现在的时间戳
        while (currMillis <= lastStamp) { // 如果当前时间小于等于上一次时间戳,则一直循环等待新的时间戳
            currMillis = getNow();
        }
        return currMillis;
    }

    private long getNow() {
        return System.currentTimeMillis(); // 获取当前时间戳
    }

}

话不多说上代码

该如何使用

将该类放置在你的 Java 项目源代码目录中;

创建 Snowflake 实例,并传入数据中心ID和机器标识ID:

Snowflake snowflake = new Snowflake(1, 1);

调用 nextId() 方法生成下一个ID:

long id = snowflake.nextId();

将生成的ID用作你的业务对象ID,可以使用 long 类型存储。

User user = new User(id, "Alice");

在使用时,需要确保数据中心ID和机器标识ID是唯一的,以避免生成重复的ID。通常情况下,可以将数据中心ID和机器标识ID存储在配置文件中,并分配给不同的服务器使用。

什么时候使用雪花算法

在分布式系统中,有时候需要生成唯一的ID作为业务对象的标识。传统的数据库自增ID虽然简单高效,但是在分布式系统中,由于数据存储在不同结点上,需要通过网络传输和同步才能保证ID的唯一性,会增加系统的复杂度和延迟。

雪花算法是一种高效且具备唯一性的ID生成算法,具有以下优点:

  1. 唯一性:雪花算法能够生成唯一的ID,避免了数据库自增ID需要进行网络传输和同步的复杂操作,提高了系统性能和稳定性。
  2. 分布式ID:雪花算法可以轻松实现在分布式系统中生成唯一ID,不依赖于中央节点或数据库,方便水平扩展。
  3. 时间有序性:雪花算法生成的ID的高位部分是时间戳,因此在一定程度上保证了ID之间的时间有序性。时间有序性的优点在于便于业务计算、分页和排序等操作。

在分布式系统中,如果需要生成唯一的ID,可以考虑使用雪花算法。常见的应用场景包括:分布式网站、分布式系统、消息中间件以及各种分布式存储系统等。

雪花算法的缺点

雪花算法是一种高效且具备唯一性的ID生成算法,但其也有着一些缺点:

  1. 长度限制:由于雪花算法生成的ID包括时间戳、数据中心ID、机器标识ID和序列号等多个字段,其长度较长,可能会导致一些数据类型无法保存或传输。例如,在部分数据库中,自增ID只支持32位整数,而雪花算法生成的ID是64位长整数。
  2. 依赖机器时钟:雪花算法的生成过程依赖于机器的时钟,如果时钟回拨或不稳定,可能会导致生成重复的ID。尽管雪花算法的实现中考虑了时钟回拨的情况,但仍需要保证机器时钟的稳定性和正确性。
  3. 约定标准:雪花算法生成的ID的格式没有特定的标准,不同的实现可能存在差异。在不同的系统之间交换ID时,需要对其格式和含义进行协商约定,才能确保其正确性和唯一性。
  4. 可能存在冷启动问题:雪花算法生成的ID的时间戳部分精确到毫秒级别,如果算法刚部署或草刚启动时,可能出现时间戳重复的问题,导致生成重复的ID。

针对雪花算法的缺点,可以考虑以下优化方法:

  1. 减少ID长度限制:可以通过缩减某些字段的长度或压缩ID的表示方式等方式来减少ID的长度限制。例如,可以将数据中心ID和机器标识ID共同存储在一个32位整数中,同时压缩时间戳和序列号的表示方式。
  2. 解决机器时钟问题:可以通过使用NTP或其他时钟同步服务,以及更准确的时钟源(如高精度时钟源),来保证机器时钟的稳定性和正确性,降低时钟回拨或漂移的风险,减少重复ID的出现。
  3. 定义标准格式:可以定义统一的ID生成规范和格式,以便不同实现之间进行数据交换和协同开发。例如,在ID格式中定义特定字段的顺序和含义,避免ID格式差异化对系统造成的不确定因素。
  4. 解决冷启动问题:可以使用预热的方式进行ID生成,例如通过预生成一定数量的ID,然后再启动服务时加载到内存中,确保ID序列的不间断性和唯一性。

雪花算法生成ID传到前端之后精度丢失问题

雪花算法生成的ID是一个64位的长整型数值,在传递到前端或其他系统时,可能会出现精度丢失的问题。这是因为前端或其他系统中通常只支持特定的数据类型或数值范围,不能完整表达和存储64位的长整型数据。

  1. 分割ID:将64位的长整型ID分割成两部分,例如将高32位和低32位分别传递给前端或其他系统。接收方可以将两部分重新组合成长整型ID,以便在后续业务计算中使用。这种方法需要约定好前后端的数据类型和传输方式,以确保ID的准确性和可用性。
  2. 使用UUID:如果ID不一定需要按时间顺序编号,则可以考虑使用其他唯一识别码,例如UUID(通用唯一识别码)。UUID由128位二进制数组成,可以转换为字符串进行传输和存储,在不同系统之间保持唯一性和可用性。但是使用UUID会额外增加存储空间和传输成本,需要根据具体情况选择是否使用。
  3. 转换码:将64位长整型ID转换为其他数据类型或编码方式,例如32位的十六进制字符串或Base64编码。这可以方便在前端或其他系统中存储和传输ID,并避免精度丢失的问题。但要注意约定编码方式,以方便后续业务计算和系统使用。

解决办法一:直接使用@JsonSerialize注解

public class Post{
    @ApiModelProperty(value = "雪花ID")
    @JsonSerialize(using = ToStringSerializer.class)
    private Long SnowId;
    ...  
}

解决办法二:全局配置

@Configuration
@EnableWebMvc
public class WebMvcConfig implements WebMvcConfigurer {
	@Override
    public void configureMessageConverters(List<HttpMessageConverter<?>> converters) {
        MappingJackson2HttpMessageConverter jackson2HttpMessageConverter = new MappingJackson2HttpMessageConverter();
        ObjectMapper objectMapper = new ObjectMapper();
        // 全局配置序列化返回 JSON 处理
        SimpleModule simpleModule = new SimpleModule();
        // JSON Long ==> String  将所有的 Long类型 转换成 String类型 返回 
        simpleModule.addSerializer(Long.class, ToStringSerializer.instance);
        objectMapper.registerModule(simpleModule);
        jackson2HttpMessageConverter.setObjectMapper(objectMapper);
        converters.add(jackson2HttpMessageConverter);
    }
}

雪花算法是一种优秀的分布式ID生成算法,可以帮助我们在分布式系统中生成唯一的ID,保证系统的稳定性和可靠性。在使用过程中,需要提前审慎设计和考虑各种可能出现的问题和风险,才能真正发挥其优势和价值。文章来源地址https://www.toymoban.com/news/detail-433085.html

到了这里,关于雪花算法使用以及优化问题 附代码的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 金豺(GJO)优化算法、matlab代码实现以及与PSO、GWO、SO算法比对

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 金豺(GJO)优化算法是2022年由Nitish Chopra 等人提出,GJO 的灵感来自金豺 (Canis aureus) 的协作狩猎行为。算法的三个基本步骤是 猎物搜索、包围和突袭 。 该算法主要是由雄雌豺狼带领各个豺狼对猎物进行

    2024年02月02日
    浏览(106)
  • spring boot中使用雪花算法生成雪花ID

    目录 1、什么是雪花算法 2、雪花算法的优缺点 3、spring boot项目中使用雪花算法使用 雪花算法(Snowflake)是一种生成全局唯一ID的算法,由Twitter公司开发。它可以在分布式系统中生成全局唯一的ID,解决分布式系统中的数据合并和分片等问题。 雪花算法生成的ID是一个64位的长

    2024年02月02日
    浏览(32)
  • MyBatis-Plus主键策略(雪花算法16位长度的整型id,解决默认雪花算法生成19位长度id导致JS精度丢失问题)

    js表达的最大整数2的53次方减1,精度丢失后面几位全是0! 如果内置支持不满足你的需求,可实现 IKeyGenerator 接口来进行扩展. 举个栗子 #方式一:使用配置类 #方式二:通过 MybatisPlusPropertiesCustomizer 自定义 #方式一: XML 配置 #方式二:注解配置 官方示例 官方id generator示例 htt

    2023年04月08日
    浏览(42)
  • 雪花算法的使用(java)

    雪花算法( Snowflake )是一种分布式唯一 ID 生成算法,能够生成唯一的、有序的、高可用的 ID,常用于分布式系统中作为全局唯一标识符(GUID)。雪花算法生成的 ID 是一个 64 位的整数,其中高位是时间戳,中间位是机器 ID,低位是序列号。 雪花算法生成的 ID 包含以下信息

    2024年02月01日
    浏览(66)
  • 掌握MySQL分库分表(六)解决主键重复问题--Snowflake雪花算法

    单库下⼀般使用Mysql自增ID,但是分库分表后,会造成不同分片上的数据表主键会重复 需求:性能强劲、全局唯一、防止恶意用户规矩id的规则来获取数据 利用自增id, 设置不同的⾃增步长: auto_increment_offset 、 auto-increment-increment 缺点: 依靠数据库系统的功能实现,但是未来

    2024年02月09日
    浏览(47)
  • 遗传算法求解车辆路径优化问题VRP(Python代码实现)

    学会了前面两篇遗传算法,但是那都是针对抽象的数学问题求解的,那么应用到现实中的实际问题中,我们又该怎样把遗传算法套进去呢,然后我第一个接触到的问题就是车辆路径优化问题VRP,当然也是找到了一篇比较好的文章,物流管理论文实现:基于遗传算法的带时间窗

    2024年01月18日
    浏览(52)
  • 【工程优化问题】基于鲸鱼、萤火虫、灰狼优化算法的张力、压缩弹簧设计问题研究(Matlab代码实现)

     💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Matlab代码实现 基于鲸

    2024年02月13日
    浏览(48)
  • 【运筹优化】ALNS自适应大领域搜索算法求解TSP问题 + Java代码实现

    旅行推销员问题(TSP)提出以下问题:“给定 n n n 个城市的列表,其中有一个起始城市,以及每对城市之间的距离,访问每个城市一次并返回起始城市的最短可能路线是什么?”。 这又是一个重要的NP-hard组合优化,特别是在运筹学和理论计算机科学领域。这个问题最早是在1

    2024年02月13日
    浏览(50)
  • 【运筹优化】网络最大流问题及三种求解算法详解 + Python代码实现

    标题中时间复杂度用到的 符号说明 :f 代表最大流的大小,m代表边的数量,n 代表节点的数量 本博客学习自:B站-ShusenWang 最大流问题,是网络流理论研究的一个基本问题,求网络中一个可行流 f ∗ f* f ∗ ,使其流量 v ( f ) v(f) v ( f ) 达到最大, 这种流 f f f 称为最大流,这个

    2024年02月02日
    浏览(56)
  • 【无人机】基于灰狼优化算法的无人机路径规划问题研究(Matlab代码实现)

    💥💥💞💞 欢迎来到本博客 ❤️❤️💥💥 🏆博主优势: 🌞🌞🌞 博客内容尽量做到思维缜密,逻辑清晰,为了方便读者。 ⛳️ 座右铭: 行百里者,半于九十。 📋📋📋 本文目录如下: 🎁🎁🎁 目录 💥1 概述 📚2 运行结果 🎉3 参考文献 🌈4 Matlab代码实现 ​ 随着

    2023年04月22日
    浏览(92)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包