xxl-job重复执行问题

这篇具有很好参考价值的文章主要介绍了xxl-job重复执行问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一,xxl-job服务

集群部署(两台)

二,问题描述

有一个job1min执行一次,查询一个中间表数据,循环发生esb,得到结果,更新表。当数据量比较大时,会出现数据重复发送了esb,推测job重复执行了,业务耗时比较长,超过了1min,下一个job时间到了,再次查询,取到了同样的数据,导致重复执行

从结果看,说明重复执行了

1.esb报错日志,重复发送了

2.xxl-job日志,1min一次,17点下发量比较大

xxl-job重复执行问题

三,解决方案-聊天记录

I:

1.关于交接单xxl-job重复执行的问题,刚才跟宇松老师我们会议说了,向您汇报一下。xxl-job集群部署,无法做到串行执行。解决方案可以是修改策略,如下

xxl-job重复执行问题

2. 把轮询改成一致性hash

3.

xxl-job重复执行问题

 领导:一致性哈希是什么效果

I:

轮询:连续两次调度会路由到两台xxl-job上,分别开启一个线程执行

一致性hash:某个任务会一直分配到一个xxl-job服务上,可以保证单机串行执行

比如:100个任务,50,50固定分配到某个机器上,可以保证单机串行,任务在队列排队执行 

官网描述截图 

xxl-job重复执行问题

xxl-job重复执行问题

四,思考

单机部署

xxl说了,默认单机串行,比如job执行时间是每1min执行一次,实际业务执行时间是3min分钟,那么下一个时间点到了,会进入队列排队执行,如上关于单机串行的描述

集群部署

还是上面的场景,上一个任务未执行万,下一个时间点到了,会路由到另外一台机器上继续执行,为什么,因为xxl采用并行调度机制,这一点可参考官网描述

并行调度
XXL-JOB调度模块默认采用并行机制,在多线程调度的情况下,调度模块被阻塞的几率很低,大大提高了调度系统的承载量。
XXL-JOB的不同任务之间并行调度、并行执行。
XXL-JOB的单个任务,针对多个执行器是并行运行的,针对单个执行器是串行执行的。同时支持任务终止

xxl-job官网

分布式任务调度平台XXL-JOB

五.方案对比

1.延迟执行间隔,改成5min,周期大于业务时间执行时间,可行。路由策略还是轮询

2.路由策略改成 一致性hash 文章来源地址https://www.toymoban.com/news/detail-407727.html

到了这里,关于xxl-job重复执行问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Xxl-job安装部署以及SpringBoot集成Xxl-job使用

    1、安装Xxl-job: 可以使用docker拉取镜像部署和源码编译两种方式,这里选择源码编译安装。 代码拉取地址: 官方开发文档: 2、打开项目 使用Maven打开项目,下载相关的jar包依赖。配置相关配置文件 这里可以参考官方开发文档进行配置。 3、初始化数据库 项目中包含数据库

    2023年04月25日
    浏览(41)
  • xxl-job执行器无法自动注册

    问题描述 在springboot项目里配置了xxl-job2.3.0,但是执行器无法自动注册 yaml配置如下: 执行器无法自动注册到xxl-job-admin 排查过程 经过debug发现,是spring没有加载xxlJobExecutor这个Bean debug流程(SpringApplication.run()–SpringApplication.refreshContext()–SpringApplication.refresh() --SpringApplication

    2024年02月16日
    浏览(33)
  • XXL-JOB 任务调度中心 后台任意命令执行漏洞

    在日常开发中,经常会用定时任务执行某些不紧急又非常重要的事情,例如批量结算,计算当日的订单量,当日的成本收入等。当存在大量定时任务的时候,任务的管理也会成为一个比较头痛的问题。xxl-job,就是一个比较成熟的分布式任务调度平台。XXL-JOB 任务调度中心系统

    2024年02月08日
    浏览(43)
  • 【源码分析】XXL-JOB的执行器的注册流程

    目的:分析xxl-job执行器的注册过程 流程: 获取执行器中所有被注解( @xxlJjob )修饰的 handler 执行器注册过程 执行器中任务执行过程 版本: xxl-job 2.3.1 建议:下载 xxl-job 源码,按流程图 debug 调试, 看堆栈信息并按文章内容理解执行流程 。 完整流程图: 部分流程图: 首先启

    2023年04月22日
    浏览(44)
  • xxl-job中在分片的时候项目模块如何开启多个执行器?

    在xxl-job中,要在分片时开启多个执行器,您需要按照以下步骤进行操作: 1.在xxl-job的项目中,找到对应的模块(即需要开启多个执行器的模块)。 2.在模块的配置文件(通常是application.properties或application.yml)中,找到以下属性: properties xxl.job.executor.appname=   xxl.job.executor

    2024年02月09日
    浏览(36)
  • xxl-job服务化

    xxl-job作为服务,之前使用都是每个服务配置信息,采用方法的形式,xxl-job作为服务的话,只需要进行配置 配置信息 xxl-job创建任务 xxl-job相关输入 clientClass 实现类 clientMethod 调用的方法 加参数,比如用户为张三,年龄18 ,\\\"name\\\":\\\"张三\\\",\\\"age\\\":18 JobHandler:CommonXxlJobHandler 任务参数:

    2024年02月06日
    浏览(40)
  • 【2023】XXL-Job 具体通过docker 配置安装容器,再通过springboot执行注册实现完整流程

    在平时的业务场景中,经常有一些场景需要使用定时任务,比如: 时间驱动的场景:某个时间点发送优惠券,发送短信等等。 批量处理数据:批量统计上个月的账单,统计上个月销售数据等等。 固定频率的场景:每隔5分钟需要执行一次。 在Java中,传统的定时任务实现方案

    2024年02月14日
    浏览(34)
  • 微服务开发系列 第十一篇:XXL-JOB

    A、技术栈 开发语言:Java 1.8 数据库:MySQL、Redis、MongoDB、Elasticsearch 微服务框架:Spring Cloud Alibaba 微服务网关:Spring Cloud Gateway 服务注册和配置中心:Nacos 分布式事务:Seata 链路追踪框架:Sleuth 服务降级与熔断:Sentinel ORM框架:MyBatis-Plus 分布式任务调度平台:XXL-JOB 消息中间

    2024年02月10日
    浏览(38)
  • 使用java实现 分布式任务调度平台XXL-JOB 部署及使用

    XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 详细的特性和优点参考官网地址:https://www.xuxueli.com/xxl-job/ 一、任务调度 0.下载官方源码 1.解压后可以在 xxl-job-2.3.1docdb 找

    2024年02月11日
    浏览(49)
  • 微服务: xxl-job的安装(docker),使用及springboot整合[完整版详解]

    XXL-JOB是一个分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线,开箱即用。 1.1.1 xxl-job作用 统一管理定时调度任务 相比于 springboot的@Scheduled , 这个表达式可以随意修改 也可以面对更加复杂的定时调度

    2024年02月08日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包