celery笔记七之周期/定时任务及crontab定义

这篇具有很好参考价值的文章主要介绍了celery笔记七之周期/定时任务及crontab定义。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

本文首发于公众号:Hunter后端
原文链接:celery笔记七之周期/定时任务及crontab定义

periodic task,即为周期,或者定时任务,比如说每天晚上零点零分需要运行一遍某个函数,或者每隔半小时运行一遍该函数,都是这种任务的范畴。

在第一篇笔记的时候我们就介绍过 celery 的组件构成,其中有一个组件叫做 beat,就是我们定时任务的调度器。

所有的定时任务都由 beat 发出,这种情况下,你必须确保在同一个时间点只有一个 beat 任务调度器在运行,假设有两个 beat 同时在运行,那么在检测定时任务的时候,系统的任务就可能会被重复发起、调用、执行。

  1. beat_schedule 定义
  2. beat 启动
  3. crontab介绍

1、beat_schedule 定义

我们来定义两个定时任务,一个是 blog.tasks.add,定义为每隔 30s 执行一次,现在晚上11点45分,我们定义每天11点50分执行一次。

在进行这些操作前,我们还需要对时区有一些设置,因为我们设置的晚上11点是北京时间,而 Django 和 celery 默认是格林威治时间。

时区设置

我们使用 Django 系统,一些配置在 settigns.py 中定义,详情可以见前几篇笔记的 celery 与 Django 系统使用。

关于时区,Django 系统和 celery 的时区我们都设置成北京时间:

# settings.py

# django 时区设置
TIME_ZONE = "Asia/Shanghai"
USE_TZ = False

# celery 时区设置 
CELERY_TIMEZONE = "Asia/Shanghai"
CELERY_ENABLE_UTC = False
DJANGO_CELERY_BEAT_TZ_AWARE = False

定时任务定义

接下来,我们定义定时任务:

from celery.schedules import crontab

app.conf.beat_schedule = {
    'add-every-30-seconds': {
        'task': 'blog.tasks.add',
        'schedule': 30,
        'args': (16, 16),
    },
    'schedule_test_add': {
        'task': 'blog.tasks.minus',
        'schedule': crontab(minute="50", hour="23"),
    },
}

定时任务的定义是我们通过 app.conf.beat_schedule 来操作,一个任务我们定义一个 name 作为 key

在每个 task 下,分别有以下选项:

task:指向我们定义的任务,比如我们这个是指向 blog application 下 tasks.add 任务

schedule:定时任务的策略,如果直接定义一个整数,比如定义的 add-every-30-seconds task 的这个参数定义为 30,就会每隔30s 执行一次

而如果使用 crontab() 函数,则可以更自由的定义到每个月,每周,每天,每时每秒,在示例中我们定义 minute="50", hour="23" 表示每天 23点50分执行一次

更详细的策略我们下面再详细介绍。

args:定时任务的参数,比如 add() 函数,我们每隔 30s 执行一次,给定的两个参数是 (16, 16),对应 add(x, y) 输入的两个值

2、beat 启动

beat 的启动方式和 worker 启动方式一致,将 worker 改成 beat 即可:

celery -A hunter beat -l INFO

也可以指定日志的输出文件:

celery -A hunter beat -l INFO --logfile=/Users/hunter/python/celery_log/beat.log

当我们启动 beat 的时候,会发现启动的文件夹下会有一个名为 celerybeat-schedule.db 的文件,这个是 beat 保存在本地的上一次任务运行的时间的数据,我们也可以指定该文件的输出地址:

celery -A hunter beat -l INFO -s /Users/hunter/python/celery_log/celerybeat-schedule

如果我们需要运行定时任务,我们需要额外启动两个服务,一个是 beat,一个是 worker

一般来说我们会先启动 worker,再启动 beat,这样 beat 有一些立即发出的任务就可以直接被 worker 接收然后运行。

3、crontab介绍

我们使用 crontab() 函数制定定时任务的时间策略,比如每天运行一次,或者指定周几运行都可以实现。

如果你之前接触过 Linux 服务器上的 crontab 服务,那么就不用担心理解它的使用方式,如果没有,我们可以看看下面官方文档对着的介绍。

在 celery 里,crontab 函数通过 from celery.schedules import crontab 引入,在 beat_schedule 的定义里作为 schedule 的值,这个前面给过一个示例。

crontab 接受五个参数:

  • minute 表示分钟,接收整数或者整数列表,范围在0-59,或者字符串表示配置的时间模式
  • hour 表示小时,接收整数或者整数列表,范围在0-23,或者接收字符串表示配置的时间模式
  • day_of_week 表示周几,接收整数或者整数列表,范围在0-6,其中周日是0,周六是6,或者接收字符串表示配置的时间模式
  • day_of_month 表示一个月的第几天,接收整数或者整数列表,范围在1-31,或者接收字符串表示配置的时间模式
  • month_of_year 表示一年的第几个月,接收整数或者整数列表,范围在1-12,或者接收字符串表示配置的时间模式

minute 和 hour

minute 和 hour 直接指向一天的某个时间点,所以,这两个参数相当于是必填,除非是某些特殊的情况,比如默认的每分钟执行一次:

crontab()

上面的命令,什么参数也不传,表示的是每隔一分钟执行一次

如果我们想指定特定的时间点,比如每天晚上11点23分执行一次:

crontab(minute=23, hour=23)

如果我们想指定某一些分钟,比如分别在 23点11分,23点25分,23点44分钟分别执行一次,可以如下操作:

crontab(minute="11,25,44", hour=23)

如果是上面这种没有特殊关系的时间点,我们可以这样通过逗号分隔连接起来,如果是有特殊关系的,比如说,每隔一分钟,或者每隔三分钟,我们可以通过 */n 的方式来连接。

23点之内,每隔三分钟执行一次函数可以如下操作:

crontab(minute="*/3", hour=23)

这里的每隔 n 分钟,其实是 n 的倍数,比如说 */3 就是在 0,3,6,9,12... 等这些分钟数上执行。

还有一种是范围内的操作方式,比如说,23点的 10-20分钟内每分钟执行一次:

crontab(minute="10-20", hour=23)

那么上面的方式合并起来可不可以,比如说在23点的第5分钟,11分钟,51分钟,31-40分钟,并且每隔两分钟执行一次

也可以实现,把上面的方式都添加在一起,就是一个或的操作:

crontab(minute="5,11,51,10-20,*/2", hour=23)

对于分钟的这些操作,对于小时数是同样生效的,不过范围在 0-23 之间,比如说指定0点,5点,8点,16点的零分执行一次,那就是:

crontab(minute=0, hour="0,5,8,16")

如果是每个小时执行一次呢,就是:

crontab(minute=0, hour="*/1")

# 当 n = 1 的时候 1可以省略,即为
crontab(minute=0, hour="*")

hour 的范围参数和指定的小时点,像 minute 参数一样,也是可以或操作功能那样生效的。

day_of_week

day_of_week 参数表示周几,当我们使用这个参数的时候,minute 和 hour 参数是同样生效的,这里我们只演示 day_of_week 参数的作用,小时和分钟我们都定为 0点0分。

当我们不指定这个参数的时候,即为每天,只有指定了这个参数的时候,定义的周几才会生效,比如我们定义在周一,周三,周五三天的零点执行一次:

crontab(minute=0, hour=0, day_of_week="1,3,5")

这里,周日是0,周一是1,周二是2,依次类推。

day_of_week 的参数还可以使用英文的简写,这里不做介绍,因为我个人认为还是直接使用数字方便一点。

另一个需要注意的是,day_of_week 也可以使用 */n 的形式,但是周几总共只有7个,所以我这里推荐直接用数字写出来。

day_of_month

表示一个月的第几天,范围是1-31。

其使用方法和 minute、hour 使用的方式是一致的,使用范围和 */n 的形式都可以实现。

比如我们想实现在1号,5号,7号,8号,以及每个偶数日的零点零分执行一次,可以这样操作:

crontab(minute=0, hour=0, day_of_month="1,5,7,8,*/2")

month_of_year

表示一年的某几个月,范围是1-12。

和前面的使用方式一致,如果需要使用,只有12个数字,还是推荐直接定义。

如果想获取更多后端相关文章,可扫码关注阅读:
celery笔记七之周期/定时任务及crontab定义文章来源地址https://www.toymoban.com/news/detail-499934.html

到了这里,关于celery笔记七之周期/定时任务及crontab定义的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Celery结合flask完成异步任务与定时任务

    Celery 常用于 web 异步任务、定时任务等。 使用 redis 作为 Celery的「消息代理 / 消息中间件」。 这里通过Flask-Mail使用qq邮箱延时发送邮件作为示例 使用 Flask-Mail 发送邮件需要进行一下配置,其中QQ邮箱授权码的获取方式如下所述: 点进qq邮箱,在设置里面点击账号,向下滚动开

    2024年02月07日
    浏览(52)
  • Django 如何使用 Celery 完成异步任务或定时任务

    以前版本的 Celery 需要一个单独的库(django-celery)才能与 Django 一起工作, 但从 Celery 3.1 开始,情况便不再如此,我们可以直接通过 Celery 库来完成在 Django 中的任务。 以 Docker 安装为例,安装一个密码为 mypassword 的 Redis 服务端 在 Django 项目中创建一个 celery.py 文件,并配置

    2023年04月25日
    浏览(49)
  • 利用Django和Celery管理定时任务

    同步发表于个人站点: http://panzhixiang.cn/article/2023/3/16/68.html 我们以前一直使用k8s的cronjob来管理定时任务的。把定时任务相关的代码单独封装成一个pod,然后以cronjob的方法来触发。 虽然这个方法操作很简单,没有什么第三方资源的依赖(比如Redis),但是也有一个明显的缺点

    2024年02月07日
    浏览(81)
  • 【Linux】crontab 定时任务

    当你需要在Linux系统中定期执行某些任务时,crontab(cron table)是一个非常有用的工具。它允许你根据预定的时间表创建和管理定时任务。 按照进程的功能和运行的程序分类,进程可划分为两大类。 系统进程 :可以执行 内存资源分配和进程切换等 管理工作;而且,该进程的

    2024年02月10日
    浏览(55)
  • Linux 定时任务调度(crontab)

    Crontab命令用于设置周期性被执行的指令。该命令从标准输入设备读取指令,并将其存放于“crontab”文件中,以供之后读取和执行。 可以使用Crontab定时处理离线任务,比如每天凌晨2点更新数据等,经常用于系统任务调度。 一般Linux系统中都会装有Crontab,如果没有安装可以使

    2024年02月07日
    浏览(75)
  • Linux Crontab命令定时任务

    1,crontab:是Linux,unix的定时任务,需要系统安装crontab程序,存储的指定被守护进程crond激活,每分钟去检查一次需要执行的job, 2,新创建的cron任务,不会马上执行,至少要过 2 分钟后才可以,可以重启 cron 来马上执行。 3,检查是否安装crontab: rpm -qa | grep crontab 4,全局配置文

    2024年02月16日
    浏览(51)
  • 创建定时任务——crontab的使用

    Linux crontab 是用来定期执行程序的命令。 当安装完成操作系统之后,默认便会启动此任务调度命令。 crond 命令每分钟会定期检查是否有要执行的工作,如果有要执行的工作便会自动执行该工作。 **注意:**新创建的 cron 任务,不会马上执行,至少要过 2 分钟后才可以,当然你

    2024年02月11日
    浏览(91)
  • crontab做系统定时任务命令

    给系统设置一个定时的任务,相当于一个闹钟 我们每天的0点去做一些清理工作,自检工作,重要数据存盘备份工作,一个组里面很多同时都在提交代码,git作为代码管理工具,每一天都可能使用git仓库里面的代码 用里面的代码做一个打包,生成当成哦我们软件的一个版本,

    2024年02月06日
    浏览(50)
  • crontab -e 系统定时任务

    crontab 是由 “cron” 和 “table” 两个单词组成的缩写。其中,“cron” 是一个在 Linux 和类 Unix 操作系统中用于定时执行任务的守护进程,而 “table” 则是指一个表格或者列表,因此 crontab 就是一个用于配置和管理定时任务列表的命令。 crontab -e 是一个用于编辑 crontab 文件的命

    2024年02月13日
    浏览(52)
  • CentOS 7 定时任务 crontab

    本文是基于 CentOS 7 ,其他 Linux 发行版可能略有不同。 crontab 适用场景 crontab 用于提交和管理执行周期性的任务。 例如你需要在每天凌晨 1 点重启服务器,那么 crontab 可以很方便的帮你执行重启操作。 再例如,你要每隔 5 分钟检查某个服务是否在运行,也可以使用 crontab 来实

    2024年02月16日
    浏览(51)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包