点赞发Nature
关注中Science
Airflow 运行中存在许多status record以table的形式保存的数据库中,需要定时清理:
用airflow command line tool可以进行清理:airflow db clean --clean-before-timestamp <timestamp> -t <table_name> --dry-run -verborse -y
airflow metastore的table主要有
log
task_instance
dag_run
dag
task_fail
task_instance
xom
timestamp的格式为yyyy-mm-dd
譬如:airflow db clean -clean-before-timestamp 2023-01-01 -t log
————————
我目前奥尔堡大学做博士后(我的google scholar, 我的Github),关注能源与环境数据科学。
专注于分享利用数据科学工具,欢迎一起交流、学习、合作。文章来源:https://www.toymoban.com/news/detail-636295.html
关于我的博客内容、其他相关的研究问题,有问题可以下方👇评论、或私信我~文章来源地址https://www.toymoban.com/news/detail-636295.html
到了这里,关于Airflow metastore清理的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!