Docker安装Airflow

这篇具有很好参考价值的文章主要介绍了Docker安装Airflow。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

环境

 系统:Ubuntu 22.04.2 LTS 
 docker Version:20.10.21
 docker-compose version 1.29.2,
 python3 --version Python 3.10.6

1、 安装docker

1.1先更新系统

		sudo apt-get update
		sudo apt-get upgrade

1.2安装docker:

		apt-get install docker.io

1.3查看docker版本:

		docker version

1.4 将当前用户加入docker这个group

sudo usermod -aG docker $USER

1.5 验证是否添加成功

groups 或者 id -nG

1.6 重启docker

sudo service docker restart

1.7 验证docker 是否安装成功

docker version 或 docker info
第一个命令“docker version”将列出已安装的Docker版本,以及客户端和服务端的详细信息。如果输出中没有错误,则说明Docker已成功安装。
第二个命令“docker info”将显示有关Docker daemon(Docker守护程序)的详细信息,包括系统信息、容器信息和镜像信息等。同样,如果输出中没有错误,则说明Docker已成功安装。

1.8修改docker配置文件,使得docker能被远程访问

vim /lib/systemd/system/docker.service

修改为
ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock

1.9重载守护进程以及重启Docker:

sudo systemctl daemon-reload
sudo service docker restart

1.20安装 docker-compose

sudo apt-get install -y docker-compose

验证安装是否成功
docker-compose --version

2.安装 airflow

2.1 新建 airflow 文件夹

设置正确的Airflow用户
在Linux中,需要知道user id 以及设置group id为0,否则在dags、 logs、 plugins中的文件将由root用户创建。这里我们需要配置AIRFLOW_UID

mkdir -p /usr/local/airflow  
cd /usr/local/airflow
mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)" > .env

备注:
./dags 我们可以将我们写的DAG文件放置到这里。
./logs 存放来源于任务执行器与调度器的日志。
./plugins 存放一些我们自定义的插件。

2.2要在 Docker Compose 上部署 Airflow,

官网上直该获取 docker-compose.yaml。
地址:
		curl -LfO 'https://airflow.apache.org/docs/apache-airflow/2.6.0/docker-compose.yaml' 
备注:如果网络超时就手动下载在上传到服务器

初始化数据库
		docker-compose up airflow-init
运行Airflow 启动所有服务	#建议第一次运行时不要加-d,查看日志运行
		docker-compose up -d
#Ctrl+C停止,然后重新启动一下
		docker-compose down
		docker-compose up -d
登录airflow
		地址:http://localhost:8080
		登录名/密码 :airflow airflow
检查容器状态
		docker ps

3 常用命令

启动Airflow服务:     				docker-compose up
后台启动Airflow服务:				docker-compose up -d
停止Airflow服务:					docker-compose down
列出正在运行的Airflow容器:			docker ps
查看镜像							docker images
查看docker状态						sudo systemctl status docker
进入某个Airflow容器的终端:			docker exec -it <container_name> bash    备注:<container_name>为容器名或ID
显示Airflow服务的日志:				docker-compose logs [-f] [service_name]  备注: -f参数表示实时跟踪日志,service_name参数表示服务名,默认为所有服务。
构建Airflow镜像                     docker-compose build
清除未使用的镜像、容器、网络和卷:  docker system prune
查看Airflow所在的网络IP地址:		docker network inspect airflow-stack_airflow-net | grep Gateway    备注:irflow-stack_airflow-net表示Docker Compose文件中定义的Airflow网络名
docker 保存镜像						docker save -o airflow2.tar apache/airflow:2.6.0
tar 文件导入到另一台机器上			docker load -i airflow2.tar

可以参考文献:

			https://github.com/puckel/docker-airflow 
			https://blog.csdn.net/qq_35491275/article/details/121981215
			https://blog.51cto.com/helpdesk/5651419?articleABtest=1

CSDN 狗都不用的,欢迎各位大佬指点不足支持,一起学习和交流

QQ 897252348文章来源地址https://www.toymoban.com/news/detail-449381.html

到了这里,关于Docker安装Airflow的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Ubuntu22安装docker

    如果出现域名无法解析的情况参考:Ubuntu22配置dns解析_苍穹之跃的博客-CSDN博客  目录 一、安装必要的一些系统工具 二、安装GPG证书 三、写入软件源信息 四、更新并安装Docker-CE 五、安装指定版本的docker-ce 六、看看是否已安装  一、安装必要的一些系统工具 二、安装GPG证书

    2024年02月07日
    浏览(37)
  • 在Ubuntu操作系统和centos7上安装docker环境的详细步骤

    Ubuntu操作系统安装Docker环境步骤: 如果输出“Hello from Docker!”则表示Docker已经成功安装。 CentOS7安装Docker环境步骤: 如果输出“Hello from Docker!”则表示Docker已经成功安装。

    2024年02月05日
    浏览(107)
  • Ubuntu 22.04 安装docker

    如果之前有安装过旧版本,则通过此命令删除旧版本 Windows 10 子系统Ubuntu 22.04 按以上步骤安装完docker后,启动 docker 可能会报错 以上可以通过将 iptables 切回 iptables-legacy

    2024年02月14日
    浏览(42)
  • Ubuntu 22.04安装docker

    docker官网 先删除旧版本 更新 ubuntu 更新数据源列表 安装 https 请求库 4. 添加Docker的官方GPG密钥 使用以下命令设置存储库 6. 安装docker 引擎

    2024年02月12日
    浏览(33)
  • Ubuntu22.04安装docker

    设置存储库 1.更新软件包索引并安装软件包以允许使用 基于 HTTPS 的存储库: apt``apt 2.添加 Docker 的官方 GPG 密钥: 3.使用以下命令设置存储库: 安装 Docker 引擎 1.更新包索引: apt 尝试授予 Docker 的读取权限 更新包索引之前的公钥文件: 2.安装 Docker Engine、containerd 和 Docker C

    2024年02月03日
    浏览(51)
  • Ubuntu22.04安装、配置、美化、软件安装、配置开发环境

    因为ubuntu的安装网上的教程特别多了,所以这里不做赘述,推荐使用小破站这个up主的教程:Windows 和 Ubuntu 双系统从安装到卸载_哔哩哔哩_bilibili (1)打开软件和更新 (2)在 “ 下载自 ” 中选择 “ 其他 ”  选中 中科大镜像源 (也可选择阿里源,清华源,这里以中科大源

    2024年02月01日
    浏览(51)
  • Ubuntu22.04 安装docker教程

    2024年02月06日
    浏览(50)
  • Ubuntu 22.04上安装Docker

    sudo apt install apt-transport-https ca-certificates curl software-properties-common curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg echo “deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable”

    2024年02月08日
    浏览(49)
  • Docker安装Airflow

    修改为 ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix:///var/run/docker.sock QQ 897252348

    2024年02月05日
    浏览(29)
  • [Ubuntu 22.04] Docker安装及使用

    使用脚本自动安装 安装完成后验证 1. 拉取镜像并启动容器 注 :OPTION是参数,TAG是标签(版本号) 以Ubuntu 20.04为例,如下: 2. 创建容器 镜像拉取完成后,可以使用以下命令创建并启动一个基于 Ubuntu 20.04 镜像的容器 这将创建一个交互式的终端会话,可以在 Ubuntu 20.04 容器内

    2024年01月17日
    浏览(45)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包