Docker 部署本地爬虫项目到服务器

这篇具有很好参考价值的文章主要介绍了Docker 部署本地爬虫项目到服务器。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

笔记:一直想写一篇博客的,那就趁着周末闲暇时光记录一下。

目录

一、前提准备

二、Docker部署爬虫示例

整体梳理

1、打包构建本地项目镜像

2、在 hub 网站上 创建一个仓库。

3、将本地镜像与hub上的仓库打上标签

4、确保已登录 Dockerhub 账号

5、推送镜像到 Dockerhub 仓库中

6、推送上传成功可去 hub 上查看 

7、拉取 hub 镜像 

8、测试运行


一、前提准备

我是 Windows 11 环境的,要先整一个 Docker Desktop 对于它的安装这里不记录,可以参考一下这篇博客(挺详细的) Docker Desktop 安装使用教程_dockerdesktop安装-CSDN博客

二、Docker部署爬虫示例

首先要有你本地的爬虫项目,想省事的朋友,我这里准备了测试项目,git 地址:bind_news · YXHLHM/docker_test - 码云 - 开源中国 (gitee.com) mysql 表在 init 文件中。

结构如下图:

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

  • 整体梳理

  • 打包 项目依赖命令:
pipreqs ./ --encoding=utf-8
  • Dockerfile:运行 main.py  (更多的编写命令可以百度查一下)

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

  • main.py:运行要执行的爬虫脚本

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

这里注意要启动的爬虫脚本命令  /bind_news/aaa_inf3.py   bind_news 是你 Dockerfile 中创建的工作目录。

下面进行 docker 相关的操作

1、打包构建本地项目镜像

cmd 进入本地项目根目录进行构建:要先运行起你的 Docker Desktop

docker build -t csdn:v1.0.0 .

# csdn   -- 镜像的名称 -- 随便起
# v1.0.0 -- 版本标签 -- 随便起 
# . 是将 Dockerfile 所在的工作目录 (项目根目录) 下的所有的文件进行构建,这里是将爬虫项目的所有文件构建打包,

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

2、在 hub 网站上 创建一个仓库。

这个是外网要挂一个代理,它地址:Docker Hub

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

3、将本地镜像与hub上的仓库打上标签

先查看本地镜像:docker images 

docker tag  160e513ebf4b  yxhlhm/csdn:v1.0.0

# docker tag 镜像id dockerhub账号名称/hub仓库名称:标签

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

4、确保已登录 Dockerhub 账号

docker login -u 用户名 -p 密码

如果提示不让执行,就直接输入:docker login 进行键入登录。下图登录成功

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

或者直接用Docker desktop 登录你的 hub 账号就ok,下图:

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

出现问题的话可以去看看:docker login Error response from daemon: Get "https://registry-1.docker.io/v_mob64ca12db3721的技术博客_51CTO博客https://blog.51cto.com/u_16213344/7074965

5、推送镜像到 Dockerhub 仓库中

docker push yxhlhm/csdn:v1.0.0

docker push dockerhub账号/dockerhub仓库名称:标签

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

6、推送上传成功可去 hub 上查看 

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

7、拉取 hub 镜像 

docker pull yxhlhm/csdn:v1.0.0

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

8、测试运行

1、可以直接在 Docker desktop 上 run 运行:

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

2、服务器拉取运行

docker pull yxhlhm/csdn:v1.0.0

简单 run 一下:

docker run 镜像ID

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

MySQL 中:

docker部署python爬虫,笔记,爬虫练习,docker,容器,运维

其实把它想成 git 就好理解了。

拜,简单记录一下。文章来源地址https://www.toymoban.com/news/detail-771117.html

到了这里,关于Docker 部署本地爬虫项目到服务器的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker本地部署MinIO对象存储服务器结合Cpolar内网穿透实现远程访问

    MinIO是一个开源的对象存储服务器,可以在各种环境中运行,例如本地、Docker容器、Kubernetes集群等。它兼容Amazon S3 API,因此可以与现有的S3工具和库无缝集成。MinIO的设计目标是高性能、高可用性和可扩展性。它可以在分布式模式下运行,以满足不同规模的存储需求。 MinIO是

    2024年02月04日
    浏览(43)
  • 如何用docker在自己服务器上部署springboot项目

    一、将springboot项目打包 1、maven clean项目 2、maven package项目 打包成功之后生成jar文件(在target目录下) 3、为Java创建Dockerfile 引入jdk8的Docker镜像 FROM openjdk:8 为了使运行其余命令时更容易,让我们设置映像的工作目录。这将指示Docker使用此路径作为所有后续命令的默认位置。通

    2024年02月04日
    浏览(31)
  • idea集成Docker + Docker部署SpringBoot项目到云服务器 保姆级教程

    本人使用资源: 云服务器主机:腾讯云宝塔linux 操作系统:OpenCloudOS 8.6 本文分别讲解了: 1、idea如何集成并使用docker 2、springboot项目如何引入Docker管理 3、如何将一个springboot项目使用Docker打包为一个镜像 不仅讲解了方法,还列出了在整个过程中会遇到的一些问题和注意事项

    2024年02月06日
    浏览(35)
  • 云服务器使用jenkins+docker自动化部署SpringBoot项目

    docker 安装jenkins,就这一步都恶心死了 //拉取镜像,踩了很多坑,用其它版本的镜像插件一直安装失败,最后用的是lts版本(基础版) 用其它版本要么是连不上插件的下载地址,要么是插件下载不成功  docker pull jenkins/jenkins:lts  部署 docker run --user root -d -p 10240:8080 -p 10241:50

    2024年02月01日
    浏览(39)
  • Mac Docker安装配置nginx,配置代理前端访问服务器后端访问本地启动项目

     或者直接通过docker客户端查看 --name NginxTest:容器名称 -p 8080:8080:映射端口 -d nginx:设置容器后台运行  docker客户端查看 1)全局块:配置服务器整体运行的配置指令 nginx 服务器整体运行的配置指令,主要包括配置运行 Nginx 服务器的用户(组)、允许生成的 worker process 数,

    2024年02月02日
    浏览(48)
  • 如何使用Docker将.Net6项目部署到Linux服务器(一)

    目录 一 配置服务器环境 1.1 配置yum                                                                                                                     1.1.1 更新yum包 1.1.2 yum命令 1.2 配置docker                                                           

    2024年02月04日
    浏览(35)
  • 手动将Java SpringBoot项目部署到云服务器上(使用docker)

    本文记录一下我作为一个小白如何通过docker手动将java springboot项目部署到云服务器上(以腾讯云的轻量应用服务器为例)。 但是我个人还是推荐安装一个宝塔面板部署 ,真的全程自动化,非常方便,网上有很多相关的教程可以搜搜看。所以我写这个教程其实只想记录一下我

    2024年04月25日
    浏览(30)
  • 将python项目用docker 部署到服务器上的全过程

    由于笔记本算力有限,要将python项目部署到服务器上。 在查阅了大量资料后,踩了无数坑后,今天记录一下全过程,希望对大家有帮助。 需要部署的python项目 虚拟机/linus docker安装 服务器端口  docker官网 安装教程  docker安装 菜鸟教程 项目最终结构:   ​ docker_test ├──

    2024年02月11日
    浏览(39)
  • Gitee+Jenkins(docker版)自动推送并部署Springboot项目到远程服务器

    如果要参考gitlab配置请参考Gitlab+Webhook自动推送并更新Springboot项目 Gitlab的配置部分 Jenkins服务器(Centos7.6): docker安装的jenkins,参考Jenkins(docker安装)部署Springboot项目 JDK1.8 Maven3.6.3 注意docker安装的jenkins,而且是较新的版本,所以jenkins容器内的java版本是11的,而我的项目是基于JDK1.8的

    2024年02月13日
    浏览(29)
  • 从零实战本地服务器安装 Docker 部署 ThingsBoard PE 专业版(适用于 Postgres + Kafka 企业级生产环境)

    目录 1、准备工作 2、本地服务器Linux Centos7.9系统安装docker 2.1、检查Linux的内核版本 2.2、卸载Docker旧版本(若有需要) 2.3、安装Docker 2.4、安装Docker引擎 2.5、 启动docker和设置开机⾃启动 3、使用 Docker 安装 ThingsBoard PE 3.1、 拉取 ThingsBoard PE 镜像 3.2、获取许可证密钥 3.3、为

    2024年04月22日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包