20.网络爬虫—Scrapy-Redis分布式爬虫

这篇具有很好参考价值的文章主要介绍了20.网络爬虫—Scrapy-Redis分布式爬虫。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言
🏘️🏘️个人简介:以山河作礼。
🎖️🎖️:Python领域新星创作者,CSDN实力新星认证
📝​📝第一篇文章《1.认识网络爬虫》获得全站热榜第一,python领域热榜第一
🧾 🧾第四篇文章《4.网络爬虫—Post请求(实战演示)》全站热榜第八
🧾 🧾第八篇文章《8.网络爬虫—正则表达式RE实战》全站热榜第十二
🧾 🧾第十篇文章《10.网络爬虫—MongoDB详讲与实战》全站热榜第八领域热榜第二
🧾 🧾第十三篇文章《13.网络爬虫—多进程详讲(实战演示)》全站热榜第十二
🧾 🧾第十四篇文章《14.网络爬虫—selenium详讲》测试领域热榜第二十
🧾 🧾第十六篇文章《16.网络爬虫—字体反爬(实战演示)》全站热榜第二十五
🧾 🧾第十九篇文章《19.网络爬虫—照片管道》全站综合热榜第十二。
🎁🎁《Python网络爬虫》专栏累计发表二十篇文章,上榜八篇。欢迎免费订阅!欢迎大家一起学习,一起成长!!
💕💕悲索之人烈焰加身,堕落者不可饶恕。永恒燃烧的羽翼,带我脱离凡间的沉沦。

🎁🎁:文章末尾扫描二维码可以加入粉丝交流群

Redis的安装与使用

下载地址:

https://github.com/tporadowski/redis/releases

🧾 🧾Redis 支持 32 位和 64 位。这个需要根据你系统平台的实际情况选择,这里我们下载 Redis-x64-xxx.zip压缩包到 D 盘,解压后,将文件夹重新命名为 redis

20.网络爬虫—Scrapy-Redis分布式爬虫

20.网络爬虫—Scrapy-Redis分布式爬虫
20.网络爬虫—Scrapy-Redis分布式爬虫

20.网络爬虫—Scrapy-Redis分布式爬虫
20.网络爬虫—Scrapy-Redis分布式爬虫

20.网络爬虫—Scrapy-Redis分布式爬虫

20.网络爬虫—Scrapy-Redis分布式爬虫
20.网络爬虫—Scrapy-Redis分布式爬虫

打开一个 cmd 窗口 使用 cd 命令切换目录到 C:\redis 运行:

redis-server.exe redis.windows.conf

🧾 🧾如果想方便的话,可以把 redis 的路径加到系统的环境变量里,这样就省得再输路径了,后面的那个 redis.windows.conf 可以省略,如果省略,会启用默认的。输入之后,会显示如下界面:
20.网络爬虫—Scrapy-Redis分布式爬虫

分布式概念和作用

分布式:一个业务分拆多个子业务,部署在不同的服务器上; 是一种将任务分布在不同地方的工作方式。

作用:提高安全性和效率

分布式爬虫

🧾 🧾分布式爬虫是一种利用多个计算机节点协作进行网页数据抓取的技术。传统的爬虫一般是单机或者集群爬虫,而分布式爬虫将爬虫任务分配到多个节点上进行并行处理,从而提高爬取效率和速度。

🧾 默认情况下,我们使用scrapy框架进行爬虫时使用的是单机爬虫,就是说它只能在一台电脑上运行,因为爬虫调度器当中的队列queue去重和set集合都只能在本机上创建的,其他电脑无法访问另外一台电脑上的内存和内容。
分布式爬虫实现了多台电脑使用一个共同的爬虫程序,它可以同时将爬虫任务部署到多台电脑上运行,这样可以提高爬虫速度,实现分布式爬虫。

分布式爬虫特点

🧾 🧾分布式爬虫一般具有以下特点

  1. 分布式协作:通过分布式协作技术,将爬虫任务拆分成多个小任务,分配到不同的节点上进行处理,从而提高爬取效率和速度。

  2. 网络通信:多个节点之间需要进行网络通信,以确保任务的协调和数据的传输。

  3. 数据一致性:由于分布式爬虫是在多个节点上进行的,因此需要考虑如何确保爬取的数据一致性。

  4. 难度复杂:分布式爬虫需要涉及到分布式架构、负载均衡、任务调度等技术,需要具备一定的技术水平和经验。

🧾 🧾分布式爬虫的优点主要有以下几点

  1. 更快的爬取速度:分布式爬虫可以利用多个节点并行处理任务,从而提高爬取效率和速度。

  2. 更好的可扩展性:分布式爬虫可以通过增加节点数量来扩展系统的容量和性能,具有更好的可扩展性。

  3. 更好的稳定性:由于分布式爬虫具有节点冗余机制,系统的稳定性更高,即使某些节点发生故障,也不会影响整个系统的运行。

  4. 更好的数据一致性:分布式爬虫可以通过数据一致性机制来确保爬取的数据准确、完整、一致。

  5. 更好的资源利用率:分布式爬虫可以利用多个节点的计算能力和存储能力,更好地利用系统资源,降低成本。

当然,分布式爬虫也存在一些挑战和限制,比如节点之间的通信和协作问题,节点故障造成的影响,数据一致性问题等,需要通过技术手段来解决。

redis的使用

🎯修改redis.windows.conf

bind 127.0.0.1 -> bind 0.0.0.0

🎯关闭安全模式,可以远程访问redis

把protected-mode yes改为protected-mode no

Redis 操作/启动

启动服务器
redis-server.exe

启动数据库
启动文件redis-cli.exe

# 伪分布式
bind 127.0.0.1

启动分布式
lpush key:value url
注意:使用时,记得提前在redis中添加。例如:
lpush db:start_urls https://movie.douban.com/top250

Redis Desktop Manager下载

🧾 🧾这是一个redis的桌面工具,可以图形化界面操作redis数据库

1,redis需要打开

2,是否已经创建链接,如果已经创建,双击数据库进行链接

3,如果没有就点击下面的connect to redis server ,输入数据库名称例如root,输入host,如127.0.0.1

特点和架构

🧾 🧾scrapy_redis是一个基于Redis的Scrapy组件,用于scrapy项目的分布式部署和开发

🎯特点:分布式爬取

可以启动多个spider对象,互相之间共享有一个redis的request队列。最适合多个域名的广泛内容的爬取。

🎯分布式数据处理:
爬取到的item数据被推送到redis中,这意味着你可以启动尽可能多的item处理程序。

安装和使用

  • 一般通过pip安装Scrapy-redis:
pip install scrapy-redis  # 下载模块
  • scrapy-redis的使用非常简单,几乎可以并不改变原本scrapy项目的代码,只用做少量设置

Scrapy-redis 代码部署

spider文件

🧾 类继承 RedisSpider (原来是继承scrapy.Spider)

from scrapy_redis.spiders import RedisSpider # 让爬虫继承新的爬虫模块

🧾 注释strat_urls 设置 redis_key = “db:start_urls” 开启爬虫钥匙

settings文件


# 使用scrapy_redis组件自己的调度器   必须
SCHEDULER = "scrapy_redis.scheduler.Scheduler"

# 确保所有spider通过redis共享相同的重复过滤。 必须
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"

# 可选 不清理redis队列,允许暂停/恢复抓取。 允许暂定,redis数据不丢失
SCHEDULER_PERSIST = True

# REDIS 主机和端口 必须
REDIS_HOST = '127.0.0.1'  # 写自己电脑的ip地址
REDIS_PORT = 6379

#公共管道 
#如果你希望数据后期统一处理,则可以增加’scrapy_redis.pipelines.RedisPipeline’: 300
#ITEM_PIPELINES  =  {
#    'scrapy_redis.pipelines.RedisPipeline':300,    #为了写的redis 
#}

👉👉本专栏所有文章是博主学习笔记,仅供学习使用,爬虫只是一种技术,希望学习过的人能正确使用它。
博主也会定时一周三更爬虫相关技术更大家系统学习,如有问题,可以私信我,没有回,那我可能在上课或者睡觉,写作不易,感谢大家的支持!!🌹🌹🌹


文章来源地址https://www.toymoban.com/news/detail-430743.html

到了这里,关于20.网络爬虫—Scrapy-Redis分布式爬虫的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 网络爬虫:如何有效的检测分布式爬虫

    分布式爬虫是一种高效的爬虫方式,它可以将爬虫任务分配给多个节点同时执行,从而加快爬虫的速度。然而,分布式爬虫也容易被目标网站识别为恶意行为,从而导致IP被封禁。那么,如何有效地检测分布式爬虫呢?本文将为您一一讲解。 检查请求头 我们可以检查分布式爬

    2024年02月09日
    浏览(36)
  • scrapy分布式+指纹去重原理

    1,指纹去重原理存在于 scrapy.util.requests 里面 需要安装的包 pip install scrapy-redis-cluster # 安装模块 pip install scrapy-redis-cluster==0.4 # 安装模块时指定版本 pip install --upgrade scrapy-redis-cluster # 升级模块版本 2,setting配置 此处的关键点在于管道的先后顺序,顺序错了,数据库的数据会进

    2024年02月15日
    浏览(32)
  • 18.网络爬虫—Scrapy实战演示

    前言 : 🏘️🏘️个人简介:以山河作礼。 🎖️🎖️: Python领域新星创作者,CSDN实力新星认证 📝​📝第一篇文章《1.认识网络爬虫》获得 全站热榜第一,python领域热榜第一 。 🧾 🧾第四篇文章《4.网络爬虫—Post请求(实战演示)》 全站热榜第八 。 🧾 🧾第八篇文章《8

    2023年04月22日
    浏览(34)
  • 17.网络爬虫—Scrapy入门与实战

    前言 : 🏘️🏘️个人简介:以山河作礼。 🎖️🎖️: Python领域新星创作者,CSDN实力新星认证 📝​📝第一篇文章《1.认识网络爬虫》获得 全站热榜第一,python领域热榜第一 。 🧾 🧾第四篇文章《4.网络爬虫—Post请求(实战演示)》 全站热榜第八 。 🧾 🧾第八篇文章《8

    2024年02月04日
    浏览(33)
  • 网络爬虫(Python:Selenium、Scrapy框架;爬虫与反爬虫笔记)

    Selenium是一个模拟浏览器浏览网页的工具,主要用于测试网站的自动化测试工具。 Selenium需要安装浏览器驱动,才能调用浏览器进行自动爬取或自动化测试,常见的包括Chrome、Firefox、IE、PhantomJS等浏览器。 注意:驱动下载解压后,置于Python的安装目录下;然后将Python的安装目

    2024年01月18日
    浏览(60)
  • Scrapy:Python中强大的网络爬虫框架

    在当今信息爆炸的时代,从互联网上获取数据已经成为许多应用程序的核心需求。Scrapy是一款基于Python的强大网络爬虫框架,它提供了一种灵活且高效的方式来提取、处理和存储互联网上的数据。本文将介绍Scrapy的主要特性和优势,以及如何使用它来构建强大的网络爬虫。

    2024年02月19日
    浏览(60)
  • 网络爬虫丨基于scrapy+mysql爬取博客信息

    本期内容 :基于scrapy+mysql爬取博客信息并保存到数据库中 实验需求 anaconda丨pycharm python3.11.4 scrapy mysql 项目下载地址:https://download.csdn.net/download/m0_68111267/88740730 本次实验实现了:使用Scrapy框架爬取博客专栏的目录信息并保存到MySQL数据库中,实验主要涉及到Python的爬虫技术以

    2024年03月18日
    浏览(54)
  • 【100天精通python】Day45:python网络爬虫开发_ Scrapy 爬虫框架

    目录 1 Scrapy 的简介 2 Scrapy选择器 3 快速创建Scrapy 爬虫 4 下载器与爬虫中间件

    2024年02月11日
    浏览(51)
  • 分布式爬虫架构-对等分布式(2)

    前言 本文是该专栏的第45篇,后面会持续分享python爬虫干货知识,记得关注。 在面对海量数据的采集需求时,使用分布式爬虫是非常有必要的。继上一篇,详细介绍主从分布式爬虫架构,对主从分布式相关知识感兴趣的同学,可往前翻阅。而本文,笔者再单独来详细介绍分布

    2023年04月25日
    浏览(52)
  • [爬虫]3.2.2 分布式爬虫的架构

    在分布式爬虫系统中,通常包括以下几个主要的组成部分:调度器、爬取节点、存储节点。我们接下来将详细介绍每一个部分的功能和设计方法。 调度器是分布式爬虫系统中的核心,它负责管理和分发爬取任务。调度器通常需要处理以下功能: URL管理 :调度器需要管理一个

    2024年02月16日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包