使用scrapy爬虫出错:AttributeError: ‘AsyncioSelectorReactor‘ object has no attribute ‘_handleSignals‘

这篇具有很好参考价值的文章主要介绍了使用scrapy爬虫出错:AttributeError: ‘AsyncioSelectorReactor‘ object has no attribute ‘_handleSignals‘。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

使用scrapy爬虫框架时出错:

PS D:\Python\Project\爬虫基础\scrapy_01\scrapy_01\spiders> scrapy crawl app
Traceback (most recent call last):
  File "<frozen runpy>", line 88, in _run_code
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Scripts\scrapy.exe\__main__.py", line 7, in <module>
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\cmdline.py", line 161, in execute
    _run_print_help(parser, _run_command, cmd, args, opts)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\cmdline.py", line 114, in _run_print_help
    func(*a, **kw)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\cmdline.py", line 169, in _run_command
    cmd.run(args, opts)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\commands\crawl.py", line 30, in run
    self.crawler_process.start()
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\crawler.py", line 420, in start
    install_shutdown_handlers(self._signal_shutdown)
  File "C:\Users\Administrator\AppData\Local\Programs\Python\Python311\Lib\site-packages\scrapy\utils\ossignal.py", line 28, in install_shutdown_handlers
    reactor._handleSignals()
    ^^^^^^^^^^^^^^^^^^^^^^
AttributeError: 'AsyncioSelectorReactor' object has no attribute '_handleSignals'

根据这篇文章解决问题:python爬虫 - Scrapy>=2.9.0出现 “AttributeError: ‘AsyncioSelectorReactor‘ object has no attribute ‘_hand”_小菜鸟正洋洋的博客-CSDN博客

卸载Twisted的23.8.0版本(当前最新版),安装次新版本22.10.0rc1,就解决问题了。

attributeerror: 'asyncioselectorreactor' object has no attribute '_handlesig,出错修复,scrapy,爬虫

我特别喜欢升级各种包,默认每次看到小三角形▲,就像给它升个级,你看我这里面的包都是升级到没有显示三角形▲的了,目前也只有Twisted这个包是可以升级的状态。使用pycharm这个管理包的版本还是非常方便的,卸载就点减号-,安装新的包就点击加号+,想升级,就选中可以升级的包,再点击三角形▲就可以了。升级的时候,一次只能点击一个升级一个包,因为升级一个包后它就自动刷新界面了。

Twisted包:GitHub - twisted/twisted: Event-driven networking engine written in Python.

Twisted是一个基于事件的互联网应用框架,支持Python 3.6+。它包括用于许多不同用途的模块,包括:

  • twisted.web:HTTP客户端和服务器、HTML模板和WSGI服务器
  • twisted.conch:SSHv2和Telnet客户端和服务器以及终端模拟器
  • twisted.words:IRC、XMPP和其他IM协议的客户端和服务器
  • twisted.mail:IMAPv4、POP3、SMTP客户端和服务器
  • twisted.positioning:与兼容NMEA的GPS接收机通信的工具
  • twisted.names:DNS客户端和工具,用于制作您自己的DNS服务器
  • twisted.trial:一个与基于Twisted的代码很好集成的单元测试框架。

Twisted支持所有主要的系统事件循环-select(所有平台),poll(大多数POSIX平台),epoll(Linux),kqueue(FreeBSD,macOS),IOCP (Windows),以及各种GUI事件循环(GTK+2/3,Qt,wxWidgets)。第三方反应器可以插入Twisted,并为其他事件循环提供支持。

Twisted是一个用Python写的事件驱动的网络引擎。

 文章来源地址https://www.toymoban.com/news/detail-767570.html

到了这里,关于使用scrapy爬虫出错:AttributeError: ‘AsyncioSelectorReactor‘ object has no attribute ‘_handleSignals‘的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用Scrapy框架集成Selenium实现高效爬虫

    在网络爬虫的开发中,有时候我们需要处理一些JavaScript动态生成的内容或进行一些复杂的操作,这时候传统的基于请求和响应的爬虫框架就显得力不从心了。为了解决这个问题,我们可以使用Scrapy框架集成Selenium来实现高效的爬虫。 Scrapy是一个使用Python编写的开源网络爬虫框

    2024年02月09日
    浏览(36)
  • [爬虫]3.4.1 Scrapy框架的基本使用

    Scrapy是一款强大的Python网络爬虫框架,它可以帮助你快速、简洁地编写爬虫程序,处理数据抓取、处理和存储等复杂问题。 在开始使用Scrapy之前,你需要先将其安装在你的系统中。你可以使用Python的包管理器pip来安装Scrapy: Scrapy使用一个明确的项目结构来管理爬虫。你可以

    2024年02月16日
    浏览(35)
  • Python爬虫进阶:使用Scrapy库进行数据提取和处理

    在我们的初级教程中,我们介绍了如何使用Scrapy创建和运行一个简单的爬虫。在这篇文章中,我们将深入了解Scrapy的强大功能,学习如何使用Scrapy提取和处理数据。 在Scrapy中,提取数据主要通过Selectors来完成。Selectors基于XPath或CSS表达式的查询语言来选取HTML文档中的元素。你

    2024年02月09日
    浏览(43)
  • 使用PyCharm编写Scrapy爬虫程序,爬取古诗词网站

    本次测试案例参考厦门大学数据库实验室 链接: https://dblab.xmu.edu.cn/blog/3937/ 在PyCharm中新建一个名称为“scrapyProject”的工程,如下图所示,Python解释器就选择我们之前已经安装好的 本次测试环境为 Python3.7.6 在“scrapyProject”工程底部打开Terminal窗口(如下图所示),在命令提示

    2024年02月11日
    浏览(39)
  • 爬虫学习 Scrapy中间件&代理&UA随机&selenium使用

    控制台操作 (百度只起个名 scrapy startproject mid scrapy genspider baidu baidu.com setting.py内 运行 scrapy crawl baidu middlewares.py 中间件 先看下载器中间件 重点在 process_request 在引擎将请求的信息交给下载器之前,自动的调用该方法 process_response… process_exception 异常 (看名就知道了…) spider

    2024年03月23日
    浏览(53)
  • python爬虫进阶篇:Scrapy中使用Selenium模拟Firefox火狐浏览器爬取网页信息

    接着上一篇的笔记,Scrapy爬取普通无反爬、静态页面的网页时可以顺利爬取我们要的信息。但是大部分情况下我们要的数据所在的网页它是动态加载出来的(ajax请求后传回前端页面渲染、js调用function等)。这种情况下需要使用selenium进行模拟人工操作浏览器行为,实现自动化

    2024年02月04日
    浏览(55)
  • python爬虫进阶篇:Scrapy中使用Selenium+Firefox浏览器爬取沪深A股股票行情

    上篇记录了Scrapy搭配selenium的使用方法,有了基本的了解后我们可以将这项技术落实到实际需求中。目前很多股票网站的行情信息都是动态数据,我们可以用Scrapy+selenium对股票进行实时采集并持久化,再进行数据分析、邮件通知等操作。 详情请看上篇笔记 items middlewares setti

    2024年02月04日
    浏览(57)
  • 爬虫:Scrapy热门爬虫框架介绍

    结合自身经验和内部资料总结的Python教程,每天3-5章,最短1个月就能全方位的完成Python的学习并进行实战开发,学完了定能成为大佬!加油吧!卷起来! 全部文章请访问专栏:《Python全栈教程(0基础)》 再推荐一下最近热更的:《大厂测试高频面试题详解》 该专栏对近年

    2024年02月13日
    浏览(36)
  • 爬虫---scrapy爬虫框架(详细+实战)

    ​ 活动地址:CSDN21天学习挑战赛 1、基本功能 Scrapy 是一个适用爬取网站数据、提取结构性数据的应用程序框架,它可以应用在广泛领域:Scrapy 常应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。通常我们可以很简单的通过 Scrapy 框架实现一个爬虫,抓取指

    2023年04月22日
    浏览(40)
  • 爬虫(四):Scrapy热门爬虫框架介绍

    结合自身经验和内部资料总结的Python教程,每天3-5章,最短1个月就能全方位的完成Python的学习并进行实战开发,学完了定能成为大佬!加油吧!卷起来! 全部文章请访问专栏:《Python全栈教程(0基础)》 再推荐一下最近热更的:《大厂测试高频面试题详解》 该专栏对近年

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包