Scrapy shell是Scrapy提供的一个交互式shell工具,它可以帮助我们进行爬虫的开发和调试。可以使用它来测试xpath或css表达式,查看它们是如何工作的,以及它们从你试图抓取的网页中提取的数据。它允许你在编写spider时交互地测试表达式,而无需运行spider来测试每个更改。
使用前提:已安装 ipython 安装: pip install ipython
使用步骤:
1. win+r 打开终端
2. 直接输入scrapy shell 域名 (注意:不能先进入ipython或python)
URL的基本组成部分:协议、域名、端口、路径
3. 使用:
xpath语法:
bs4语法(不建议):文章来源:https://www.toymoban.com/news/detail-795317.html
文章来源地址https://www.toymoban.com/news/detail-795317.html
到了这里,关于Python爬虫---scrapy shell 调试的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!