Python scrapy爬取带验证码的列表数据

这篇具有很好参考价值的文章主要介绍了Python scrapy爬取带验证码的列表数据。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先所需要的环境:(我用的是Python2的,可以选择python3,具体遇到的问题自行解决,目前我这边几百万的数据量爬取)
环境:

Python 2.7.10 
Scrapy Scrapy 1.5.0
第三方库:
PyMySQL==0.8.0
Scrapy==1.5.0
pytesseract==0.2.0
pip==10.0.1
Pillow==5.1.0
logger==1.4
bs4==0.0.1
requests==2.18.4

创建项目 
scrapy startproject mytest
创建爬虫程序
cd mytest 
scrapy genspider name XXX.com

直接贴代码具体需要注意的特殊颜色标出有注释

-- coding: utf-8 --

import scrapy 
import pytesseract  #验证码识别库
from PIL import Image #验证码图片处理
from scrapy.http import Request
from yishi.items import YishiItem #items定义爬取字段
from yishi.settings import MYSQL_HOST, MYSQL_DBNAME, MYSQL_USER, MYSQL_PASSWD #settings数据库配置 
import pymysql #连接数据库
import logging #打印日志
#设置日志
log_filename = '../static/data/info.log'
logging.basicConfig(filename=log_filename, filemode='a', level=logging.INFO)  
class CreditSpider(scrapy.Spider):
	name = 'name'
	baseURL = 'https://xxx.com' 
	#start_urls = ''
	#设置headers,打开网页直接看请求headers复制进去就可以了
	headers = {
		'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
		'Accept-Encoding': 'gzip, deflate, br',
		'Connection': 'keep-alive',
		'Host': 'xxx',
		'Upgrade-Insecure-Requests': 1,
		'User-Agent': 'xxx',
	}
	#数据库
	connect = pymysql.connect(
		host=MYSQL_HOST,
		db=MYSQL_DBNAME,
		user=MYSQL_USER,
		passwd=MYSQL_PASSWD,
		charset='utf8',
		use_unicode=True)

	#重写start_requests
	def start_requests(self):
		return [Request(self.baseURL+'xxx',
						headers=self.headers,
						callback=self.parse,
						dont_filter=True, #scrapy会对request的URL去重(RFPDupeFilter),加上dont_filter则告诉它这个URL不参与去重
						)
				]

	#首先需要请求一次网页
	def parse(self, response):
		#每次查询1条数据,搜索列表所需要的条件
		cursor = self.connect.cursor()
		sql = 'select id,xxx,xxx,xxx from xxx where xxx order by id limit 1'
		cursor.execute(sql)
		res = cursor.fetchall()
		if res:
			#请求网站所需要的参数,搜索条件
			data = {
				"xxx": res[0][1],
				"xxx": '',
				"xxx": '',
				"xxx": res[0][2],
				"xxx": '',
				"xxx": '',
				"xxx": '',
			}
			cursor.close()
			return scrapy.Request(self.baseURL + '/xxx/captcha',  #验证码图片地址
								  headers=self.headers, 
								  meta={'data': data, 'dr_id': res[0][0], 'static': res[0][3], 'len': len(res)}, #第一次请求的参数传给下次请求,可以保存cookie之类的
								  callback=self.creditRes,
								  dont_filter=True
								  )
		else:
			#数据表中条件没有的时候结束爬虫,每次爬取要更新下条件表
			print '执行完毕!'
			pass

	#再次请求存验证码图片
	def creditRes(self, response):
			#保存验证码
			captchaFile = '../static/images/code/captcha.png'
			with open(captchaFile, 'wb') as f:
				f.write(response.body)
			try:
				#pytesseract识别验证码
				image = Image.open(captchaFile)
				captcha_value = pytesseract.image_to_string(image)
				print '验证码为:'+captcha_value
			except:
				#验证码失败 重新请求
				logging.info('验证码获取失败')
				return self.start_urls
			#识别后的验证码作为参数使用
			data = response.meta.get("data")
			data["validCode"] = captcha_value

			return [scrapy.FormRequest(
				url=self.baseURL+'xxx',  #带上全部参数再次请求取数据
				formdata=data,
				method='GET',
				meta={'dr_id': response.meta.get("dr_id"), 'static': response.meta.get("static"), 'len': response.meta.get("len"),
					  'captcha_value': captcha_value}, #带上部分参数保存或更新状态用
				headers=self.headers,
				callback=self.creditdata,
				dont_filter=True,
			)]

	def creditdata(self, response):
		#获取验证码错误内容,识别验证是否成功
		code_data = response.xpath("//span[@class='error']")
		if code_data:
			code = code_data.xpath(".//text()").extract()[0].decode('UTF-8')
			logging.info('验证码校验失败,验证码:'+str(response.meta.get("captcha_value")))
		else:
			code = ''
		#验证码错误时不更新状态,继续重复爬取
		dr_id = response.meta.get("dr_id")
		#不存在验证码识别更新状态,插入数据
		if code.strip() not in ('验证码错误', '验证码不能为空'):
			cursor = self.connect.cursor()
			sql = 'update xxx set status=%s where id=%s' % (1, dr_id)
			cursor.execute(sql)
			self.connect.commit()
			cursor.close()
		else:
			#验证码失败不更新状态
			logging.info('验证码错误')

		node_list = response.xpath("//table[@id='formresult']/tbody/tr")
		# 更新状态 0还未抓取数据 1已经抓取
		logging.info('当前执行条件表id为'+ str(dr_id))
		if node_list:
			for node in node_list:
				item = YishiItem()
				item['xxx'] = dr_id
				item['xxx'] = node.xpath(".//td[1]/text()").extract()[0].decode('UTF-8')
				item['xxx'] = node.xpath(".//td[2]/text()").extract()[0].decode('UTF-8')
				item['xxx'] = node.xpath(".//td[3]/text()").extract()[0].decode('UTF-8')
				item['xxx'] = node.xpath(".//td[4]/text()").extract()[0].decode('UTF-8')
				item['xxx'] = node.xpath(".//td[5]/text()").extract()[0].decode('UTF-8')
				item['xxx'] = node.xpath(".//td[6]/text()").extract()[0].decode('UTF-8')
				item['xxx'] = node.xpath(".//td[7]/text()").extract()[0].decode('UTF-8')
				yield item
		#分页数据,根据下一页爬取,可获取下页按钮状态去爬取分页数据
		nextPage = response.xpath("//a[@class='disable' and @class='next']")
		if nextPage:
			if not len(nextPage):
				#下一页a标签url
				url = response.xpath("//a[@class='disable' and @class='next']/@href").extract()[0]
				yield scrapy.Request(self.baseURL+'/'+url, callback=self.creditdata)

		# 根据状态status=0判断是否继续爬取数据
		len = response.meta.get("len")
		if not len == 0:
			yield scrapy.Request(self.baseURL+'xxx',
								 headers=self.headers,
								 callback=self.parse,
								 dont_filter=True)


items设置:
	xxx = scrapy.Field()
	xxx = scrapy.Field()
...

pipelines存数据库这个就不说了根据自己的业务
注:目前我网站验证码比较简单可以直接使用pytesseract,识别率95%以上,也可以用别的方式CNN等方式识别
个人感觉用 requests.get() 方式写要简单一些,本地已测试过,根据业务需求用scrapy完成的。
requests.get() 主要问题就是 session = requests.session() 这句是重点文章来源地址https://www.toymoban.com/news/detail-801032.html

到了这里,关于Python scrapy爬取带验证码的列表数据的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 网络爬虫丨基于scrapy+mysql爬取博客信息并保存到数据库中

    本期内容 :基于scrapy+mysql爬取博客信息并保存到数据库中 实验需求 anaconda丨pycharm python3.11.4 scrapy mysql 项目下载地址:https://download.csdn.net/download/m0_68111267/88740730 本次实验实现了:使用Scrapy框架爬取博客专栏的目录信息并保存到MySQL数据库中,实验主要涉及到Python的爬虫技术以

    2024年01月17日
    浏览(44)
  • python爬虫进阶篇:Scrapy中使用Selenium模拟Firefox火狐浏览器爬取网页信息

    接着上一篇的笔记,Scrapy爬取普通无反爬、静态页面的网页时可以顺利爬取我们要的信息。但是大部分情况下我们要的数据所在的网页它是动态加载出来的(ajax请求后传回前端页面渲染、js调用function等)。这种情况下需要使用selenium进行模拟人工操作浏览器行为,实现自动化

    2024年02月04日
    浏览(73)
  • 爬虫学习笔记-scrapy链接提取器爬取读书网链接写入MySQL数据库

    1.终端运行scrapy startproject scrapy_read,创建项目 2.登录读书网,选择国学(随便点一个) 3.复制链接(后面修改为包括其他页)  4.创建爬虫文件,并打开  5.滑倒下方翻页处,右键2,点击检查,查看到a标签网址,复制 6.修改爬虫文件规则allow(正则表达式),\\\'d\\\'表示数字,\\\'+\\\'表示多个,\\\'.\\\'使\\\'.\\\'生效

    2024年02月19日
    浏览(45)
  • Python爬虫之Scrapy框架系列(21)——重写媒体管道类实现保存图片名字自定义及多页爬取

    spider文件中要拿到图片列表并yield item; item里需要定义特殊的字段名:image_urls=scrapy.Field(); settings里设置IMAGES_STORE存储路径,如果路径不存在,系统会帮助我们创建; 使用默认管道则在s

    2024年02月10日
    浏览(76)
  • python爬虫进阶篇:Scrapy中使用Selenium+Firefox浏览器爬取沪深A股股票行情

    上篇记录了Scrapy搭配selenium的使用方法,有了基本的了解后我们可以将这项技术落实到实际需求中。目前很多股票网站的行情信息都是动态数据,我们可以用Scrapy+selenium对股票进行实时采集并持久化,再进行数据分析、邮件通知等操作。 详情请看上篇笔记 items middlewares setti

    2024年02月04日
    浏览(63)
  • python爬虫 scrapy+selenium+webdriver实现鼠标滑动破解阿里云盾快验证

    在爬取jianshu文章的时候发现,jianshu竟然买了阿里云的盾块验证!!!很是头疼,虽然说没有其他图片匹配的那么麻烦,但是阿里云的人机验证和算法真的是顶尖的,查阅了多个资料最后没办法,才实现用webdriver模拟鼠标去通过验证 首先我们需要安装webdriver驱动和Google Chrom

    2024年02月03日
    浏览(58)
  • scrapy爬虫爬取多网页内容

    摘要 :此案例是爬取目标网站( https://tipdm.com/ )的 新闻中心 板块的 公司新闻 中所有新闻的标题、发布时间、访问量和新闻的文本内容。 我使用的是 Anaconda prompt 我们使用如下命令创建scrapy项目: scrapy startproject spider_name 爬虫路径 spider_name 是项目的名字 爬虫路径 就是项目

    2023年04月21日
    浏览(38)
  • Python小姿势 - Python爬取数据的库——Scrapy

    Python爬取数据的库——Scrapy 一、爬虫的基本原理 爬虫的基本原理就是模拟人的行为,使用指定的工具和方法访问网站,然后把网站上的内容抓取到本地来。 爬虫的基本步骤: 1、获取URL地址: 2、发送请求获取网页源码; 3、使用正则表达式提取信息; 4、保存数据。 二、爬

    2024年02月02日
    浏览(40)
  • 爬虫学习笔记-scrapy爬取电影天堂(双层网址嵌套)

      1.终端运行scrapy startproject movie,创建项目 2.接口查找  3.终端cd到spiders,cd scrapy_carhome/scrapy_movie/spiders,运行 scrapy genspider mv https://dy2018.com/ 4.打开mv,编写代码,爬取电影名和网址 5.用爬取的网址请求,使用meta属性传递name ,callback调用自定义的parse_second 6.导入ScrapyMovieItem,将movie对象

    2024年02月19日
    浏览(50)
  • 网络爬虫丨基于scrapy+mysql爬取博客信息

    本期内容 :基于scrapy+mysql爬取博客信息并保存到数据库中 实验需求 anaconda丨pycharm python3.11.4 scrapy mysql 项目下载地址:https://download.csdn.net/download/m0_68111267/88740730 本次实验实现了:使用Scrapy框架爬取博客专栏的目录信息并保存到MySQL数据库中,实验主要涉及到Python的爬虫技术以

    2024年03月18日
    浏览(54)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包