python爬虫返回403错误?加了请求头+代理也解决不了 >>看这

这篇具有很好参考价值的文章主要介绍了python爬虫返回403错误?加了请求头+代理也解决不了 >>看这。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、问题分析

【疑惑】:使用python的requests库发起get或post请求返回403代码错误,使用postman发起请求发现状态码<200>竟然成功了。这是什么原因?首先排除ip问题,ip有问题的话postman也访问不了。难道是headers出现了问题吗,通过对比发现也不是headers的问题。那就奇了怪了?

【解疑】:其实遇到这种情况大概率是遇到了“原生模拟浏览器 TLS/JA3 指纹的验证”,浏览器和postman都有自带指纹验证,而唯独requests库没有。这就让反爬有了区分人为和爬虫的突破口。

二、问题解决

1、使用 pyhttpx 库(速度慢)

pip install pyhttpx==2.10.0文章来源地址https://www.toymoban.com/news/detail-524086.html

import pyhttpx

headers = {
   
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) C

到了这里,关于python爬虫返回403错误?加了请求头+代理也解决不了 >>看这的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • (待解决)java项目,nginx代理,请求200,但页面返回空白,响应体为空

    由于模拟分布式项目,只有一台主机(win10:192.168.31.225),一台虚拟机(centOS:192.168.204.81),需要通过win10主机的host的文件,将不同的域名都映射到虚拟机。 然后通过nginx作为代理服务器(安装在cengtOS的docker容器中),实现动静分离、反向代理和负载均衡。 nginx将请求转给

    2024年01月20日
    浏览(39)
  • 403错误是一种常见的HTTP状态码,表示服务器拒绝了请求

    403错误是一种常见的HTTP状态码,表示服务器拒绝了请求。出现403错误通常意味着客户端没有访问所请求资源的权限。以下是导致403错误的几个可能原因以及相关的编程示例: 权限配置错误:403错误可能是由于服务器权限配置错误导致的。在某些情况下,服务器可能需要用户

    2024年02月04日
    浏览(55)
  • ruoyi若依前后端分离项目部署到服务器后,PUT DELETE请求403错误,GET POST请求正常

    后端打包方式war,部署到tomcat8, PUT DELETE请求报403错误,网上有三种说法 第一种是跨域请求问题 第二种是服务器没有放开了PUT DELETE请求,需要前端添加header ruoyi vue 自动生成代码PUT DELETE为http不安全方法,这个怎么解决安全问题 · Issue #I43AX6 · 若依/RuoYi-Vue - Gitee.com 用域名访问

    2024年01月17日
    浏览(56)
  • 解决 IIS HTTP 403 错误问题

    最近上传附件 IIS 总是返回 HTTP 403 错误,在踩了很多配置的坑之后,终于把问题解决了,于是特意写了本篇文章。 虽然网络上的文章不少,大都写的没错,但是他们没有很清晰的把问题描述清楚,导致一些新手在看这些文章跟着处理问题的时候难免会踩坑,于是我就以我踩坑

    2024年02月01日
    浏览(61)
  • Nginx出现403错误,应该怎么解决

    Nginx出现403错误,应该怎么解决 Nginx在实际工作中扮演了多重角色,包括Web服务器、反向代理服务器、负载均衡器、静态资源服务器、缓存服务器以及SSL/TLS终结点等。其高性能、可靠性和灵活性使得Nginx成为现代应用架构中不可或缺的组件,帮助提供高效、安全且可扩展的服

    2024年02月08日
    浏览(42)
  • Python爬虫之解决浏览器等待与代理隧道问题

    作为专业爬虫程序员,我们往往需要应对一些限制性挑战,比如浏览器等待和使用代理隧道。在Python爬虫开发中,这些问题可能会导致我们的爬虫受阻。本文将为你分享解决这些问题的方案,帮助你顺利应对浏览器等待和代理隧道的挑战! 一、浏览器等待问题 浏览器等待是

    2024年02月12日
    浏览(42)
  • git push代码报403错误解决方法

    使用git push -u origin main命令向GitHub仓库推送代码时,报错,错误信息如下 remote: Permission to xxx/xxx.git denied to (username2). fatal: unable to access \\\'https://github.com/username1/xxx.git/\\\': The requested URL returned error: 403 其中,上面的username2是本地git的用户名,与GitHub上的用户名username1不一致。 win1

    2024年02月14日
    浏览(46)
  • react反向代理:http请求状态返回200,控制台预览和响应没有返回值是怎么回事

     今天调试接口的时候遇到这样的情况:         http请求状态返回200,控制台预览和响应没有返回值。如下图所示: 对照之前的请求地址,发现调试的这个请求地址跟原来的请求地址相比较多了一个前缀,再查看proxy代理文件,发现按照原来的请求地址做了反向代理,将

    2024年02月11日
    浏览(67)
  • 网站出现403 Forbidden错误的原因以及怎么解决的方法

    这几天刚接手一批新做的网站,在访问网站的时候,会时不时的出现403 Forbidden错误,浏览器会给出403 Forbidden错误提示,在打开Access Error中列出的URL之后, 出现以下错误: 403 Forbidden Access to this resource on the server is denied! Powered By LiteSpeed Web Server LiteSpeed Technologies is not responsible

    2024年02月06日
    浏览(62)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包