selenium反爬遇到的问题以及解决措施

这篇具有很好参考价值的文章主要介绍了selenium反爬遇到的问题以及解决措施。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

首先分享一下前两天爬取某宝数据时遇到的一些问题,第一个问题是模拟登陆时就被检测到了,之前的文章讲过为什么会被检测到以及应对的方法,今天分享一个更加实用的方法,

driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{
            "source":"""
              Object.defineProperty(navigator,'webdriver',{
                get: () => undefined
              })
              """
        })

 加入这段代码以后可以规避掉网站对selenium的检测

下面分享一下遇到的一些问题,

第一个问题, execute_cdp_cmd这个函数无法找到,原因是selenium版本过低,更新到最                                 新的selenium的版本

第二个问题,有的网站加载页面过慢,可以使用wait.until方法,字面意思直到定位到指定位置再                      进行下一步的操作

第三个问题,单次爬取的信息量大,此时就需要程序主动的休眠,使用time即可

第四个问题,webdriver的问题,我也遇到过很多次webdriver出错的情况,无非三种情况:

                     1.webdriver版本过低,需要更新到与谷歌浏览器最接近的版本

                     2.路径问题:每次加上webdriver的路径

                     3. 系统环境问题,有的大型的网站就需要mac和windows两个系统的版本例如某宝文章来源地址https://www.toymoban.com/news/detail-619083.html

到了这里,关于selenium反爬遇到的问题以及解决措施的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • slurm安装遇到的问题以及解决办法

    1、如何 初始化分区(节点) 状态(将drain状态转为idel) sudo scontrol update NodeName= roota-X299-UD4-Pro State=RESUME 2、如何 删除节点上的任务 (占用的和申请中的) (149条消息) SLURM 节点状态总是drained问题_kongxx的博客-CSDN博客_slurm drain scancel 16(进程号) 3、查看分区信息和节点信息 查看

    2024年02月03日
    浏览(47)
  • 开发过程中遇到的问题以及解决方法

    巩固基础,砥砺前行 。 只有不断重复,才能做到超越自己。 能坚持把简单的事情做到极致,也是不容易的。 简单易用的git命令 git命令: 查看有几个分支:git branch -a 切换分支:git checkout 分支名称 下载项目:git clone url 拉取项目:每次提交代码之前都需要,相当于更新代码

    2024年02月13日
    浏览(45)
  • 前端(一)——前端开发遇到的普遍问题以及解决策略

    😄博主:小猫娃来啦 😄文章核心: 前端开发遇到的普遍问题以及解决策略 有人说vue框架是基于mvvm实现的?这种说法对吗? mvc和mvvm的区别是什么? mvvm是否是mvc的升级? mvvm和mvc有什么关系?为什么有人说mvvm是基于mvc实现的? 什么时候使用mvc模式,什么时候使用mvvm模式?

    2024年02月08日
    浏览(41)
  • 微信小程序picker组件遇到的问题以及解决办法

    先来看一下官方文档中picker的基本概念: 从底部弹起的滚动选择器,现支持三种选择器,通过mode来区分,分别是普通选择器,时间选择器,日期选择器,默认是普通选择器。 重要属性 range: 选取范围,数据类型为Array / Object Array,mode为 普通选择器 时,range 有效; value:

    2024年02月11日
    浏览(50)
  • 学习python中遇到的问题:selenium 程序执行完之后,Chrome闪退的解决方法‘

    可能因为版本更新,没下载好choredriver对应的,对应驱动下载win x32版,系统是win x64可正常使用,这也是当时疑惑的点 1打开关于chrome设置关于的页面,在这里就可以看到google chrome浏览器的版本号了. 2.通过自己的版本下载相应的chromedriver.exe 对比步骤: 打开下载链接: http:

    2024年01月23日
    浏览(47)
  • 【java面试】Java开发当中遇到的问题以及解决方法(147)

    问题一: 每个公司都有部门树结构,但是大公司的部门树每年可能会发生调整; 一般开发中我们都是直接根据部门ID去查询或者过滤数据或者做权限管控; 部门调整以后,可能就会查询不到数据或者过滤数据出问题; 如何解决 :每年调整的部门ID和原来的部门ID做映射关系(

    2024年01月24日
    浏览(47)
  • 【ElasticSearch】一键安装ElasticSearch与Kibana以及解决遇到的问题

    目录 一、安装ES 二、安装Kibana 三、遇到的问题 按顺序复制即可 docker network create es-net # 创建网络 docker pull elasticsearch:7.12.1 # 拉取镜像 mkdir -p /root/es/data # 创建数据卷 mkdir -p /root/es/plugins # 创建数据卷 chmod 777 /root/es/** # 设置权限 docker run -d --name=es -e \\\"ES_JAVA_OPTS=-Xms512m -Xmx512m\\\" -

    2024年02月12日
    浏览(47)
  • h5 视频全屏-横屏实现,遇到问题以及解决方案

    最近需要实现h5 视频全屏也就是横屏,横屏后需要将相关视频展现在侧边栏。考虑到h5是不能让手机强制横屏的,只能考虑用css 样式上横屏显示video 思路就是--利用position:fixed 定位,对于视频容器元素 transform 旋转90deg,容器的宽高调整为如下 但是遇到一个问题,就是旋转后

    2024年02月13日
    浏览(48)
  • 使用再生龙镜像备份还原linux,以及遇到的问题和解决方法

    准备工作: rufus镜像刻录软件 再生龙镜像 20G以上的u盘(系统备份文件的大小与系统盘的大小有关。200G的固态备份之后要占用10G左右空间) rufus: 链接:https://pan.baidu.com/s/133wksMYJ8NHaWpXRPKEr_w 提取码:kgrd –来自百度网盘超级会员V2的分享 再生龙镜像文件: 链接:https://pan.bai

    2024年02月03日
    浏览(75)
  • UE4 关于使用Webbrowser插件遇到的问题以及解决办法

    解决办法:第一种办法,重新编译了cef源码,改成支持H.264,然后在UE4安装目录下替换相关文件,网上有教程自己搜。第二种办法是直接找改好的插件,桃宝 解决办法:使用webbrowser的ExecuteJavascript函数执行js代码,这段代码的大概意思就是将滑动条的长宽设置为0以此来达到隐

    2024年02月12日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包