selenium遇到自定义标签没法爬的时候的解决方法

这篇具有很好参考价值的文章主要介绍了selenium遇到自定义标签没法爬的时候的解决方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在selenium的爬取过程中,一些网站会因为缓存问题导致一直访问同一个网页。所以想要当爬取多少条后就清楚下浏览器所有数据。

看了些网上的方法:

其中通过chrome浏览器访问这个网址

chrome://settings/privacy

进行操作清除数据,是我认为好操作的。

但审核元素时发现如下结构。
selenium遇到自定义标签没法爬的时候的解决方法

方法:

selenium遇到自定义标签没法爬的时候的解决方法

让selenium执行js点击的方法来实现

代码如下

  driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("#clearBrowsingData").shadowRoot.querySelector("#subLabel").click()')
    time.sleep(2)
    driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("settings-clear-browsing-data-dialog").shadowRoot.querySelector("#clearBrowsingDataConfirm").click()')
    

休息2秒是因为driver.execute_script是异步的。第一条没执行完,会执行下一条。会出错,为了保证,所以暂停2秒,保证他们隔开。文章来源地址https://www.toymoban.com/news/detail-505295.html

到了这里,关于selenium遇到自定义标签没法爬的时候的解决方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [python] selenium:chromedriver user-data-dir 遇到报错的解决方法

    这个问题困扰了我一个多小时,就在csdn记录一下吧 session not created: DevToolsActivePort file doesn’t exist chrome.exe is no longer running, so ChromeDriver is assuming that Chrome has crashed. 我不翻译了,因为根本乱说,开发者不要冲过来揍我啊 找了好多网都没有解释,有看到用’–remote-debugging-pipe’指令

    2024年03月12日
    浏览(82)
  • 使用selenium时遇到的报错selenium.common.exceptions.WebDriverException: Message: Service xxxxstaus:1详解及解决方法详解

    在开始之前,分享一下使用selenium常遇到的几个问题和报错: 1.首先就是版本问题的报错:selenium.common.exceptions.NoSuchWindowException: Message:    no such window: target window already closed。遇到这种情况,就是chromedriver的版本和Chrome版本不对应造成的,解决方法是: 首先要打开Chrome,在右

    2024年02月12日
    浏览(44)
  • selenium 使用chrome_driver自动化操作Google浏览器,调试的时候没有提示,但是编译后就提示一些错误的解决方法

    使用chrome_driver自动化操作Google浏览器,调试的时候没有提示,但是编译后就提示一些错误的解决方法: 1、提示  ERROR:ssl_client_socket_impl.cc(975)] handshake failed; returned -1, SSL error code 1, net_error -101: 添加: 2、提示  USB: usb_device_win.cc:95 Failed to read descriptors from \\\\?usb#vid_0e8dpid_201d

    2024年02月04日
    浏览(50)
  • Selenium + webdriver manager遇到 “ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接”异常的解决方法

    今天使用selenium工具测试目标网页时,平时可以正常使用的代码突然报错: ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。 代码如下: 本来以为是每次运行脚本时,忘了关闭driver,导致对方服务器识别为恶意攻击,触发反爬虫机制,于是加上 并且按照别

    2024年02月15日
    浏览(50)
  • 快来学selenium初阶到高阶的使用,反爬的案例解析,google驱动的安装配置

    第一步: 打开这个链接后会有很多个压缩包,这个里面都是Google的驱动,但是你要根据自己的浏览器版本号去下载相应的驱动,当然火狐浏览器不需要去下载相应版本号的驱动 浏览器版本号查看步骤 下载到对应版本号的驱动后解压得到下面这个可执行文件 第二步: 要把这个可执行

    2024年02月05日
    浏览(34)
  • 在运行makefile文件的时候遇到 /bin/sh: 1: XXXXX: not found问题解决

    解决方案  1、命令行操作可以正常操作,在makefile操作出现 /bin/sh: 1: XXXXX: not found 问题; 2、先  which  XXXXX 找到命令绝对路径; 3、在makefile内 XXXXX 前加上绝对路径 以下是我遇到的问题及我结局时候的操作流程: 1、首先描述问题情况 在使用makefile操作的时候提示编译器找不

    2023年04月17日
    浏览(82)
  • selenium自动化的时候网址重定向问题的解决思路

    因为我们系统是用企业微信扫码登录的,就输入网址 management-xxx.xxx.com 以后,url就会重定向到企业微信授权的url : https://open.work.weixin.qq.com/wwopen/sso/3rd_qrConnect?state=xxxredirect_uri=management-xxx.xxx.com ,直到获取auth_code之后登录成功,然后再跳回首页。 但是因为重定向导致domain变了

    2024年02月05日
    浏览(50)
  • Selenium 4.+.+ 标签定位8种方法详解

    Selenium4使用find_element(by=By.**, value=*)来替换了原来的find_element_by_* 的方法,使用find_elements(by=By.*, value=*)来替换了原来的find_elements_by_* 的方法。 By类定义在 site-packagesseleniumwebdrivercommonby.py中: 元素本身是什么:HTML静态页面中的的一个标签 元素定位一般而言是基于元素自身所

    2024年02月07日
    浏览(38)
  • Selenium 4.2.0 标签定位8种方法

    Selenium4使用find_element(by=By.**, value=*)来替换了原来的find_element_by_* 的方法,使用find_elements(by=By.*, value=*)来替换了原来的find_elements_by_* 的方法。 By类定义在 site-packagesseleniumwebdrivercommonby.py中: 这就是Selenium4的8种定位方法 元素本身是什么:HTML静态页面中的的一个标签 元素定位

    2023年04月08日
    浏览(35)
  • 使用selenium解决svg标签定位问题

    使用正常的定位方式无法识别到svg标签; 解决方法: //div[@class=“ant-table-tbody”]/ [name()=“svg”]/ [name()=“use”]

    2024年02月12日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包