selenium遇到自定义标签没法爬的时候的解决方法

7月前作者：五行阿尔法分类：Toy博客阅读(37) 违法举报

这篇具有很好参考价值的文章主要介绍了selenium遇到自定义标签没法爬的时候的解决方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

在selenium的爬取过程中，一些网站会因为缓存问题导致一直访问同一个网页。所以想要当爬取多少条后就清楚下浏览器所有数据。

看了些网上的方法：

其中通过chrome浏览器访问这个网址

chrome://settings/privacy

进行操作清除数据，是我认为好操作的。

但审核元素时发现如下结构。
selenium遇到自定义标签没法爬的时候的解决方法

方法：

selenium遇到自定义标签没法爬的时候的解决方法

让selenium执行js点击的方法来实现

代码如下

  driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("#clearBrowsingData").shadowRoot.querySelector("#subLabel").click()')
    time.sleep(2)
    driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("settings-clear-browsing-data-dialog").shadowRoot.querySelector("#clearBrowsingDataConfirm").click()')

休息2秒是因为driver.execute_script是异步的。第一条没执行完，会执行下一条。会出错，为了保证，所以暂停2秒，保证他们隔开。文章来源地址https://www.toymoban.com/news/detail-505295.html

到了这里，关于selenium遇到自定义标签没法爬的时候的解决方法的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

[python] selenium:chromedriver user-data-dir 遇到报错的解决方法

这个问题困扰了我一个多小时,就在csdn记录一下吧 session not created: DevToolsActivePort file doesn’t exist chrome.exe is no longer running, so ChromeDriver is assuming that Chrome has crashed. 我不翻译了,因为根本乱说,开发者不要冲过来揍我啊找了好多网都没有解释,有看到用’–remote-debugging-pipe’指令

2024年03月12日
浏览(70)
使用selenium时遇到的报错selenium.common.exceptions.WebDriverException: Message: Service xxxxstaus:1详解及解决方法详解

在开始之前，分享一下使用selenium常遇到的几个问题和报错： 1.首先就是版本问题的报错：selenium.common.exceptions.NoSuchWindowException: Message: no such window: target window already closed。遇到这种情况，就是chromedriver的版本和Chrome版本不对应造成的，解决方法是：首先要打开Chrome，在右

2024年02月12日
浏览(33)
selenium 使用chrome_driver自动化操作Google浏览器，调试的时候没有提示，但是编译后就提示一些错误的解决方法

使用chrome_driver自动化操作Google浏览器，调试的时候没有提示，但是编译后就提示一些错误的解决方法： 1、提示 ERROR:ssl_client_socket_impl.cc(975)] handshake failed; returned -1, SSL error code 1, net_error -101：添加： 2、提示 USB: usb_device_win.cc:95 Failed to read descriptors from \\\\?usb#vid_0e8dpid_201d

2024年02月04日
浏览(37)
Selenium + webdriver manager遇到 “ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接”异常的解决方法

今天使用selenium工具测试目标网页时，平时可以正常使用的代码突然报错： ConnectionResetError: [WinError 10054] 远程主机强迫关闭了一个现有的连接。代码如下：本来以为是每次运行脚本时，忘了关闭driver，导致对方服务器识别为恶意攻击，触发反爬虫机制，于是加上并且按照别

2024年02月15日
浏览(41)
快来学selenium初阶到高阶的使用,反爬的案例解析,google驱动的安装配置

第一步: 打开这个链接后会有很多个压缩包,这个里面都是Google的驱动,但是你要根据自己的浏览器版本号去下载相应的驱动,当然火狐浏览器不需要去下载相应版本号的驱动浏览器版本号查看步骤下载到对应版本号的驱动后解压得到下面这个可执行文件第二步: 要把这个可执行

2024年02月05日
浏览(25)
在运行makefile文件的时候遇到 /bin/sh: 1: XXXXX: not found问题解决

解决方案 1、命令行操作可以正常操作，在makefile操作出现 /bin/sh: 1: XXXXX: not found 问题； 2、先 which XXXXX 找到命令绝对路径； 3、在makefile内 XXXXX 前加上绝对路径以下是我遇到的问题及我结局时候的操作流程： 1、首先描述问题情况在使用makefile操作的时候提示编译器找不

2023年04月17日
浏览(69)
selenium自动化的时候网址重定向问题的解决思路

因为我们系统是用企业微信扫码登录的，就输入网址 management-xxx.xxx.com 以后，url就会重定向到企业微信授权的url ： https://open.work.weixin.qq.com/wwopen/sso/3rd_qrConnect?state=xxxredirect_uri=management-xxx.xxx.com ，直到获取auth_code之后登录成功，然后再跳回首页。但是因为重定向导致domain变了

2024年02月05日
浏览(37)
Selenium 4.+.+ 标签定位8种方法详解

Selenium4使用find_element(by=By.**, value=*)来替换了原来的find_element_by_* 的方法，使用find_elements(by=By.*, value=*)来替换了原来的find_elements_by_* 的方法。 By类定义在 site-packagesseleniumwebdrivercommonby.py中: 元素本身是什么：HTML静态页面中的的一个标签元素定位一般而言是基于元素自身所

2024年02月07日
浏览(30)
Selenium 4.2.0 标签定位8种方法

Selenium4使用find_element(by=By.**, value=*)来替换了原来的find_element_by_* 的方法，使用find_elements(by=By.*, value=*)来替换了原来的find_elements_by_* 的方法。 By类定义在 site-packagesseleniumwebdrivercommonby.py中: 这就是Selenium4的8种定位方法元素本身是什么：HTML静态页面中的的一个标签元素定位

2023年04月08日
浏览(30)
使用selenium解决svg标签定位问题

使用正常的定位方式无法识别到svg标签；解决方法： //div[@class=“ant-table-tbody”]/ [name()=“svg”]/ [name()=“use”]

2024年02月12日
浏览(31)