在selenium的爬取过程中,一些网站会因为缓存问题导致一直访问同一个网页。所以想要当爬取多少条后就清楚下浏览器所有数据。
看了些网上的方法:
其中通过chrome浏览器访问这个网址
chrome://settings/privacy
进行操作清除数据,是我认为好操作的。
但审核元素时发现如下结构。
方法:
让selenium执行js点击的方法来实现
代码如下文章来源:https://www.toymoban.com/news/detail-505295.html
driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("#clearBrowsingData").shadowRoot.querySelector("#subLabel").click()')
time.sleep(2)
driver.execute_script('document.querySelector("body > settings-ui").shadowRoot.querySelector("#main").shadowRoot.querySelector("settings-basic-page").shadowRoot.querySelector("#basicPage > settings-section:nth-child(9) > settings-privacy-page").shadowRoot.querySelector("settings-clear-browsing-data-dialog").shadowRoot.querySelector("#clearBrowsingDataConfirm").click()')
休息2秒是因为driver.execute_script是异步的。第一条没执行完,会执行下一条。会出错,为了保证,所以暂停2秒,保证他们隔开。文章来源地址https://www.toymoban.com/news/detail-505295.html
到了这里,关于selenium遇到自定义标签没法爬的时候的解决方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!