首先分享一下前两天爬取某宝数据时遇到的一些问题,第一个问题是模拟登陆时就被检测到了,之前的文章讲过为什么会被检测到以及应对的方法,今天分享一个更加实用的方法,
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument",{
"source":"""
Object.defineProperty(navigator,'webdriver',{
get: () => undefined
})
"""
})
加入这段代码以后可以规避掉网站对selenium的检测
下面分享一下遇到的一些问题,
第一个问题, execute_cdp_cmd这个函数无法找到,原因是selenium版本过低,更新到最 新的selenium的版本
第二个问题,有的网站加载页面过慢,可以使用wait.until方法,字面意思直到定位到指定位置再 进行下一步的操作
第三个问题,单次爬取的信息量大,此时就需要程序主动的休眠,使用time即可
第四个问题,webdriver的问题,我也遇到过很多次webdriver出错的情况,无非三种情况:
1.webdriver版本过低,需要更新到与谷歌浏览器最接近的版本
2.路径问题:每次加上webdriver的路径文章来源:https://www.toymoban.com/news/detail-619083.html
3. 系统环境问题,有的大型的网站就需要mac和windows两个系统的版本例如某宝文章来源地址https://www.toymoban.com/news/detail-619083.html
到了这里,关于selenium反爬遇到的问题以及解决措施的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!