玩爬虫的时候，遇到了很多不能爬取的问题，网页为空、返回码出错（400、412）、图片不展示但源码中存在图片链接等，问题通常都是服务器检测到浏览器是自动化爬取。
文章记录一下通用解决办法文章来源：https://www.toymoban.com/news/detail-622260.html
import time
from selenium import webdriver
from webdriver_manager.chrome import ChromeDriverManager
# Chromedriver_path = ''
options = webdriver.ChromeOptions()
options.add_argument("--disable-extensions")
options.add_argument("--disable-gpu")
options.add_experimental_option("excludeSwitches", ["enable-automation"])
options.add_experimental_option("useAutomationExtension", False)
driver = webdriver.Chrome(ChromeDriverManager().install()) # 参数也可指定Chromedriver_path
driver.execute_cdp_cmd("Network.enable", {})
driver.execute_cdp_cmd("Network.setExtraHTTPHeaders", {"headers": {"User-Agent": "browserClientA"}})
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": """
Object.defineProperty(navigator, 'webdriver', {
get: () => undefined
})
"""
})
driver.get('***url***')
html = driver.page_source
time.sleep(3)
print(html)
driver.close()
一本万利的方法（不用手动配置这么多参数）：
undetected_chromedriver包内部加了很多参数和script代码段，如有其他语言玩爬虫遇到相同问题也可以参照解决。文章来源地址https://www.toymoban.com/news/detail-622260.html
import undetected_chromedriver as uc
from webdriver_manager.chrome import ChromeDriverManager
driver = uc.Chrome(driver_executable_path=ChromeDriverManager().install())
到了这里，关于selenium反爬driver配置（通用）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
