初始写法
from selenium import webdriver
from bs4 import BeautifulSoup
import csv
import time
driver = webdriver.Chrome()
url = 'https://www.aqistudy.cn/historydata/monthdata.php?city=%E5%8C%97%E4%BA%AC'
driver.get(url)
# 发现没有数据,因为 默认情况下 代码控制的浏览器 有 很多特征 被检测到了
如何去除这些特征
from selenium.webdriver.chrome.options import Options
# 准备配置
chrome_options = Options()
# chrome_options.add_argument("--headless") 控制不显示窗口
chrome_options.add_argument('user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36')
driver = webdriver.Chrome(options=chrome_options)
# 打开文本文件,得提前有
with open('stealth.min.js') as f:
js = f.read()
# 执行 js 文件代码,去除特征
driver.execute_cdp_cmd("Page.addScriptToEvaluateOnNewDocument", {
"source": js
})
driver.get(url)
driver.page_source
文件下载:https://download.csdn.net/download/Natalie_Lv/86723031文章来源地址https://www.toymoban.com/news/detail-619218.html
文章来源:https://www.toymoban.com/news/detail-619218.html
到了这里,关于python爬虫----selenium特征去除的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!