在爬虫过程中,自动测试时候遇到 您的连接不是私密连接的网站 这样的问题。
requests : verify参数设置为False
selenium : 添加参数:--ignore-certificate-errors
pyppeteer: 添加参数:--ignore-certificate-errors
具体使用方式如下:
import requests
from selenium import webdriver
from pyppeteer import launch
url='https://127.0.0.1/portal/a'
# requests
res=requests.get(url,verify=False)
print(res.text)
# selenium参数
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
webdriver=webdriver.Chrome(options=options)
# webdriver=webdriver.Chrome()
webdriver.get(url)
print(webdriver.page_source)
# pyppeteer参数
brow = await launch({
'headless': False,
'userDataDir': 'E:/temporary',
'args': ['--no-sandbox', '--ignore-certificate-errors'],
"handleSIGINT": False,
"handleSIGTERM": False,
"handleSIGHUP": False
})
browser = await brow.createIncognitoBrowserContext()
page = await browser.newPage()
await page.goto(url)
其他方法:
(1) --ignore-certificate-errors --ignore-urlfetcher-cert-requests
(2)thisisunsafe 键盘输入文章来源:https://www.toymoban.com/news/detail-696926.html
(3)模拟点击文章来源地址https://www.toymoban.com/news/detail-696926.html
到了这里,关于爬虫问题1:pyppeteer/request/Selenium 您的连接不是私密连接的网站的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!