爬虫问题1:pyppeteer/request/Selenium 您的连接不是私密连接的网站

这篇具有很好参考价值的文章主要介绍了爬虫问题1:pyppeteer/request/Selenium 您的连接不是私密连接的网站。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

selenium 您的连接不是私密连接,python算法,python,selenium,爬虫,Powered by 金山文档

在爬虫过程中,自动测试时候遇到 您的连接不是私密连接的网站 这样的问题。

requests : verify参数设置为False

selenium : 添加参数:--ignore-certificate-errors

pyppeteer: 添加参数:--ignore-certificate-errors

具体使用方式如下:

import requests
from selenium import webdriver
from pyppeteer import launch
 
url='https://127.0.0.1/portal/a'

 
# requests
res=requests.get(url,verify=False)
print(res.text)

# selenium参数
options = webdriver.ChromeOptions()
options.add_argument('--ignore-certificate-errors')
webdriver=webdriver.Chrome(options=options)
# webdriver=webdriver.Chrome()
webdriver.get(url)
print(webdriver.page_source)

# pyppeteer参数
brow = await launch({
    'headless': False,
    'userDataDir': 'E:/temporary',
    'args': ['--no-sandbox', '--ignore-certificate-errors'],
    "handleSIGINT": False,
    "handleSIGTERM": False,
    "handleSIGHUP": False
}) 
browser = await brow.createIncognitoBrowserContext()
page = await browser.newPage()
await page.goto(url)

其他方法:

(1) --ignore-certificate-errors --ignore-urlfetcher-cert-requests

(2)thisisunsafe 键盘输入

(3)模拟点击文章来源地址https://www.toymoban.com/news/detail-696926.html

到了这里,关于爬虫问题1:pyppeteer/request/Selenium 您的连接不是私密连接的网站的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Chrome您的连接不是私密连接或专用连接

    在当前页面用键盘输入 thisisunsafe ,不是在地址栏输入,就直接敲键盘就行了 因为Chrome不信任这些自签名ssl证书,为了安全起见,直接禁止访问了,thisisunsafe 这个命令,说明你已经了解并确认这是个不安全的网站,你仍要访问就给你访问了。 在Chrome的地址栏中输入:chrome:

    2024年01月23日
    浏览(26)
  • 微信抓包您的连接不是私密连接解决办法

    您的连接不是私密连接 攻击者可能会试图从 x.x.x.x 窃取您的信息(例如:密码、通讯内容或信用卡信息)。了解详情 NET::ERR_CERT_INVALID 将您访问的部分网页的网址、有限的系统信息以及部分网页内容发送给 Google,以帮助我们提升 Chrome 的安全性。隐私权政策 x.x.x.x 通常会使用

    2024年02月13日
    浏览(34)
  • 【Charles】解决设置代理后,浏览器访问提示您的连接不是私密链接

    造成这种问题的原因就是charles的代理工具拦截网页的请求,但是使用的是charles代理工具的证书,导致浏览器无法验证此网页的证书,进而导致了报错,那么该如何解决呢?我们只需要将charles的证书添加到电脑的信任证书中即可。(如果是手机给手机安装证书,手机端这边保

    2024年02月11日
    浏览(34)
  • 网络请求爬虫【requests】和自动化爬虫【selenium】

    在Python开发的爬虫项目中, requests 和 selenium 是两个常用的库,它们各有特点和应用场景。 相同点 数据抓取: 无论是 selenium 还是 requests ,两者的基本目的都是为了从网络上抓取数据。 自动化: 它们都能够自动化地访问网页,获取需要的信息。 不同点 工作原理: requests 直

    2024年02月20日
    浏览(28)
  • Python爬虫实现(requests、BeautifulSoup和selenium)

    Python requests 是一个常用的 HTTP 请求库,可以方便地向网站发送 HTTP 请求,并获取响应结果。 下载requests库 pip install requests 实例: 属性和方法 属性或方法 说明 content 返回响应的内容,以字节为单位 headers 返回响应头,字典格式 json() 返回结果的 JSON 对象 request 返回请求此响应

    2024年02月07日
    浏览(28)
  • selenium自动获取cookies用于requests做接口请求爬虫

    目录 一、思想 二、代码          有关爬虫一些报错解决,或是爬虫工具的使用及其他问题的,可以看看我的爬虫专栏:博主_zkkkkkkkkkkkkk的爬虫专栏 一、思想         selenium可以用来模拟用户操作的python第三方包,而requests则是用来做接口请求。两者一结合,可能在某些

    2024年02月16日
    浏览(27)
  • 一天掌握python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium

    大家好,我是python222小锋老师。前段时间卷了一套  Python3零基础7天入门实战  以及1小时掌握Python操作Mysql数据库之pymysql模块技术 近日锋哥又卷了一波课程,python爬虫【基础篇】 涵盖 requests、beautifulsoup、selenium,文字版+视频版。1天掌握。 视频版教程:一天掌握python爬虫【

    2024年02月07日
    浏览(31)
  • Selenium使用Edge打开网页出现“你的连接不是专用连接xxx”解决方案

     当尝试访问的网站使用的是自签名的SSL证书或者没有使用SSL证书时出现“你的连接不是专用连接xxx”。这种情况经常发生在访问内网地址或开发环境时通过以下代码打开网站有时会出现。 可参考如下方法解决:

    2024年04月11日
    浏览(30)
  • 【0基础学爬虫】爬虫基础之自动化工具 Pyppeteer 的使用

    大数据时代,各行各业对数据采集的需求日益增多,网络爬虫的运用也更为广泛,越来越多的人开始学习网络爬虫这项技术,K哥爬虫此前已经推出不少爬虫进阶、逆向相关文章,为实现从易到难全方位覆盖,特设【0基础学爬虫】专栏,帮助小白快速入门爬虫,本期为自动化

    2024年02月03日
    浏览(74)
  • 使用爬虫爬取百度搜索结果及各网站正文(request库、selenium库和beautifulsoup库)

    任务: 给定搜索词,获取百度搜索结果 根据各项结果获取对应网站正文部分 header实际为一个字典,为访问百度时提供必要的信息。 一般来讲只需要提供 Cookie 就可以访问大多数网站,其余可能需要的还有 Host 、 User-Agent 等 通过分析百度搜索url可以发现 https://www.baidu.com/s?wd=茅

    2024年03月27日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包