Python爬虫学习日记——SSL证书验证

这篇具有很好参考价值的文章主要介绍了Python爬虫学习日记——SSL证书验证。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题引入:现在很多网站是使用HTTPS协议的,但是有些网站并没有设置好HTTPS证书,或者HTTPS的证书不被CA机构认可,这个时候访问这些网站就会报SSL证书错误

实例:访问https://www.ssr2.scrape.center/
python跳过ssl验证,ssl,python,爬虫

python跳过ssl验证,ssl,python,爬虫
对于这种情况我们使用代码来爬取的效果

import requests

response = requests.get('https://ssr2.scrape.center/')
print(response.status_code)

python跳过ssl验证,ssl,python,爬虫
代码提示我们是SSL错误
因此如果就是要爬取这个网站改怎么办呢?
解决办法:跳过SSL验证
直接使用verify这个属性即可,这个属性默认是true,也就是默认会验证SSL,我们把他设置为False即可跳过SSL验证

import requests

response = requests.get('https://ssr2.scrape.center/',verify=False)
print(response.status_code)

python跳过ssl验证,ssl,python,爬虫
此时返回的是一个warning消息和一个成功的状态码200
出现警告的原因是系统建议我们给它指定证书
如果不想看到warning消息又该怎么操作呢??
方法一:设置忽略警告

import requests
from requests.packages import urllib3
urllib3.disable_warnings()
response = requests.get('https://ssr2.scrape.center/',verify=False)
print(response.status_code)

python跳过ssl验证,ssl,python,爬虫
方法二:捕获日志

import requests
import logging
logging.captureWarnings(True)
response = requests.get('https://ssr2.scrape.center/',verify=False)
print(response.status_code)

方法三:指定本地的证书用作客户端证书(可以是单个文件或者包含两个文件路径的元组)
注意:使用证书的时候本地私有证书的key必须是解密状态,加密状态的key是不允许的。文章来源地址https://www.toymoban.com/news/detail-598894.html

到了这里,关于Python爬虫学习日记——SSL证书验证的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ESP32 HTTPS客户端POST请求(跳过证书验证)

    本文例程为ESP32 HTTPS客户端POST请求 只有HTTPS请求部分,联网部分省略默。。。 乐鑫ESP-IDF API参考文档 函数 esp_http_client_init 结构体 constesp_http_client_config_t 此结构体用于配置HTTP/HTTPS参数 设置HTTP/HTTPS请求方法 此接口可以手动设置HTTP请求方式(可以覆盖配置结构体的设置) 设置

    2024年02月05日
    浏览(57)
  • SSL 证书过期巡检脚本 (Python 版)

    哈喽大家好,我是咸鱼 之前写了个 shell 版本的 SSL 证书过期巡检脚本 (文章:《SSL 证书过期巡检脚本》),后台反响还是很不错的 那么今天咸鱼给大家介绍一下 python 版本 的 SSL 证书过期巡检脚本 (完整代码在文末) 导入相关模块 首先我们创建一个 domain.txt 用来存放要检

    2024年02月14日
    浏览(24)
  • 宝塔SSL踩坑:SSL证书域名验证无反应

    1、申请: 2、验证域名: 申请通过之后就会校验域名,这里有坑:一开始我在这里点击验证域名,一直提示等待验证,我还以为要等一会,结果等了半天也没反应,百度了一下说要第二天,结果我等到第二天也没成功。 这里的验证是需要登录到宝塔官网处理的: 这里是第二

    2024年02月16日
    浏览(31)
  • Python Requests模块忽略SSL证书、关闭警告

    目录 证书处理(SSL Cert Verification) 解决证书问题 很多网站都是https,但是不用证书也可以访问,大多数情况都是可以携带也可以不携带证书如知乎百度 等都是可带可不带但有硬性要求的,则必须带,比如对于定向的用户,拿到证书后才有权限访问某个特定网站。 关闭警告 一、忽

    2024年02月13日
    浏览(27)
  • python网络爬虫之selenium的详细安装配置以及简单使用--菜鸟复习日记

     学习python selenium已经是好久以前的事情了,自己都快要忘记了,所以写篇博客复习复习,本文包括安装selenium驱动以及selenium的一些简单使用。本文默认安装python以及selenium库。 目录 一、安装seleium的驱动(以谷歌浏览器为例) 二、selenium库的一些简单用法。         1.向输入框

    2024年02月06日
    浏览(26)
  • 解决IIS 验证远程SSL证书无效

    我们给IIS上的网站设置的类型为:https,并且设置了SSL,我们在访问程序时可能会报错:System.Security.Authentication.AuthenticationException: 根据验证过程,远程证书无效 。 System.Security.Authentication.AuthenticationException: 根据验证过程,远程证书无效 。”这个异常,是因为远程url使用的域

    2024年02月21日
    浏览(35)
  • 搭建ssl双向验证python

    https simple-https-server.py simple-https-client.py sslsocket 验证 ssl文档

    2024年02月13日
    浏览(22)
  • curl 忽略https的ssl的证书验证

    今天使用curl 测试url请求出现了需要ssl证书的验证 curl的用法

    2024年02月17日
    浏览(31)
  • HTTPS 请求中的证书验证详解(Python版)

    在网络通信中,HTTPS 是一种通过 SSL/TLS 加密的安全 HTTP 通信协议。证书在 HTTPS 中扮演着至关重要的角色,用于验证服务器身份并加密数据传输。本文将深入探讨 Python 中 HTTPS 请求中的证书相关内容,并提供详细的代码示例。 SSL/TLS 证书是一种由证书颁发机构签发的数字证明,

    2024年02月03日
    浏览(26)
  • python爬虫ssl.SSLCertVerificationError解决办法

    python当使用requests.get获取https链接时,提示如下错误: ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1056) 方法一: 最方便的手段是直接设置不验证,即: 方法二: 全局取消证书验证,简易方便,但对整个项目可能会

    2024年02月15日
    浏览(29)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包