成功解决:python爬虫http.client.RemoteDisconnected: Remote end closed connection without response

这篇具有很好参考价值的文章主要介绍了成功解决:python爬虫http.client.RemoteDisconnected: Remote end closed connection without response。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

参考:Python 爬虫:http.client.RemoteDisconnected: Remote end closed connection without response 问题解决
使用python爬虫中的urllib 或者 requests 库获取数据时
出现报错:

http.client.RemoteDisconnected: Remote end closed connection without response

原因:
大多数网站都会对用户请求中的 User-Agent 进行检测,如果没有在请求头中设置 User-Agent,那么就会抛出异常
改进方法:在headers中添加:User-Agent文章来源地址https://www.toymoban.com/news/detail-508889.html

import urllib.request
# 要访问的地址
headers = {
   
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; W

到了这里,关于成功解决:python爬虫http.client.RemoteDisconnected: Remote end closed connection without response的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 成功解决:Updates were rejected because the tip of your current branch is behind its remote...【解决方法】

    最近使用git,一直使用命令行操作。昨天突发奇想研究了一番git的GUI,结果由于操作不当产生了如下报错: Updates were rejected because the tip of your current branch is behind its remote counterpart. 该报错在git push时出现,一句话解释就是你在本地仓库上的修改没有基于远程库最新版本,本地

    2024年02月12日
    浏览(43)
  • 使用python pip 安装命令,未安装成功,提示WARNING: Ignoring invalid distribution ip以及Looking in indexes: http时候如何解决?

    问题描述 : 在使用python pip 命令时提示WARNING: Ignoring invalid distribution ip,如图所示: 解决方案: 找到图示中的路径所在位置,删除以~字符开头的两个文件即可; 再次使用命令:pip install openpyxl,又显示第二个提示错误; Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple Requireme

    2024年02月09日
    浏览(28)
  • Http: server gave HTTP response to HTTPS client 解决方法

    如果没有 /etc/docker/daemon.json 这个文件,可以自己新建一个 情况1.这种写法是没有配置Docker加速器的情况下 在 /etc/docker/daemon.json 中设置以下: // 单个私服的写法 {     \\\"insecure-registries\\\": [\\\"registry的IP地址:端口号\\\"] } // 多个私服的写法 {     \\\"insecure-registries\\\": [\\\"registry1的IP地址

    2024年02月03日
    浏览(28)
  • 【已解决】mac端 sourceTree 解决remote: HTTP Basic: Access denied报错

    又是在一次使用sourcetree拉取或者提交代码时候,遇到了sourcetree报错; 排查了一会,比如查看了SSH keys是否有问题、是否与sourcetree账户状态有问题等等,最终才发现并解决问题 因为之前公司要求企业gitlab中的用户名要和企业邮箱前缀保持一致,比如下图中标记的位置,我之前

    2024年02月13日
    浏览(33)
  • 解决git:‘remote-http‘ 不是一个 git 命令错误提示

    Jenkins使用Maven构建工程时,设置Git源码管理时报错: Failed to connect to repository : Command “/usr/local/git/bin/git ls-remote -h – http://192.168.1.35/root/javademo.git HEAD” returned status code 128: stdout: stderr: git:‘remote-http’ 不是一个 git 命令。参见 ‘git --help’。 问题分析: 安装Git时缺少curl-d

    2024年02月09日
    浏览(46)
  • 【解决】Cloning into ‘xxx‘... remote: HTTP Basic: Access denied fatal:

    如果更改了 gitlab 账号密码的情况下,再次 clone 出现如下错误: 解决办法: 在电脑上直接搜索 :凭据管理器 或者 打开 【控制面板】-【凭据管理器/管理你的凭据】 【Windows凭据】-【普通凭据】-找到对应的git地址,点击里面的修改按钮,修改里面的账号密码即可。

    2024年02月15日
    浏览(41)
  • git push时出现 remote: HTTP Basic: Access denied 报错解决办法

    git push时出现 remote: HTTP Basic: Access denied 报错解决办法,原因是你本地的 git 账号或密码和服务器上不匹配导致的提交报错。 1.、搜索 凭据管理器 打开,选择 Windows 凭据,选择普通凭据下面相应的 git 条目点击编辑,修改用户名和密码为你正确的用户名和密码,然后保存就可以

    2024年02月11日
    浏览(45)
  • 【Git】Deepin提示git remote: HTTP Basic: Access denied 错误解决办法

    git remote: HTTP Basic: Access denied 错误解决办法 本地git配置的用户名、密码与gitlabs上注册的用户名、密码不一致。 如果账号密码有变动 用这个命令 git config –system –unset credential.helper 重新输入账号密码 应该就能解决了 如果用了第一个命令 还不能解决问题那么 用这个命令:g

    2024年02月03日
    浏览(31)
  • 最新验证的http: server gave HTTP response to HTTPS client解决方法,节约大家时间

    编辑/usr/lib/systemd/system/docker.service文件:在ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock 后添加 –insecure-registry 192.168.43.199:8080 --ipv6=false

    2024年02月04日
    浏览(54)
  • python爬虫如何写,有哪些成功爬取的案例

    编写Python爬虫时,常用的库包括Requests、Beautiful Soup和Scrapy。以下是三个简单的Python爬虫案例,分别使用Requests和Beautiful Soup,以及Scrapy。 1. 使用Requests和Beautiful Soup爬取网页内容: 2. 使用Requests和正则表达式爬取图片: 3. 使用Scrapy爬取网站: 首先,确保已安装Scrapy: 创建一个

    2024年01月19日
    浏览(85)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包