huggingface(_hub)下载load报错ConnectionError: Couldn‘t reach ‘fusing/fill50k‘ on the Hub (SSLError)解决指南!

这篇具有很好参考价值的文章主要介绍了huggingface(_hub)下载load报错ConnectionError: Couldn‘t reach ‘fusing/fill50k‘ on the Hub (SSLError)解决指南!。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

问题描述

最近在使用hugging face跑基于controlnet的微调stable diffusion实验,需要跑通example/controlnet/train_controlnet,py的官方案例,在程序的第590行有如下代码:

dataset = load_dataset(
            args.dataset_name,
            args.dataset_config_name,
            cache_dir=args.cache_dir,
        )

这实际上是需要从huggingface的dataset中下载fill50k数据集,即转化为如下代码:

from datasets import load_dataset
dataset = load_dataset("fusing/fill50k")

等待一会,报错:

ConnectionError: Couldn't reach "fusing/fill50k" on the Hub (ConnectionError)

很明显这是网络连接问题,无法访问外网。于是科学上网打开,重新运行,又报错:

ConnectionError: Couldn't reach "fusing/fill50k" on the Hub (SSLError)

这种错误查了一圈,都没有很好的解决办法:包括:
1、手动在浏览器下载保存至本地(在本地又不知道如何用load_dataset函数加载本地数据,试了好几次都失败了)
2、在pycharm配置代理,如这篇文章,并没有解决,还是报上面的错误。

解决历程

我开始重新审视这个问题,即报错中的“SSLError”。经chatgpt搜寻一番:
huggingface(_hub)下载load报错ConnectionError: Couldn‘t reach ‘fusing/fill50k‘ on the Hub (SSLError)解决指南!,问题解决,人工智能,深度学习
我以为是huggingface_hub需要认证你的身份信息,于是我在huggingface官网设置了access token(这里有个参考),并在命令行上输入:(需要安装huggingface_hub)

huggingface-cli login

出现如下界面,粘贴进去你的access token即可,很可惜,还是登陆不上,报错:(后来想想你要是能身份认证讲道理应该也能下载,下个数据而已)
huggingface(_hub)下载load报错ConnectionError: Couldn‘t reach ‘fusing/fill50k‘ on the Hub (SSLError)解决指南!,问题解决,人工智能,深度学习
非常重要!!!重点来了!!!
报错信息中有个很关键的点:

urllib3

以及:

SSLEOFError: EOF occurred in violation of protocol (_ssl.c:1129)

看起来似乎是开了科学上网之后,python里面urllib3中request请求中的代理并没有配置好!!!经过一番搜寻查找,在这篇文章里找到了解决办法!感谢大佬!!!
具体的,打开:

D:\software\anaconda\envs\python39_pytorch1.10\Lib\urllib\request.py

请对应找到自己的文件路径!打开这个request.py文件,定位到下图的位置:
huggingface(_hub)下载load报错ConnectionError: Couldn‘t reach ‘fusing/fill50k‘ on the Hub (SSLError)解决指南!,问题解决,人工智能,深度学习
改成图中的样子即可!(即注释掉那三行换成下面的三行)

重新运行,成功了!!!!!!!
huggingface(_hub)下载load报错ConnectionError: Couldn‘t reach ‘fusing/fill50k‘ on the Hub (SSLError)解决指南!,问题解决,人工智能,深度学习
文章的评论区还给到了另一种即插即用方法大家也可以去尝试!!!这里是一劳永逸的方法。更多原理也请参考他!!!解决完上述问题之后,使用此方法后从huggingface上下载东西都不会有问题了!!!非常方便!!!

再次鸣谢

【日常踩坑】从 SSLEOFError 到正确配置 Proxy

感言

身为计算机科学与技术的学生连这个问题都无法解决实在是太难过了,知识一定要学精啊!希望自己以后继续努力!努力专研文章来源地址https://www.toymoban.com/news/detail-755745.html

到了这里,关于huggingface(_hub)下载load报错ConnectionError: Couldn‘t reach ‘fusing/fill50k‘ on the Hub (SSLError)解决指南!的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • torch.hub.load 加载本地模型(已解决)

    运行网上的项目,有时会卡住或者超时,原因是 torch.hub.load 默认会去网上找模型,有时会因为网络问题而报错 不让 torch.hub.load 联网下载模型,改为 torch.hub.load 加载本地模型。本地模型默认的下载路径是:/root/.cache/torch/hub……

    2024年02月11日
    浏览(34)
  • Git下载项目报错:Failed to connect to github.com port 443 after 21125 ms: Couldn‘t connect to server

    git下载项目报错:Failed to connect to github.com port 443 after 21125 ms: Couldn’t connect to server 使用clone命令拉项目报错,大概率是由于代理出了问题。网上提供的方法主要有如下两种: 首先,关闭本地代理。可以通过设置中的代理直接关闭。 然后,尝试把 git 配置的代理进行关闭(如

    2024年02月08日
    浏览(47)
  • python requests请求报错ConnectionError: (‘Connection aborted.‘, error(104, ‘Connection reset by peer‘))

    ConnectionError: (‘Connection aborted.’, error(104, ‘Connection reset by peer’)) 可能导致的有两个原因 1. 请求过于频繁, 导致请求被拒绝 解决方法: 每次请求设置一个休眠时间例如 time.sleep(1) 2. 接口有认证或者反爬机制, 识别到是python终端访问, 拒绝了访问 解决方法: 在请求头中设置 Us

    2024年02月13日
    浏览(47)
  • huggingface_hub.utils._validators.HFValidationError: Repo id must be in the form ‘repo_name‘ or ‘nam

    复现chatGLM的时候报了这个错。 1,已下载的模型路径不对 这个报错实际上是本地找不到模型导致的,可以检查一下看看。 2,HuggingFace模型路径不对 model = AutoModel.from_pretrained(“ ./THUDM/chatglm-6b ”, trust_remote_code=True).quantize(8).half().cuda() 比如这个这个,就用了相对地址应该用绝对

    2024年02月06日
    浏览(83)
  • 解决报错requests.exceptions.ConnectionError: HTTPConnectionPool(host=‘sewer.ip138.com‘, port=80)(爬虫一)

    问题截图:    说明不允许这样访问, 使用 requests.get() 请求链接报错,具体不知为何好像是请求头的问题(建议换请求头或不用请求头, 本人是没用请求头,总之换代理或UA)   解决办法:开发者工具查看headers,换代理伪装自己     问题解决!!      

    2024年02月13日
    浏览(41)
  • Python批量下载参考文献|基于Python的Sci-Hub下载脚本|Python批量下载sci-hub文献|如何使用sci-hub批量下载论文

    本篇博文将介绍如何通过Python的代码实现快速下载指定DOI号对应的文献,并且使用Sci-Hub作为下载库。 在开始之前,我们需要先安装一些必要的库,包括: requests:发送HTTP请求并获取响应的库; beautifulsoup4:用于解析HTML页面; threading:用于实现多线程处理; 这些库可以通过

    2024年02月07日
    浏览(53)
  • huggingface.co下载模型

    1、在测试clip-interrogator 发现BLIP CLIP模型需要离线加载,以下手工下载并指定路径。 并运行TRANSFORMERS_OFFLINE=1 python run.py, run.py如下 其他huggingface的模型处理方法可参考。 2、BLIP模型 根据Readme指引下载,存,指定路径即可。 BLIP//pretrained/model_base_caption_capfilt_large.pth  BLIP//pretrai

    2024年02月04日
    浏览(43)
  • 从服务器上直接下载huggingface模型,解决huggingface无法连接问题

    在服务器上使用huggingface模型时,如果直接指定模型名称,用AutoTokenizer.from_pretrained(“model_name”),可能会由于网络原因会报错 Failed to connect to huggingface.co port 443 after 75018 ms: Operation time out 因此我们需要下载模型到服务器上,得到模型本地的路径model_dir,再通过AutoTokenizer.fro

    2024年02月04日
    浏览(159)
  • 如何从huggingface官网下载模型

    何从huggingface官网下载模型 操作步骤: 首先打开huggingface官网:https://huggingface.co/ 进入官网之后,点击“Models\\\",如下图:   如果想要下载数据集,则同样的操作方法,点击”Datasets“. 进入”Models“,之后,在搜索框,输入想要download的模型名称。本文示例是:bert-base-cased   找

    2024年02月11日
    浏览(48)
  • Huggingface镜像网站下载语言模型方法

    通常通过镜像网站下载https://hf-mirror.com/。 在链接页面有介绍方法,对于不大的模型可以直接下载。这里介绍比较常用且方便的下载方法。 安装(huggingface_hub、hf_transfer安装可以使用-i命令从镜像网站下载) 基本命令(每次打开远程链接都要输入) 下载模型(下载NousResearch

    2024年02月21日
    浏览(119)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包