hf-mirror 使用

这篇具有很好参考价值的文章主要介绍了hf-mirror 使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


根据这篇文章:
大模型下载使我痛苦

得知 Huggingface 镜像站 https://hf-mirror.com


命令下载

网站首页会介绍下载方法

更多用法(多线程加速等)详见这篇文章。简介:

方法一:使用huggingface 官方提供的 huggingface-cli 命令行工具。

(1) 安装依赖

pip install -U huggingface_hubCopy

(2) 基本命令示例:

export HF_ENDPOINT=https://hf-mirror.comCopy
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m \
--local-dir bloom-560mCopy
  • 这里模型名称为 bigscience/bloom-560m
    保存的文件夹为 bloom-560mCopy

(3) 下载需要登录的模型(Gated Model)

请添加 --token hf_*** 参数,其中 hf_*** 是 access token,请在 huggingface官网这里获取。示例:

huggingface-cli download --token hf_*** \
--resume-download --local-dir-use-symlinks False meta-llama/Llama-2-7b-hf \
--local-dir Llama-2-7b-hfCopy

方法二:使用url直接下载时,将 huggingface.co 直接替换为本站域名hf-mirror.com

使用浏览器或者 wget -c、curl -L、aria2c 等命令行方式即可。

下载需登录的模型需命令行添加 --header hf_*** 参数,token 获取具体参见上文。


方法三:(非侵入式,能解决大部分情况)huggingface 提供的包会获取系统变量,所以可以使用通过设置变量来解决。

HF_ENDPOINT=https://hf-mirror.com python your_script.pyCopy

不过有些数据集有内置的下载脚本,那就需要手动改一下脚本内的地址来实现了


搜索下载

你也可以通过搜索,下载 需要的模型,比如
https://hf-mirror.com/NousResearch/Llama-2-13b-hf

hf-mirror 使用,LLM,huggingface,hf-mirror,镜像,下载,大模型


gated model

hf-mirror 使用,LLM,huggingface,hf-mirror,镜像,下载,大模型


hf-mirror 使用,LLM,huggingface,hf-mirror,镜像,下载,大模型


如果已授权,需要在 huggingface 登陆后,拿到 token,然后用命令行从 hf-mirror 下载

HF 获取token:https://huggingface.co/settings/tokens文章来源地址https://www.toymoban.com/news/detail-794787.html


到了这里,关于hf-mirror 使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Huggingface镜像网站下载语言模型方法

    通常通过镜像网站下载https://hf-mirror.com/。 在链接页面有介绍方法,对于不大的模型可以直接下载。这里介绍比较常用且方便的下载方法。 安装(huggingface_hub、hf_transfer安装可以使用-i命令从镜像网站下载) 基本命令(每次打开远程链接都要输入) 下载模型(下载NousResearch

    2024年02月21日
    浏览(119)
  • 【AI之路】使用huggingface_hub优雅解决huggingface大模型下载问题

    Hugging face 资源很不错,可是国内下载速度很慢,动则GB的大模型,下载很容易超时,经常下载不成功。很是影响玩AI的信心。(有人说用迅雷啊,试试就知道有无奈。) 经过多次测试,终于搞定了下载,即使超时也可以继续下载。真正实现下载无忧!究竟如何实现?且看本文

    2024年02月09日
    浏览(54)
  • git lfs使用(huggingface下载大模型文件)

    Git LFS:(Large File Storage,解决git大文件存储问题)把音乐、图片、视频等指定的任意文件存在 Git 仓库之外,而在 Git 仓库中用一个占用空间 1KB 不到的文本指针来代替文件的存在,通过把大文件存储在 Git 仓库之外,可以减小 Git 仓库本身的体积,使克隆 Git 仓库的速度加快,也

    2024年02月08日
    浏览(59)
  • 【工程实践】使用git clone 批量下载huggingface模型文件

            经常需要下载模型到服务器,使用git clone方法可以快速实现模型下载。         以下载moka-ai/m3e-base为例,切换到Files and versions。         如上图所示,当前要下载模型网页的url为:         只需要将url中的/tree/main改为git即可,更改后的命令如下所示:      

    2024年02月08日
    浏览(90)
  • huggingface学习 | 云服务器使用git-lfs下载huggingface上的模型文件

    huggingface官网链接:https://huggingface.co/ 以stable-diffusion-inpant为例:模型链接为stable-diffusion-inpant 点击clone repository,可以发现提供了两种下载方式,方式一为HTTPS,代码如下,然而国内使用代理访问的时候采用这种方式会报错:Failed to connect to huggingface.co port 443 after 127293 ms: Cou

    2024年01月19日
    浏览(107)
  • 【AI之路】使用Jan.ai在本地部署大模型开启AI对话(含通过huggingface下载大模型,实现大模型自由)

    2023年是AIGC元年。以后,每个人多少都会接触到GPT带来的变化。别人都在用,我们也不能落下。ChatGPT咱用不了,可以用国内的各种大模型。另外,我们还可以把大模型放到本地电脑上运行,不信?咱往下看! 使用Jan.ai在本地调用大模型进行对话 下面就让我们的主角登场。

    2024年02月02日
    浏览(64)
  • huggingface.co下载模型

    1、在测试clip-interrogator 发现BLIP CLIP模型需要离线加载,以下手工下载并指定路径。 并运行TRANSFORMERS_OFFLINE=1 python run.py, run.py如下 其他huggingface的模型处理方法可参考。 2、BLIP模型 根据Readme指引下载,存,指定路径即可。 BLIP//pretrained/model_base_caption_capfilt_large.pth  BLIP//pretrai

    2024年02月04日
    浏览(43)
  • 如何从huggingface官网下载模型

    何从huggingface官网下载模型 操作步骤: 首先打开huggingface官网:https://huggingface.co/ 进入官网之后,点击“Models\\\",如下图:   如果想要下载数据集,则同样的操作方法,点击”Datasets“. 进入”Models“,之后,在搜索框,输入想要download的模型名称。本文示例是:bert-base-cased   找

    2024年02月11日
    浏览(48)
  • 下载huggingface上模型的正确姿势

    更多、更及时内容欢迎留意 微信公众号 : 小窗幽记机器学习 之前下载huggingface上模型的时候,要么是用类似如下脚本的方式下载: 要么是在 Files and versions 中点击目标文件逐一下载: 那么是否有更方便的方式,一行命令直接下载整个模型文件?有的,使用 git lfs 即可。 L

    2024年02月11日
    浏览(45)
  • 从服务器上直接下载huggingface模型,解决huggingface无法连接问题

    在服务器上使用huggingface模型时,如果直接指定模型名称,用AutoTokenizer.from_pretrained(“model_name”),可能会由于网络原因会报错 Failed to connect to huggingface.co port 443 after 75018 ms: Operation time out 因此我们需要下载模型到服务器上,得到模型本地的路径model_dir,再通过AutoTokenizer.fro

    2024年02月04日
    浏览(165)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包