【工程实践】使用git clone 批量下载huggingface模型文件

9月前作者：DonngZH 分类：Toy博客阅读(89) 违法举报

这篇具有很好参考价值的文章主要介绍了【工程实践】使用git clone 批量下载huggingface模型文件。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

前言

经常需要下载模型到服务器，使用git clone方法可以快速实现模型下载。

1.选定要下载的模型

以下载moka-ai/m3e-base为例，切换到Files and versions。

【工程实践】使用git clone 批量下载huggingface模型文件,深度学习,git

2.更改下载网页的url

如上图所示，当前要下载模型网页的url为：

https://huggingface.co/moka-ai/m3e-base/tree/main

只需要将url中的/tree/main改为git即可，更改后的命令如下所示：

https://huggingface.co/moka-ai/m3e-base.git

3.下载

在bash或cmd中输入如下命令：

git clone https://huggingface.co/moka-ai/m3e-base.git

如果文件较大，命令改为：

git lfs  clone https://huggingface.co/moka-ai/m3e-base.git

Reference:

1.https://blog.csdn.net/weixin_44034841/article/details/131862553文章来源地址https://www.toymoban.com/news/detail-718764.html

到了这里，关于【工程实践】使用git clone 批量下载huggingface模型文件的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

huggingface学习 | 云服务器使用git-lfs下载huggingface上的模型文件

huggingface官网链接：https://huggingface.co/ 以stable-diffusion-inpant为例：模型链接为stable-diffusion-inpant 点击clone repository，可以发现提供了两种下载方式，方式一为HTTPS，代码如下，然而国内使用代理访问的时候采用这种方式会报错：Failed to connect to huggingface.co port 443 after 127293 ms: Cou

2024年01月19日
浏览(107)
centOs安装git-lfs并下载huggingface模型

hf模型都是用git-lfs托管的，可以直接git下载的，天才第一步： 1、安装git-lfs 2、直接git clone 3、测试模型opt-1.3b

2024年02月12日
浏览(54)
[linux] huggingface transformers 如何下载模型至本地 & git lfs install 报错

bert-base-uncased at main 但是 git lfs install 的时候报错。于是查了一下。。。。安装lfs是要这样： You can\\\'t directly use Instead of that, you can use these commands to download and install (you have to download it before installing). 网络不好mac报错：重新安了一下brew install git-lfs。。如果失败，则。。。可能

2024年02月10日
浏览(60)
【AI之路】使用huggingface_hub优雅解决huggingface大模型下载问题

Hugging face 资源很不错，可是国内下载速度很慢，动则GB的大模型，下载很容易超时，经常下载不成功。很是影响玩AI的信心。（有人说用迅雷啊，试试就知道有无奈。）经过多次测试，终于搞定了下载，即使超时也可以继续下载。真正实现下载无忧！究竟如何实现？且看本文

2024年02月09日
浏览(54)
【AI之路】使用huggingface_hub通过huggingface镜像站hf-mirror.com下载大模型（附代码，实现大模型自由）

要玩AI大模型，Hugging face 不可错过，但资源虽不错，可奈何国内下载速度很慢，动则GB的大模型，下载很容易超时，经常下载不成功。很是影响玩AI的信心。（有人说用迅雷啊，试试就知道了。）经过多次测试，终于搞定了下载，即使超时也可以继续下载。就算程序中断，再

2024年01月16日
浏览(47)
【AI之路】使用Jan.ai在本地部署大模型开启AI对话（含通过huggingface下载大模型，实现大模型自由）

2023年是AIGC元年。以后，每个人多少都会接触到GPT带来的变化。别人都在用，我们也不能落下。ChatGPT咱用不了，可以用国内的各种大模型。另外，我们还可以把大模型放到本地电脑上运行，不信？咱往下看！使用Jan.ai在本地调用大模型进行对话下面就让我们的主角登场。

2024年02月02日
浏览(64)
huggingface.co下载模型

1、在测试clip-interrogator 发现BLIP CLIP模型需要离线加载，以下手工下载并指定路径。并运行TRANSFORMERS_OFFLINE=1 python run.py, run.py如下其他huggingface的模型处理方法可参考。 2、BLIP模型根据Readme指引下载，存，指定路径即可。 BLIP//pretrained/model_base_caption_capfilt_large.pth BLIP//pretrai

2024年02月04日
浏览(43)
下载huggingface上模型的正确姿势

更多、更及时内容欢迎留意微信公众号：小窗幽记机器学习之前下载huggingface上模型的时候，要么是用类似如下脚本的方式下载：要么是在 Files and versions 中点击目标文件逐一下载：那么是否有更方便的方式，一行命令直接下载整个模型文件？有的，使用 git lfs 即可。 L

2024年02月11日
浏览(44)
Huggingface镜像网站下载语言模型方法

通常通过镜像网站下载https://hf-mirror.com/。在链接页面有介绍方法，对于不大的模型可以直接下载。这里介绍比较常用且方便的下载方法。安装（huggingface_hub、hf_transfer安装可以使用-i命令从镜像网站下载）基本命令（每次打开远程链接都要输入）下载模型（下载NousResearch

2024年02月21日
浏览(117)
如何从huggingface官网下载模型

何从huggingface官网下载模型操作步骤：首先打开huggingface官网：https://huggingface.co/ 进入官网之后，点击“Models\\\",如下图：如果想要下载数据集，则同样的操作方法，点击”Datasets“. 进入”Models“,之后，在搜索框，输入想要download的模型名称。本文示例是：bert-base-cased 找

2024年02月11日
浏览(47)