本文内容
目前网上关于下载hugging face模型文件大多都是一个一个下载,无法做到批量下载,但有些模型或数据集包含文件太多,不适用一个一个下载。本文将会介绍如何使用git进行批量下载。
Git代理配置
由于Hugging Face的部分模型和数据集在国外服务器,不使用代理比较慢,所以要先配置git代理。全局代理配置方式:
git config --global https.proxy http://127.0.0.1:1080
只对clone使用代理的配置方式:
git clone XXX.git -c http.proxy="http://127.0.0.1:1080"
如果文件太大,可以使用
git lfs
命令
下载模型或数据集
- 首先到你需要下载的数据集或模型文件下,复制url.
到你所要下载模型或数据集文件后,去掉后面的/tree/main
,然后增添.git
,之后使用git
下载就可以了。
- 到控制台命令执行如下命令:
git clone https://huggingface.co/datasets/glue.git
输出
PS D:\temp> git clone https://huggingface.co/datasets/glue.git
Cloning into 'glue'...
remote: Enumerating objects: 121, done.
remote: Counting objects: 100% (121/121), done.
remote: Compressing objects: 100% (101/101), done.
Receiving objects: 91% (111/121)te: Total 121 (delta 54), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (121/121), 29.76 KiB | 3.31 MiB/s, done.
Resolving deltas: 100% (54/54), done.
Updating files: 100% (14/14), done.
Filtering content: 100% (10/10), 20.08 KiB | 6.00 KiB/s, done.
成功下载文件。文章来源:https://www.toymoban.com/news/detail-502439.html
Hugging Face的数据集和模型还提供了不同的版本,要下载其他版本只需要使用git的
-b
参数下载对应的分支即可。文章来源地址https://www.toymoban.com/news/detail-502439.html
到了这里,关于如何批量下载hugging face模型和数据集文件的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!