如何批量下载hugging face模型和数据集文件

这篇具有很好参考价值的文章主要介绍了如何批量下载hugging face模型和数据集文件。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

本文内容

目前网上关于下载hugging face模型文件大多都是一个一个下载，无法做到批量下载，但有些模型或数据集包含文件太多，不适用一个一个下载。本文将会介绍如何使用git进行批量下载。

Git代理配置

由于Hugging Face的部分模型和数据集在国外服务器，不使用代理比较慢，所以要先配置git代理。全局代理配置方式：

git config --global https.proxy http://127.0.0.1:1080

只对clone使用代理的配置方式：

git clone XXX.git -c http.proxy="http://127.0.0.1:1080"

如果文件太大，可以使用git lfs命令

下载模型或数据集

首先到你需要下载的数据集或模型文件下，复制url.

到你所要下载模型或数据集文件后，去掉后面的/tree/main，然后增添.git，之后使用git下载就可以了。

到控制台命令执行如下命令：

git clone https://huggingface.co/datasets/glue.git

输出

PS D:\temp> git clone https://huggingface.co/datasets/glue.git
Cloning into 'glue'...
remote: Enumerating objects: 121, done.
remote: Counting objects: 100% (121/121), done.
remote: Compressing objects: 100% (101/101), done.
Receiving objects:  91% (111/121)te: Total 121 (delta 54), reused 0 (delta 0), pack-reused 0
Receiving objects: 100% (121/121), 29.76 KiB | 3.31 MiB/s, done.
Resolving deltas: 100% (54/54), done.
Updating files: 100% (14/14), done.
Filtering content: 100% (10/10), 20.08 KiB | 6.00 KiB/s, done.

成功下载文件。