【修改huggingface transformers默认缓存文件夹】

这篇具有很好参考价值的文章主要介绍了【修改huggingface transformers默认缓存文件夹】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

最近在学习用TensorFlow框架做NLP任务,注意到huggingface中的transforms库非常强大,于是开始学习用它来做相应的任务。刚开始用这个库没多久,感觉确实操作起来既简单又强大,于是打算深入学习。

  • 学习过程中发现,运行程序过程中,下载的模型和数据集是默认放在C盘的用户目录下的,为了减轻C盘负担,于是想更改其默认目录,从官网了解到有两种实现方式,一种是临时指定cache_dir,另一种是直接设置环境变量,以下对二者进行说明。

关于windows上如何修改huggingface transformers默认缓存文件夹

  • 官方对缓存地址的说明:
    transformers_cache,缓存,深度学习,人工智能,nlp第一种方式:设置环境变量:
    在windows上,为了以后使用方便,我采取了第一种设置缓存地址的方法,也就是设置TRANSFORMERS_CACHE环境变量,我将其设置在了用户环境变量里面:
    transformers_cache,缓存,深度学习,人工智能,nlp接下来关键的一步:
    在用户环境变量Path或者系统环境变零PATH中添加:
    %TRANSFORMERS_CACHE%

第二种方式:在调用from_pretrained函数时使用cache_dir入参,指定缓存文件夹名
如指定缓存位置为当前目录:

AutoModel.from_pretrained('bert-base-chinese', cache_dir='./')

以上文章来源地址https://www.toymoban.com/news/detail-819472.html

到了这里,关于【修改huggingface transformers默认缓存文件夹】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • huggingface transformers loadset 导入本地文件

    点击查看 Huggingface详细入门介绍之dataset库 json : 表示导入的本地文件是 json文件

    2024年02月11日
    浏览(40)
  • IDEA(2023)修改默认缓存目录

    😇作者介绍:一个有梦想、有理想、有目标的,且渴望能够学有所成的追梦人。 🎆学习格言:不读书的人,思想就会停止。——狄德罗 ⛪️个人主页:进入博主主页 🗼专栏系列:无 🌼欢迎小伙伴们访问到博主的文章内容,在浏览阅读过程发现需要纠正的地方,烦请指出,

    2024年02月07日
    浏览(43)
  • 【Python】修改pip默认缓存位置

    pip默认缓存的位置是C:UsersusernameAppDataLocalpipcache,这占用了大量的C盘空间,我们可能想要改变此路径为D:Pythonpipcache。 做法是命令行中输入如下命令:pip config set global.cache-dir “D:Pythonpipcache” 得到反馈:Writing to C:UsersykAppDataRoamingpippip.ini 调整完毕 原文地址:https:

    2024年04月27日
    浏览(39)
  • 改变 Windows 用户文件夹默认路径 C:/Users

    Windows 默认的总用户文件夹总是会在系统盘下,如果你的系统盘为 C 盘,则为: C:Users ,许多默认文件夹也都会放在这里: 文档、桌面、下载、图片、视频等文件夹都默认在这里,这些文件夹倒是可以改变位置 AppData 文件夹默认在用户根目录下,存储了大部分软件的数据、配

    2024年02月04日
    浏览(49)
  • MAC OS 如何修改“文件”或“文件夹”的“创建时间”和“修改时间”

        首先,在MAC OS上修改文件或者文件夹的「命名」,是不会修改文件或文件夹的“修改时间”的,对于单个文件来说,例如一个文本文件,只有它包括的内容发生了改变,该文件的“修改时间”才会发生改变。     有时候我们需要手动修改文件的“创建时间”或者“修改时

    2024年02月04日
    浏览(70)
  • Nuget更新全局包、缓存和临时文件夹路径位置

    NuGet是一个流行的软件包管理器,可以帮助.NET开发人员轻松地添加、删除和更新项目中的库和工具。本文将向您介绍如何更改NuGet的全局包、缓存和临时文件夹路径位置,以便根据您的偏好进行自定义配置。 在默认情况下,NuGet将全局包、缓存和临时文件夹存储在特定的目录

    2024年02月12日
    浏览(33)
  • Lua 批量修改文件夹下文件名

    2024年02月16日
    浏览(58)
  • 【ubuntu】修改文件夹(目录)及其内部文件的权限

    目录 修改文件夹(目录)及其内部文件的权限 在 Ubuntu 中,你可以使用 chmod 命令来修改文件夹(目录)及其内部文件的权限。下面是一个将文件夹及其内部所有文件的权限都修改为相同权限的示例命令: 其中, permission 是权限设置,表示所需的权限,例如 755 或 777 , fold

    2024年02月03日
    浏览(45)
  • 修改C盘某文件夹权限

    今天发现有写地方当我们把一些软件不小心按在C盘,但是不想换地方的时候,发现C盘的都是只读文件,(开发软件别按在C盘),然后管理员权限打开属性、更改权限发现不生效,然后各种搜也不行,后来试通了 一个: 使用管理员权限运行文件资源管理器:在打开文件资源

    2024年02月09日
    浏览(43)
  • 文件夹路径保存不同,什么批量修改名称

    在日常工作中不知道大家有没有遇到过,需要批量修改文件夹名称,并且文件夹保存路径不同呢,像这种情况到底不能批量修改呢。我也问了很多身边的朋友,他们有的说,他一般都修改保存路径是同一个,还很少遇到像我这样情况,他们给的建议是,分次修改,一次修改同

    2024年02月05日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包