Huggingface Transformers Deberta-v3-base安装踩坑记录

这篇具有很好参考价值的文章主要介绍了Huggingface Transformers Deberta-v3-base安装踩坑记录。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

下载transformers的预训练模型时,使用bert-base-cased等模型在AutoTokenizer和AutoModel时并不会有太多问题。但在下载deberta-v3-base时可能会发生很多报错。

首先,

from transformers import AutoTokneizer, AutoModel, AutoConfig

checkpoint = 'microsoft/deberta-v3-base'

tokenizer = AutoTokenizer.from_pretrained(checkpoint)

此时会发生报错,提示

ValueError: Couldn't instantiate the backend tokenizer from one of: 
(1) a `tokenizers` library serialization file, 
(2) a slow tokenizer instance to convert or 
(3) an equivalent slow tokenizer class to instantiate and convert. 
You need to have sentencepiece installed to convert a slow tokenizer to a fast one.

 解决方法是

pip install transformers sentencepiece

 继续导入tokenizer,又会有如下报错文章来源地址https://www.toymoban.com/news/detail-703868.html

ImportError: 
DeberetaV2Converter requires the protobuf library but it was not f

到了这里,关于Huggingface Transformers Deberta-v3-base安装踩坑记录的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【修改huggingface transformers默认缓存文件夹】

    最近在学习用TensorFlow框架做NLP任务,注意到huggingface中的transforms库非常强大,于是开始学习用它来做相应的任务。刚开始用这个库没多久,感觉确实操作起来既简单又强大,于是打算深入学习。 学习过程中发现,运行程序过程中,下载的模型和数据集是默认放在C盘的用户目

    2024年01月23日
    浏览(44)
  • [AI]如何让语言模型LLMs流式输出:HuggingFace Transformers实现

    HugginFace Transforms是一个非常方便的库,集成了非常多SOTA的模型,包含:LLAMA, GPT, ChatGLM Moss,等。目前基本上主流的方案都是基于HugginFace Transforms这个框架实现的。以前如果要流式输出需要自己去改模型底层的推理逻辑。 如ChatGLM,自己实现的流式输出如下: hugging face也注意到

    2024年02月16日
    浏览(45)
  • [linux] huggingface transformers 如何下载模型至本地 & git lfs install 报错

    bert-base-uncased at main 但是 git lfs install 的时候报错。 于是查了一下。。。。安装lfs是要这样:  You can\\\'t directly use Instead of that, you can use these commands to download and install (you have to download it before installing). 网络不好mac报错:重新安了一下brew install git-lfs。。 如果失败,则。。。可能

    2024年02月10日
    浏览(50)
  • paddlenlp安装踩坑记录

    错误1 我下载paddlepaddle-gpu==2.5.0.post117解决了,最开始下载的2.5.1报错,post后面的117是我的cuda版本,要写你对应的版本号 官方下载页面,其他版本的去这个页面看看,改一下显卡版本,或者paddlepaddle版本号,去这个页面查 错误2 下载paddlenlp==2.5.2可以解决该问题 错误3 cudnn没安

    2024年02月12日
    浏览(29)
  • ONLYOFFICE DocumnetServer 安装踩坑记录

    ONLYOFFICE DocumnetServer 安装踩坑记录 操作系统:window server 2012 R2及以上版本 环境: Erlang:version 24.2 RabbitMQ:version 3.9.12 PostgreSQL:version 12.9 or later 安装包: onlyoffice-documentserver.exe cerbot-beta-installer-win32.exe Visual C++ 2013 Update 5 Redistributable (x64) Visual C++ 2015-2022 Redistributable (x64) 注意:以上

    2024年02月08日
    浏览(23)
  • Ubuntu 18安装nerfstudio教程、踩坑记录

    去官网或者镜像下载anaconda3 的执行文件 官网:anaconda官网 清华镜像:清华大学开源软件镜像站 下载好之后执行如下代码: 等待安装完成之后出现(base)字样,然后按照nerfstudio文档 创建虚拟环境: 创建完环境之后需要安装torch,这里以cuda11.3为例: 如果是cuda11.7的用这个命令

    2024年02月10日
    浏览(22)
  • Elasticsearch安装IK分词器踩坑记录

    在安装ES ik分词器参考如下博文进行安装时报后面的错误提示 https://blog.csdn.net/ZHHX666/article/details/125953385 错误提示: 参考如下博文得已解决: https://blog.csdn.net/Sun_shine95/article/details/126042447 结论: 可能是不同版本目录不同,建议还是使用命令进行安装,不要自己手动建目录。

    2024年01月25日
    浏览(31)
  • Ubuntu20.04安装Unity踩坑记录

    链接:https://docs.unity3d.com/hub/manual/InstallHub.html?_ga=2.264734605.30268629.1678763370-652752773.1678763370#install-hub-linux step1 一切顺利 结果: step2 开始报错了!! E: 仓库 “https://ppa.launchpadcontent.net/jonathonf/ffmpeg-4/ubuntu jammy Release” 没有 Release 文件。 解决办法: 参考教程:apt-get update时提示仓

    2024年02月04日
    浏览(33)
  • Window winget 包管理工具安装踩坑记录

    想在 window 上安装一个好用的包管理工具, mac 上用 homebrew , window 则考虑再三,使用官方提供的 winget 。 winget 官方使用文档。 按 win + x ,选择 Powershell(管理员) 方式打开 cmd ,执行以下命令: 结果报错: 于是去 微软商店(microsoft store) 里面搜索 winget ,发现提示已安装,那

    2024年02月08日
    浏览(40)
  • Pytorch3D Linux环境下安装(踩坑)记录

    Pytorch3D Linux环境下安装(踩坑)记录 文章目录 前言 一、准备工作 二、极简安装(Installing prebuilt binaries) 1.创建环境 2.安装Pytorch 3.安装两个核心库 4.(非必要)Tests/Linting and Demos 相关 5.安装Pytorch3D 三、手动安装(Building from source) 1.创建环境 2.安装Pytorch 3.安装两个核心库(

    2024年02月13日
    浏览(30)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包