在加载LLaMA模型时遇到到的问题及解决方法。
1. 问题1
解决方法:找到llama模型中的tokenizer_config.json文件,把“tokenizer_class”对应的“LLaMATokenizer”改为“LlamaTokenizer”。文章来源:https://www.toymoban.com/news/detail-716281.html
2. 问题2
在解决问题1后,继续运行可能会遇到下面的问题:
解决方法:!pip install transformers[sentencepiece]
文章来源地址https://www.toymoban.com/news/detail-716281.html
到了这里,关于LLaMA加载时遇见:ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!