decapoda-research/llama-7b-hf 的踩坑记录

10月前作者：夏离分类：Toy博客阅读(87) 违法举报

这篇具有很好参考价值的文章主要介绍了decapoda-research/llama-7b-hf 的踩坑记录。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

使用transformers加载decapoda-research/llama-7b-hf的踩坑记录。

ValueError: Tokenizer class LLaMATokenizer does not exist or is not currently imported.
解决办法：
https://github.com/huggingface/transformers/issues/22222
将tokenizer_config.json中LLaMATokenizer改为LlamaTokenizer。
RecursionError: maximum recursion depth exceeded while getting the str of an object.
解决办法：
https://github.com/huggingface/transformers/issues/22762
使用tokenizer_config.json替换原本的tokenizer_config.json文章来源地址https://www.toymoban.com/news/detail-733716.html

到了这里，关于decapoda-research/llama-7b-hf 的踩坑记录的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

LLaMA-7B微调记录

Alpaca（https://github.com/tatsu-lab/stanford_alpaca）在70亿参数的LLaMA-7B上进行微调，通过52k指令数据（https://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json），在8个80GB A100上训练3小时，在对话上的性能比肩GPT-3.5。 52k数据所对应的alpaca_data.json是一个字典列表，每个字典包含以下字段

2024年02月12日
浏览(39)
MPT-7B：开源，商业可用，性能堪比LLaMA-7B的LLM新成员

Meta开源了LLama，不过有很多限制，很难商业运用。于是现在MosaicML开发了MPT-7B模型，它是一个基于Transformer在1T文本/代码Token上训练出来的模型。该模型开源，与LLaMA-7B模型效果相匹配，而且可用于商业用途。代码：https://github.com/mosaicml/llm-foundry/ 模型：mosaicml/mpt-7b-instruct ·

2024年02月11日
浏览(42)
提高LLaMA-7B的数学推理能力

这篇文章探讨了利用多视角微调方法提高数学推理的泛化能力。数学推理在相对较小的语言模型中仍然是一个挑战，许多现有方法倾向于依赖庞大但效率低下的大语言模型进行知识蒸馏。研究人员提出了一种避免过度依赖大语言模型的新方法，该方法通过有效利用具有不同注

2024年02月16日
浏览(40)
LLM__llama-7B模型试验

llama模型已经开源很久了，所以拿做小的模型做了个简单尝试因为做简单尝试并不打算长期持有，所以以便宜、够用、好退货为主要参考依据购买阿里云服务器、我看7B的模型权重大小就13GB，所以先购入一个 32GB内存的虚拟机 CPU内存: 4核(vCPU) 32 GiB ~ 操作系统: Alibaba Cloud Lin

2024年02月09日
浏览(44)
试运行llama-7B、vicuna-7b-delta-v1.1和vicuna-7b-v1.3

Chatgpt的出现给NLP领域带来了让人振奋的消息，可以很逼真的模拟人的对话，回答人们提出的问题，不过Chatgpt参数量，规模，训练代价都很昂贵。幸运的是，出现了开源的一些相对小的模型，可以在本地或者云端部署体验，动手体验了下Vicuna-7b，翻译过来是小羊驼」（骆马）

2024年02月13日
浏览(44)
基于LLAMA-7B的lora中文指令微调

前言：系统：ubuntu18.04 显卡：GTX3090 - 24G （惨呀，上次还是A100，现在只有3090了~）（本文旨在快速实现基于llama-7b的中文指令微调）咱们还是用lit-llama（环境安装过程见上篇博客）地址：https://github.com/Lightning-AI/lit-llama 模型下载在huggingface上搜索\\\"llama chinese\\\"，我们选以下这

2024年02月12日
浏览(49)
LLM-LLaMA：手动模型转换与合并【Step 1: 将原版LLaMA模型转换为HF(HuggingFace)格式；Step 2: 合并LoRA权重，生成全量模型权重】

准备工作运行前确保拉取仓库最新版代码： git pull 确保机器有足够的内存加载完整模型（例如7B模型需要13-15G）以进行合并模型操作。务必确认基模型和下载的LoRA模型完整性，检查是否与SHA256.md所示的值一致，否则无法进行合并操作。原版LLaMA包含： tokenizer.model 、 tokeni

2024年02月13日
浏览(62)
[llama懒人包]ChatGPT本地下位替代llama-7b，支持全平台显卡/CPU运行

LLAMA的懒人包：链接： https://pan.baidu.com/s/1xOw8-eP8QB--u6y644_UPg?pwd=0l08 提取码：0l08 模型来源：elinas/llama-7b-hf-transformers-4.29 模型来源（LoRA）：ymcui/Chinese-LLaMA-Alpaca 侵权请通知作者删除也可以进我的群下载哦：904511841 下面是llama的输入样例自我介绍一下llama 您好，我是llama。

2024年02月12日
浏览(43)
llama.cpp LLM模型 windows cpu安装部署；运行LLaMA-7B模型测试

参考： https://www.listera.top/ji-xu-zhe-teng-xia-chinese-llama-alpaca/ https://blog.csdn.net/qq_38238956/article/details/130113599 cmake windows安装参考：https://blog.csdn.net/weixin_42357472/article/details/131314105 1、下载： 2、编译 3、测试运行参考： https://zhuanlan.zhihu.com/p/638427280 模型下载： https://huggingface.co/nya

2024年02月15日
浏览(54)
LLM - Chinese-Llama-2-7b 初体验

目录一.引言二.模型下载三.快速测试四.训练数据五.总结自打 LLama-2 发布后就一直在等大佬们发布 LLama-2 的适配中文版，也是这几天蹲到了一版由 LinkSoul 发布的 Chinese-Llama-2-7b，其共发布了一个常规版本和一个 4-bit 的量化版本，今天我们主要体验下 Llama-2 的中文逻辑顺便

2024年02月15日
浏览(35)