在树莓派中跑迷你Llama2中文模型-Toy模板网

这篇具有很好参考价值的文章主要介绍了在树莓派中跑迷你Llama2中文模型。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

OpenAI的Karpathy利用周末搞了一个迷你Llama2项目llama2.c用500行C语言实现无任何依赖项的推理程序，此项目在github发布以来衍生出了基于各种语言的迷你Llama推理实现llama2.go、llama2.java、llama2.py等等；
但该项目原本的模型并不支持中文，最近正好看到一个基于llama2的中文训练模型；想着把它跑在树莓派上速度会怎样；
使用Go实现进行模型推理，该在树莓派中的Llama2 迷你中文模型，模型大小为15M使用的数据集为TinyStories 英文翻译后的数据但仅翻译了TinyStories 的部分数据目前为1M，中文词表使用UTF-8编码所以每个汉字为3个字节；

在树莓派中推理：

 ./llama2.go -checkpoint=stories15M-llama2-enzh.bin -tokenizer=tokenizer.bin -prompt="有个小姑娘" 
2023/08/20 15:43:55 config: llama2.Config{Dim:288, HiddenDim:768, NumLayers:6, NumHeads:6, NumKVHeads:6,VocabSize:55296, SeqLen:256}
 有个小姑娘。她正忙着在公园里玩耍。突然，她摔倒了，膝盖受伤了。她需要举起膝盖。
 她的父母提醒她保持冷静，然后乔把她救回她的安全位置。他们给了她一些创可贴，并告诉她会帮助她感觉好一点。
 小乔紧紧地抱住膝盖，微笑着。她相信她的父母会帮助她感觉更好。
 最终，收拾好竭，她的膝盖感觉好多了。她很高兴能能够再次感到安全。

可以看到在树莓派中跑这个150万参数的llama2模型Tokens/s速度只有每秒不到10；
由于TinyStories只是短篇故事数据集，加上中文翻译数据集也不完全，模型参数也只有百万规模所以讲故事的效果并不好；

在树莓派中跑迷你Llama2中文模型

Go推理fork于：https://github.com/nikolaydubina/llama2.go
模型、词表来源：https://github.com/chenyangMl/llama2.c-zh
文章首发地址：https://mp.weixin.qq.com/s/3jHg6kYFnd45JUZq9WK3sw文章来源地址https://www.toymoban.com/news/detail-659836.html

到了这里，关于在树莓派中跑迷你Llama2中文模型的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！