from llama_cpp import Llama model = Llama(model_path="llama-2-7b-chat.ggmlv3.q4_0.bin")
错误:gguf_init_from_file: invalid magic characters 'tjgg'等,也就是无法加载模型
因为最新版的llama-cpp-python不支持ggml文件格式了
解决方案:
1、降低版本(最简单):
pip install llama-cpp-python==0.1.78
2、直接下载对应GGUF的模型
3、利用llama.cpp内部转换函数进行转换
参考出处:TheBloke/Llama-2-13B-GGML · Could not load Llama model from path (huggingface.co)
运行结果:文章来源:https://www.toymoban.com/news/detail-808175.html
文章来源地址https://www.toymoban.com/news/detail-808175.html
到了这里,关于大模型在cpu上使用llama_cpp部署无法加载模型的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!