使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度挺快的-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度挺快的。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

1，视频地址

2，关于llama.cpp 项目

https://github.com/ggerganov/llama.cpp

LaMA.cpp 项目是开发者 Georgi Gerganov 基于 Meta 释出的 LLaMA 模型（简易 Python 代码示例）手撸的纯 C/C++ 版本，用于模型推理。所谓推理，即是给输入-跑模型-得输出的模型运行过程。

那么，纯 C/C++ 版本有何优势呢？

无需任何额外依赖，相比 Python 代码对 PyTorch 等库的要求，C/C++ 直接编译出可执行文件，跳过不同硬件的繁杂准备；
支持 Apple Silicon 芯片的 ARM NEON 加速，x86 平台则以 AVX2 替代；
具有 F16 和 F32 的混合精度；
支持 4-bit 量化；

golang 的项目地址：

https://github.com/go-skynet/go-llama.cpp

3，准备工作，解决cgo编译问题

关于go-llama.cpp 项目地址：

https://github.com/go-skynet/go-llama.cpp

首先下载模型：

https://hf-mirror.com/TheBloke/Yi-6B-GGUF/tree/main

使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度挺快的,大模型,golang,wails,golang,llama,开发语言
然后运行测试：

使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度挺快的,大模型,golang,wails,golang,llama,开发语言

虽然模型回答的不太对，但是可以运行了，速度确实还可以。

4，只要是llama.cpp支持的模型就可以

使用go-llama.cpp 运行 yi-01-6b大模型，使用本地CPU运行，速度挺快的,大模型,golang,wails,golang,llama,开发语言
已经支持很多模型了，都需要测试下效果。文章来源地址https://www.toymoban.com/news/detail-829161.html