代码为我自己写的 python 程序,应该是全网最简单的大模型部署方案,一个模型文件1.3GB,一个python代码即可开始玩耍~
首先说明,本文下面的内容需要一点点python基础,需要会安装 python和 pip 安装依赖库,如果你不会或者不想这么麻烦,只想要下载就能马上使用的大模型离线整合包,那抱歉,目前只支持 Windows ,Windows系统的离线整合包文章介绍链接为:
https://zhuanlan.zhihu.com/p/670964259
https://mp.weixin.qq.com/s/W-b7AUXlCCggLpz_8IkLBQ
https://mp.weixin.qq.com/s/RD0rbJakH3HS-DaIZZ-Lmw
下面开始正文
CPU运行:
1 安装python,并且需要保证python版本大于3.8,最好在虚拟环境里面安装;
2 安装 llama cpp python
安装指令:
pip install llama-cpp-python -i https://pypi.tuna.tsinghua.edu.cn/simple/ 文章来源:https://www.toymoban.com/news/detail-821571.html
3 下载模型文件,百度网盘链接:https://pan.baidu.com/s/1WQQ8kaDilaagjoK5IrYZzA 提取码:1111 ;里面有一个通义千问大模型的有闪退的旧版本压缩文件,下载后解压文件夹里面有一个名文章来源地址https://www.toymoban.com/news/detail-821571.html
到了这里,关于Linux Ubuntu 和 Mac ,Windows 部署离线通义千问1.8B参数 4-bit量化大模型详细教程 全网唯一的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!