笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

这篇具有很好参考价值的文章主要介绍了笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

准备工作

如果通过GPU来运行,一般办公电脑的显卡可能达不到所需的要求,所以,可以通过CPU+内存的方式花最低的代价来部署一套本地运行AI的模型。

1、首先下载CPU-Z,运行看一下电脑当前的指令集是否包含AVX512,非AVX512指令部署完应该也能运行,但可能运行速度会非常慢。(我的电脑是Thinkpad T14 gen2 ,内存32G,系统是Windows 10)

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

2、下载llama.cpp。

llama.cpp AVX512指令 百度云盘下载地址
提前码:an5m

如果电脑不支持AVX512指令,可以通过llama.app下载其他指令集,全部署完尝试一下能不能用。

3、下载对应的模型。

以下提供两种模型,可任意选或都下载去运行对比一下(个人推荐Vicuna)。
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

1)、vicuna_13b模型。

Vicuna Github代码地址

Vicuna号称"小羊驼",Vicuna是基于ShareGPT的7万条对话数据对LLaMA微调的模型,13b模型的效果据说可达到ChatGPT3.5 92%的效果,部分问答的评分甚至超过了ChatGPT3.5。

vicuna_13b百度云盘下载地址
提前码:0n9g

里面vicuna-13B-1.1-GPTQ-4bit-32g.GGML.bin和vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin
下载哪个都可以,我用的是vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin

2)、alpaca_13b模型

Alpaca Github代码地址

Alpaca是斯坦福大学基于LLaMA模型指令微调的模型,13b模型的效果可达到近似ChatGPT3.5的效果(个人感觉比Vicuna稍微差了一点) 。

针对alpaca_13b,国内提供了对应中文扩展合并模型。
alpaca_13b百度云盘中文扩展合并模型下载地址
提前码:rru0

部署步骤

新建一个文件夹,我这里的文件夹叫“ai”,并解压下载好的llama.cpp包

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)
解压后的文件如下图。

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

下面提供这两次模型的具体部署方式,可任选一种,或两种都部署。

1)vicuna_13b模型部署

将下载好的vicuna-13B-1.1-GPTQ-4bit-32g.GGML.bin或vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin文件考入到刚才新建的文件夹“ai”内。

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

新建一个扩展名为.bat的文件(直接建个记事本,将扩展名改一下就行)。

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

右键编辑新建的.bat文件输入下图的文本,保存运行即可。
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

"main.exe" --ctx_size 2048 --temp 0.7 --top_k 40 --top_p 0.5 --repeat_last_n 256 --batch_size 1024 --repeat_penalty 1.17647    --model "vicuna-13B-1.1-GPTQ-4bit-128g.GGML.bin"   --n_predict 2048   --color --interactive   --reverse-prompt "User:"   --prompt "Text transcript of a never ending dialog, where User interacts with an AI assistant named ChatLLaMa. ChatLLaMa is helpful, kind, honest, friendly, good at writing and never fails to answer User's requests immediately and with details and precision. There are no annotations like (30 seconds passed...) or (to himself), just what User and ChatLLaMa say aloud to each other. The dialog lasts for years, the entirety of it is shared below. It's 10000 pages long. The transcript only includes text, it does not include markup like HTML and Markdown."

运行效果如下图
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

Vicuna虽然没有专门针对中文做过微调,但对中文的支持还是很不错的,偶尔中文的问答还是有些不完美的地方,建议复杂的问题用英文来问答。

2)alpaca_13b模型部署

将下载好的ggml-model-f16.bin文件考入到刚才新建的文件夹“ai”内。
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

新建一个扩展名为.bat的文件(直接建个记事本,将扩展名改一下就行)。

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

右键编辑新建的.bat文件输入下图的文本,保存运行即可。

笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

"main.exe" --ctx_size 2048 --temp 0.7 --top_k 40 --top_p 0.5 --repeat_last_n 256 --batch_size 1024 --repeat_penalty 1.17647    --model "ggml-model-f16.bin"   --n_predict 2048   --color --interactive   --reverse-prompt "User:"   --prompt "Text transcript of a never ending dialog, where User interacts with an AI assistant named ChatLLaMa. ChatLLaMa is helpful, kind, honest, friendly, good at writing and never fails to answer User's requests immediately and with details and precision. There are no annotations like (30 seconds passed...) or (to himself), just what User and ChatLLaMa say aloud to each other. The dialog lasts for years, the entirety of it is shared below. It's 10000 pages long. The transcript only includes text, it does not include markup like HTML and Markdown."

运行效果如下图
笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)

Alpaca 13b微调的模型文件较大,而且运行很占内存,一些问题回答的不是很完美。

注意:Vicuna和Alpaca都是基于LLaMa的,不能用于商用。文章来源地址https://www.toymoban.com/news/detail-444948.html

到了这里,关于笔记本电脑部署本地离线版类似ChatGPT3.5的AI模型(CPU+内存运行)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 笔记本电脑控制树莓派,树莓派获取IP地址,连接笔记本电脑屏幕

    树莓派使用需要连接显示屏配备键盘和鼠标,为了方便实用可以直接连接到自己的笔记本电脑上,主要步骤如下: 第一步:获取树莓派IP地址 首先进行树莓派的系统烧录,烧录过程可以查看网上教程,有很多这里不再赘述,本文主要是针对已经烧录好的树莓派连接笔记本电脑

    2024年02月12日
    浏览(61)
  • 将一台笔记本电脑作为另一台笔记本电脑的扩展显示器

                            可以使用 快捷键win + i 打开设置 ,然后点击 ‘系统’         步骤2:点击 ‘投影到此电脑’ ,可以看到右边的选项是灰色,                 不可以选,然后点击 ‘可选功能’ ;如果是可选的,可以跳过步骤4 步骤3 :查找是否安

    2024年02月11日
    浏览(83)
  • 三防笔记本丨加固笔记本丨三防笔记本电脑赋能车辆检修

    随着汽车数量的不断增加和交通运输行业的发展,车辆检修行业成为了保障交通安全和延长车辆寿命的重要领域。在车辆检修过程中,需要使用各种工具和设备来进行检测、维修和保养,而信息化技术的应用正逐渐渗透到这一行业中,为检修工作提供了更高效、更精准的解决

    2024年04月09日
    浏览(95)
  • python编程用什么笔记本好,python用什么笔记本电脑

    大家好,给大家分享一下写python大家都用什么笔记本的,很多人还不知道这一点。下面详细解释一下。现在让我们来看看! 大家好,小编为大家解答python编程对笔记本电脑配置的要求的问题。很多人还不知道python编程笔记本电脑推荐便宜,现在让我们一起来看看吧! 大家好

    2024年01月18日
    浏览(57)
  • 笔记本电脑参数简介

    笔记本电脑按照性能续航重量可分为轻薄本、全能本和游戏本。 从轻薄本到全能本再到游戏本,性能依次提高,续航依次下降,重量依次增加。 更详细的对比如下: 轻薄本 :特点是轻薄便携,续航持久,颜值较高,但是性能相对保守。适合文科类专业,如会计学、语言类等

    2024年02月09日
    浏览(81)
  • 学python什么笔记本电脑好,学python买什么笔记本好

    大家好,本文将围绕学python要什么配置的电脑展开说明,学python需要什么样的电脑是一个很多人都想弄明白的事情,想搞清楚学python什么笔记本电脑好需要先了解以下几个事情。 大家好,小编来为大家解答以下问题,写python大家都用什么笔记本的,python编程用什么笔记本好,

    2024年02月20日
    浏览(55)
  • 树莓派通过网线连接笔记本实现笔记本电脑Wifi的网络共享

    基于windows电脑连接树莓派进行设置:通过通过一根网线,连接树莓派和电脑,使电脑和树莓派构成一个局域网,然后树莓派接收来自笔记本电脑wifi网络的共享网络。操作方法类似台式机通过网线共享笔记本电脑无线网络的步骤 1、 保证笔记本通过“无线网络连接”可以正常

    2024年02月09日
    浏览(67)
  • 如何选择笔记本电脑?电脑参数怎么看?

    CPU:预算充足买新不买旧 锐龙R55代是主流,日常够用 CPU 英特尔i511代12代是主流/13代将上市 显卡:H标压/U低压 集显 日常够用 显卡 独显 追求高性能必备 屏幕:尺寸 14寸是主流 材质 首选IPS屏 色域 首选高色域屏 屏幕 分辨率 1920x1080主流 笔记本电脑 刷新率 游戏党要选高刷屏 的性

    2024年02月09日
    浏览(61)
  • 电脑笔记本如何去选

    如联想 小新AIr 14 i 是酷睿 英特尔 R是锐龙 十代酷睿 i5-10300H i7-10750H i7-10870H i7-10875H 十一代酷睿 四代锐龙 R5-4600H 五代锐龙 R5-5600H CPU后缀 英特尔的后缀 i5-10210U 14nm或更落后的低压处理器 i5-1135G7 10nm的低压处理器,核显G7级别(G7,G4,G1) 标准电压处理器不会把核显级别标注在命名

    2024年02月09日
    浏览(63)
  • 笔记本电脑无法调整亮度

    现象: 笔记本调整亮度的快捷键(Fn+亮度调节按键,一般是F8、F9)无效 电池设置中没有亮度调节的亮度条 解决办法: 打开设备管理器,通过Win+X,然后选择“设备管理器”可以快捷打开 检查“监视器”下面是否有除了以下截图中显示的“通用即插即用监视器”之外的驱动

    2024年02月08日
    浏览(65)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包