ChatGPT本地部署,学习记录

这篇具有很好参考价值的文章主要介绍了ChatGPT本地部署,学习记录。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一、GPT4ALL模型

官网地址:

Github:https://github.com/nomic-ai/gpt4all

GPT4ALL项目部署简易,但是在运行体验上一般,并且是只调用CPU来进行运算。

看官方文档介绍在嵌入式上有比较大的优势,但是目前个人对嵌入式方向接触不深,仅在本机部署使用。

本机配置(CPU:i5-8400、显卡:1060、内存:8)

二、模型下载

链接:https://gpt4all.io/index.html

ChatGPT本地部署,学习记录,python学习笔记,学习

可以自行选择不同的model类型,都有相对应的介绍,然后直接下载即可。

model使用相关文档链接:https://docs.gpt4all.io/index.html

三、使用过程

安装第三方库:pip install gpt4all

运行如下代码

from gpt4all import GPT4All
model = GPT4All(r'D:\GPT_Model\GPT4All-13B-snoozy.ggmlv3.q4_0', allow_download=False)
while True:
    str = input('Loading Done! Please input: ')
    if str == '0':
        break
    output = model.generate(str)
    print(output)

使用上述代码,既可在命令行和模型连续沟通,但是体验感不佳(可能是因为我自己电脑配置的原因。。

也可以安装界面版,相关信息github自行获取。

将陆续更新其他的模型本地部署(问就是GPT4ALL不是很好用…文章来源地址https://www.toymoban.com/news/detail-819705.html

到了这里,关于ChatGPT本地部署,学习记录的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Docker的使用教程、学习笔记,附实战:部署chatgpt网页版ui,部署mysql8数据库

    作者:ChenZhen 博客地址:https://www.chenzhen.space/ 版权:来自b站视频 【SpringCloud+RabbitMQ+Docker+Redis+搜索+分布式,系统详解springcloud微服务技术栈课程|黑马程序员Java微服务】 因为黑马的课件ppt做的实在是太好了,基本就是原样copy过来整理一下。 如果对你有帮助,请给一个小小的

    2024年02月04日
    浏览(62)
  • chatgpt赋能python:Python学习笔记:如何合并元组

    在Python中,元组是一种不可变的数据结构。当我们需要组合不同的元组时,我们可以使用元组合并的方法来实现。在本文中,我们将学习如何使用Python语言来合并元组。 在Python语言中,元组是一种有序的数据类型,可以包含零个或多个任意类型的元素。和列表相似,但是元组

    2024年02月08日
    浏览(54)
  • 使用Docker本地部署chatgpt

    作用:实现本地访问chatgpt   下载安装包完成之后,先不要立即安装: docker默认安装在c盘,而且手动选不了安装位置,需要提前配置安装到别的地方: cmd控制台执行以下代码(记得提前在目标位置创建好指定文件夹,下面以D盘为例): mklink /J \\\"C:Program FilesDocker\\\"  \\\"D:P

    2024年02月09日
    浏览(43)
  • Stable Diffusion Webui 本地部署【踩坑记录】

    Python Release Python 3.10.6 | Python.org git是一个代码管理工具,通过它可以将开源项目仓库克隆到本地 下载地址:Git - Downloading Package 可以新建一个目录,在文件夹内单击鼠标右键,选择Git bash here,复制以下代码 也可以打开 GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI S

    2024年02月12日
    浏览(58)
  • 本地部署Stable Diffusion Webui AI 记录

    Stable Diffusion Webui AI本地部署基本分为两种方式: 1、使用大佬的打包好的安装包一键部署 b站秋葉aaaki 2、手动部署(个人实践记录)参考文章 1、 需要拥有NVIDIA显卡,GTX1060 (或者同等算力的N卡)以上,显存4G以上。 2、操作系统需要win10或者win11的系统。 3、内存16G或者以上,

    2024年02月05日
    浏览(61)
  • AI模型部署记录(一)-ChatGLM:清华开源本地部署(2023/05/06更新)

    文章首发及后续更新:https://mwhls.top/4500.html,无图/无目录/格式错误/更多相关请至首发页查看。 新的更新内容请到mwhls.top查看。 欢迎提出任何疑问及批评,非常感谢! 服务部署汇总 本来这篇是为了打比赛写的,写着写着发现两个问题,AI部署连续几篇,等我比赛打完再发模

    2024年02月03日
    浏览(43)
  • ChatGPT本地部署(支持中英文,超级好用)!

    今天用了一个超级好用的Chatgpt模型——ChatGLM,可以很方便的本地部署,而且效果嘎嘎好,经测试,效果基本可以平替内测版的文心一言。 目录 一、什么是ChatGLM? 二、本地部署 2.1 模型下载 2.2 模型部署 2.3 模型运行 2.3.1 直接在命令行中输入进行问答 2.3.2 利用 gradio 库

    2023年04月14日
    浏览(56)
  • Mac pro M2 ---“本地部署chatGPT”

             目录 一、打开终端 二、模型下载  坑1:你git不下来 三、安装pytorch依赖,转换模型格式 坑2:当时是python3 quantize.py 7B,但是执行完一直出错  四、设置对话模型,给他起个名字  五、LLaMA资料补充         对于有些小可爱不会 科学上网 ,不知道如何整个国外

    2024年02月03日
    浏览(45)
  • Chatgpt+Comfyui绘图源码说明及本地部署文档

    其他文档地址: Chatgpt+Comfyui绘图源码运营文档 Chatgpt+Comfyui绘图源码线上部署文档 1、源码目录说明 app_home:app官网源码 chatgpt-java:管理后台服务端源码、用户端的服务端源码 chatgpt-pc:电脑网页前端源码 chatgpt-ui:管理后台前端源码 chatgpt-uniapp:手机网页端、小程序、app的源

    2024年01月21日
    浏览(51)
  • GTX1660Ti 本地部署 Stable Diffusion踩坑记录

    先是进行搜索如何本地安装,找到了两种安装方法:一个是结合 WebUI 来进行本地部署;还有一个就是直接安装到本地 通过代码段进行绘图 。因为之前做毕设已经有过配置环境的经验,于是选择第二种,开始了踩坑。 这里主要是借鉴了一下二位大佬的安装记录,这里插入一下

    2023年04月25日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包