【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

这篇具有很好参考价值的文章主要介绍了【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

感谢B站秋葉aaaki大佬

前言

部署资源

部署流程 

实机演示

ChatGML微调(人格炼成)(个人感觉蛮有趣的地方)

 分享有趣の微调人格

 实机演示(潘金莲人格)


感谢B站秋葉aaaki大佬

秋葉aaaki的个人空间_哔哩哔哩_bilibilihttps://space.bilibili.com/12566101

前言

由于ChatGLM-6B的规模较小,目前已知其具有相当多的局限性,如事实性/数学逻辑错误,可能生成有害/有偏见内容,较弱的上下文能力,自我认知混乱,以及对英文指示生成与中文指示完全矛盾的内容。请大家在使用前了解这些问题,以免产生误解。

很明显这个模型,因为是中文训练的,在很多数据上非常适合中文提问和回答
其次,本模型有思想钢印的存在,部分滑梯是不能说的

 但是其也有着本地部署和开源社区的优势。

部署资源

模型可以从huggingface上下载

THUDM/chatglm-6b · Hugging Facehttps://huggingface.co/THUDM/chatglm-6bwebui项目地址,目前只是简易版仍然在更新 ChatGLM-webui:

Akegarasu/ChatGLM-webui: A WebUI for ChatGLM-6B (github.com)https://github.com/Akegarasu/ChatGLM-webui

链接: 

百度网盘 请输入提取码 (baidu.com)https://pan.baidu.com/share/init?surl=xuCvJDbQYlHECY5-2b3-Eg提取码: y2ab

部署流程 

将这三个压缩包解压到同一个文件夹

【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

解压后如下图所示 

 【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

 将更新的的压缩包放入文件夹进行替换

实机演示

【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

 点击自己机型对应显存的程序

【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

 进行本地web—UI的配置

【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

 这样便可以在本地配置成功了

ChatGML微调(人格炼成)(个人感觉蛮有趣的地方)

 分享有趣の微调人格

【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程

 下载链接人格设定分享_免费高速下载|百度网盘-分享无限制 (baidu.com)https://pan.baidu.com/s/14z3X5BL5n9cJnW7b9GtZ4A?pwd=Glut#list/path=%2F

 实机演示(潘金莲人格)

【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程文章来源地址https://www.toymoban.com/news/detail-459676.html

到了这里,关于【ChatGLM】本地版ChatGPT ?6G显存即可轻松使用 !ChatGLM-6B 清华开源模型本地部署教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【AI】RTX2060 6G Ubuntu 22.04.1 LTS (Jammy Jellyfish) 部署chatglm2-6b 开源中英双语对话模型

    项目地址 chatglm2-6b 下载模型 创建测试项目 创建虚拟环境安装依赖 完整的venv环境 main.py 执行 python进程cpu使用率100.3%持续了很长时间,没有启用多线程?

    2024年01月20日
    浏览(44)
  • 本地部署ChatGLM-6B模型(使用JittorLLMs大模型推理库)

    网上冲浪时发现的这两个国产模型,重点是对硬件的要求并不高,有2GB内存就可以跑,觉得有趣就弄来玩了下。 https://github.com/Jittor/JittorLLMs https://github.com/THUDM/ChatGLM-6B 简单介绍下用到的仓库 ChatGLM-6B ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language

    2024年02月01日
    浏览(46)
  • 使用 CPU 本地安装部署运行 ChatGLM-6B 获得自己的专属 AI 宠物

    ChatGLM-6B 是一个清华开源的、支持中英双语的对话语言模型,基于GLM架构,具有62亿参数。结合模型量化技术,ChatGLM-6B可以本地安装部署运行在消费级的显卡上做模型的推理和训练(全量仅需14GB显存,INT4 量化级别下最低只需 6GB 显存)虽然智商比不过 openAI 的 ChatGPT 模型,但

    2024年02月16日
    浏览(44)
  • 开源方案复现ChatGPT流程!1.62GB显存即可体验,单机训练提速7.73倍

    火爆全网的ChatGPT,仿佛开启了第四次工业革命,让微软、谷歌等全球科技巨头打得昏天黑地,引得各路玩家纷纷入局,抢占赛道。 然而由于OpenAI没有开源ChatGPT,如何有效复现ChatGPT已成为摆在大家面前的头号难题,急需可靠的开源共建方案。 Colossal-AI快速跟进, 首个开源低

    2023年04月15日
    浏览(32)
  • ChatGLM-6B本地cpu部署

        ChatGLM-6B是清华团队研发的机器人对话系统,类似ChatGPT,但是实际相差很多,可以当作一个简单的ChatGPT。     ChatGLM部署默认是支持GPU加速,内存需要32G以上。普通的机器无法运行。但是可以部署本地cpu版本。     本地部署,需要的环境:      python3.9及以上      gcc 

    2024年02月04日
    浏览(37)
  • 清华ChatGLM-6B本地GPU推理部署

    目录 1 简介 2 硬件需求 3 Demo和模型下载 3.1 安装Git LFS 3.2 Demo下载 3.3 模型下载 3.4 文件目录 4 环境安装 5 运行 5.1 FP16 5.2 量化 6 演示 ChatGLM-6B是一个开源的、支持中英双语的对话语言模型,基于General Language Model(GLM)架构,具有62亿参数。结合模型量化技术,用户可以在消费级

    2024年02月07日
    浏览(37)
  • ChatGLM2-6B 大语言模型本地搭建

    ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用! ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4 量化级别下

    2024年01月21日
    浏览(48)
  • ChatGLM3-6B的本地api调用

    1.运行openai_api_demo路径下的openai_api.py 启动后界面: 注意:本地api调到的前提是——本地部署了ChatGLM3-6B,本地部署的教程可参考: 20分钟部署ChatGLM3-6B 部署了若CUDA可用,默认会以CUDA方式运行,占用显存约5.9G;若CUDA不可用,则会以内存方式进行加载,官方称CPU调用需要32G内存

    2024年01月21日
    浏览(47)
  • 【ChatGLM_01】ChatGLM2-6B本地安装与部署(大语言模型)

    ChatGLM2-6B是一个开源的、支持中英双语的对话语言模型,基于General Language Model (GLM)架构。 ChatGLM2-6B具备的能力: 自我认知:“介绍一下你的优点” 提纲写作:“帮我写一个介绍ChatGLM的博客提纲” 文案写作:“写10条热评文案” 信息抽取:‘从上述信息中抽取人、时间、事件

    2024年02月14日
    浏览(51)
  • 深度学习实战38-基于清华ChatGLM-6b开源模型做体检报告解读任务,让体检报告解读变得轻松

    大家好,我是微学AI,今天给大家介绍一下深度学习实战38-基于清华ChatGLM-6b开源模型做体检报告解读任务,让体检报告解读变得轻松。ChatGLM-6b是清华大学团队开源的一个语言大模型。本文将介绍一种基于ChatGLM-6B的体检报告智能解读应用项目。首先,我们将讨论体检报告解读

    2024年02月10日
    浏览(67)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包