ChatGPT开源平替(1)——ChatGLM

这篇具有很好参考价值的文章主要介绍了ChatGPT开源平替(1)——ChatGLM。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

ChatGLM-6B 由清华大学唐杰团队开发的是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

    在我笔记本单卡2060(6G)上可以加载模型,但推理时候会报cuda错误,可能是笔记本上显卡功率跟不上,性能发挥不出最佳状态。之后换成2080ti、3090ti都可以轻松运行。没有GPU的情况下也可以使用CPU,但推理非常慢,本人使用自己笔记本电脑CPU进行加载,推理过了十几分钟还没有得到回复,不过能在消费级显卡上运行起来已经为大模型部署降低了很大的门槛了。

    因此推断,笔记本上2070以上的显卡、台式机2060以上显卡可以运行ChatGLM-6B。可根据显卡性能不同,设置以不同量化精度加载模型。不同量化精度对应的推理需要的最小显存如下:

量化等级 最低GPU显存 量化代码
FP16(无量化) 13 GB model.half().cuda()
INT8 10 GB model.half().quantize(8).cuda()
INT4 6 GB model.half().quantize(4).cuda()
-- CPU model.float()

     ChatGLM-6B 项目提供了两种对话入口,一种图形界面方式,一种命令行方式:

阅读原文:ChatGPT开源平替(1)——ChatGLMChatGLM-6B 由清华大学唐杰团队开发的是一个开源的、支持中英双语的对话语言模型,基于 Genhttps://mp.weixin.qq.com/s/OLvXm7t50FsoP5MmPjkcDA文章来源地址https://www.toymoban.com/news/detail-445505.html

到了这里,关于ChatGPT开源平替(1)——ChatGLM的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【AI】清华开源中英双语对话模型ChatGLM2-6B本地安装笔记

    首先,直接上资源,网盘中是ChatGLM2-6B源码及模型文件: 链接:https://pan.baidu.com/s/1DciporsVT-eSiVIAeU-YmQ 提取码:cssa 官方的Readme已经很详尽了,再写点安装博客有点画蛇添足。本着记录自己的工作内容的初衷,还是写一写吧,毕竟输出才是最好的学习。 本文记录了本地安装Cha

    2024年02月16日
    浏览(60)
  • 清华版Chatgpt:chatglm-6B教程——如何从训练中确定最合适的学习率

    我们在使用chatglm-6B的时候,总会遇到一个问题。即学习率如何确定。我们首先先看chatglm的两个训练用sh文件的学习率是如何确定的。 一、如何第一时间确定学习率 我们可以看到在chatglm给的标准中,对于聊天的训练所默认的学习率是要小于训练广告词的,两者的区别在于,广

    2024年02月05日
    浏览(46)
  • ChatGPT开源平替(1)——ChatGLM

    ChatGLM-6B  由清华大学唐杰团队开发的是一个开源的、支持中英双语的对话语言模型,基于  General Language Model (GLM)  架构,具有 62 亿参数。结合模型量化技术,用户 可以在消费级的显卡上进行本地部署 (INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGPT 相

    2024年02月05日
    浏览(39)
  • 深度学习实战38-基于清华ChatGLM-6b开源模型做体检报告解读任务,让体检报告解读变得轻松

    大家好,我是微学AI,今天给大家介绍一下深度学习实战38-基于清华ChatGLM-6b开源模型做体检报告解读任务,让体检报告解读变得轻松。ChatGLM-6b是清华大学团队开源的一个语言大模型。本文将介绍一种基于ChatGLM-6B的体检报告智能解读应用项目。首先,我们将讨论体检报告解读

    2024年02月10日
    浏览(96)
  • 手把手带你linux部署清华大学大模型最新版 chaglm2-6b

    准备工作: 如果安装出现问题,可尝试手动分别安装torch 1 # 1第一步安装虚拟环境并激活环境 3 安装torch第一种方式 pytorch官网:https://pytorch.org/ 经过多次尝试,发现conda装,真的很快,真香。前几次尝试用pip装torch都会出现timeout的错误,这个跟服务器有关系,视情况而定。

    2024年02月12日
    浏览(50)
  • 人工智能_CPU安装运行ChatGLM大模型_安装清华开源人工智能AI大模型ChatGlm-6B_004---人工智能工作笔记0099

    上一节003节我们安装到最后,本来大模型都可以回答问题了,结果, 5分钟后给出提示,需要GPU,我去..继续看官网,如何配置CPU运行  没办法继续看: 这里是官网可以看到  需要gcc的版本是11.3.0,这里我们先没有去安装,直接试试再说 yum install epel-release yum install gcc-11.3.0 安装的话执行这

    2024年02月21日
    浏览(66)
  • 手把手教你本地CPU环境部署清华大模型ChatGLM-6B,利用量化模型,本地即可开始智能聊天,达到ChatGPT的80%

    大家好,我是微学AI,今天教你们本地CPU环境部署清华大ChatGLM-6B模型,利用量化模型,每个人都能跑动大模型。ChatGLM-6B是一款出色的中英双语对话模型,拥有超过62亿个参数,可高效地处理日常对话场景。与GLM-130B模型相比,ChatGLM-6B在对话场景处理能力方面表现更加卓越。此

    2024年02月01日
    浏览(49)
  • 人工智能_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_001---人工智能工作笔记0096

    使用centos安装,注意安装之前,保证系统可以联网,然后执行yum update 先去更新一下系统,可以省掉很多麻烦 20240219_150031 这里我们使用centos系统吧,使用习惯了. ChatGlm首先需要一台个人计算机,或者服务器, 要的算力,训练最多,微调次之,推理需要算力最少 其实很多都支持CPU,但为什么

    2024年02月20日
    浏览(63)
  • 云服务器部署开源ChatGLM-6B,让你也能拥有自己的ChatGPT

    一、背景 最近GPT不仅发布了GPT-4,而且解除封印可以联网了。不得不赞叹AI更新迭代的速度真快,都跟不上节奏了。但是大家也注意到了吧,随着GPT的每次更新,OpenAI对其开放使用的限制也越来越大。之前国内网随便访问GPT3,现在动不动就封号 所以,今天就来教大家部署国内

    2024年02月12日
    浏览(58)
  • 【ChatGPT散文篇】ChatGPT-清华大学的讲座要点

    刚听了清华大学关于ChatGPT的讲座,总结几个要点: 1、AI有可能成为地球上最初的硅基生命。 2、AI已迭代至博士研究生的智力水平。 3、以后将不存在学科和专业的概念,也不存在文科理科的区分,将是学科大融合。因为一个文科生哪怕不懂代码,只要会向AI提问,就能编程。

    2024年02月08日
    浏览(43)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包