【私有GPT】CHATGLM-6B部署教程

这篇具有很好参考价值的文章主要介绍了【私有GPT】CHATGLM-6B部署教程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【私有GPT】CHATGLM-6B部署教程

CHATGLM-6B是什么?

ChatGLM-6B是清华大学知识工程和数据挖掘小组(Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University)发布的一个开源的对话机器人。根据官方介绍,这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本,约60亿参数,本地部署仅需要6GB显存。

项目地址: https://github.com/THUDM/ChatGLM-6B

我们也可以访问他的体验版

https://chatglm.cn/

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

ChatGLM API申请:https://open.bigmodel.cn/

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

算力云

注册地址:https://www.autodl.com/

注册可参考我的这篇文章

https://zhuanlan.zhihu.com/p/644911677

AutoDL是一个GPU租用平台,有各种型号的服务器可以选择。网络无要求,部署简单,比较稳定,价格也还好。

对电脑系统没有要求,无论是Mac电脑还是低配的windows电脑,完全云端部署,自己租服务器,浏览器打开即可。全部在云端完成,有很多服务器可以选择,可以根据自己需求租相应配置的服务器。

部署教程

项目硬件要求

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

租用一台机器

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

这个配置按照我来说是完全够用了。配置仅供参考

不知道怎么选的话,可以看这个链接 https://www.autodl.com/docs/gpu/?spm=a2c6h.12873639.article-detail.147.11146459CRKD9O

选择镜像

选择社区镜像

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

然后点击右下角的立即创建

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

就会跳转到此页面,等待实例创建完成

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

创建完成后

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

温馨提示:实例不用后一定要记得关机!!!

就会进入此页面

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

启动web服务

执行以下命令

cd ChatGLM-6B/

python web_demo.py 

默认开放端口 6006

访问服务

然后回到上个页面

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

这样就可以看见你的服务了

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

使用实例

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

启动api服务

由于示例只会对我们开放6006端口,所以我们需要将api服务改为6006端口访问,当然你也可以采用NGINX的方式,这里就只介绍修改端口的方式了。

vi api.py

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

完成后保存

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

运行命令

python api.py

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

和访问web的一样操作步骤一样,参考web服务的访问服务模块

请求示例:

curl -X POST "http://127.0.0.1:8000" \
     -H 'Content-Type: application/json' \
     -d '{"prompt": "你好", "history": []}'

当前这里的 http://127.0.0.1:8000修改为你的实例地址

例如

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

启动cli服务

运行命令

 python cli_demo.py 

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

使用示例:

【私有GPT】CHATGLM-6B部署教程,chatGPT,gpt

我是AI学习者和实践者荷逸,欢迎链接我交流AI相关知识:wx:heyi_master文章来源地址https://www.toymoban.com/news/detail-663783.html

到了这里,关于【私有GPT】CHATGLM-6B部署教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 开源双语对话语言模型 ChatGLM-6B 本地私有化部署

    本文首发于:https://www.licorne.ink/2023/08/llm-chatglm-6b-local-deploy/ ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGL

    2024年02月10日
    浏览(73)
  • LLM - 基于 ChatGLM-6B 的工程配置搭建私有 ChatGPT 中文在线聊天

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/131104546 Paper: GLM: General Language Model Pretraining with Autoregressive Blank Infilling ChatGLM是通用的预训练语言模型(General Language Pretraining Model),基于自回归空格填充(Autoregressive Blank Infilling)

    2024年02月09日
    浏览(68)
  • AI-基于Langchain-Chatchat和chatglm3-6b部署私有本地知识库

    手把手教你搭建本地知识库问答AI机器人 LangChain-Chatchat:基于LangChain和ChatGLM2-6B构建本地离线私有化知识库 在家庭私有云上部署体验语言模型chatglm3-6b,打造私人助理 手把手教大家在本地运行ChatGLM3-6B大模型(一) 自从去年GPT模型火爆以来,降低了很多个人和企业进入人工智

    2024年02月20日
    浏览(65)
  • 类ChatGPT项目的部署与微调(下):从ChatGLM-6b到ChatDoctor

    随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出,绝大部分公司的技术 产品 服务,以及绝大部分人的工作都将被革新一遍 类似iPhone的诞生 大家面向iOS编程 有了App Store 现在有了ChatGPT插件/GPT应用商店,以后很多公司 很多人面向GPT编程(很快技术人员

    2023年04月10日
    浏览(47)
  • 类ChatGPT的部署与微调(下):从ChatGLM-6b到ChatDoctor、可商用

    随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出,绝大部分公司的技术 产品 服务,以及绝大部分人的工作都将被革新一遍 类似iPhone的诞生 大家面向iOS编程 有了App Store 现在有了ChatGPT插件/GPT应用商店,以后很多公司 很多人面向GPT编程(很快技术人员

    2023年04月26日
    浏览(43)
  • (二)ChatGLM-6B模型部署以及ptuning微调详细教程

    下面是官方原话, 选择他的原因完全是因为可以消费级电脑上使用,更强的130B模型看https://github.com/THUDM/GLM-130B ChatGLM-6B 是一个 开源 的、支持 中英双语 的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合 模型量化 技术,用户可以在 消费级的显卡 上进行

    2024年02月07日
    浏览(48)
  • 云服务器部署开源ChatGLM-6B,让你也能拥有自己的ChatGPT

    一、背景 最近GPT不仅发布了GPT-4,而且解除封印可以联网了。不得不赞叹AI更新迭代的速度真快,都跟不上节奏了。但是大家也注意到了吧,随着GPT的每次更新,OpenAI对其开放使用的限制也越来越大。之前国内网随便访问GPT3,现在动不动就封号 所以,今天就来教大家部署国内

    2024年02月12日
    浏览(58)
  • ChatGLM-6B 在 ModelWhale和本地 平台的部署与微调教程

    ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。 ChatGLM-6B 使用了和 ChatGPT 相似的技术,针对中文问答和对话进行了优

    2024年02月09日
    浏览(43)
  • 清华版Chatgpt:chatglm-6B教程——如何从训练中确定最合适的学习率

    我们在使用chatglm-6B的时候,总会遇到一个问题。即学习率如何确定。我们首先先看chatglm的两个训练用sh文件的学习率是如何确定的。 一、如何第一时间确定学习率 我们可以看到在chatglm给的标准中,对于聊天的训练所默认的学习率是要小于训练广告词的,两者的区别在于,广

    2024年02月05日
    浏览(46)
  • AI系统ChatGPT源码+详细搭建部署教程+支持GPT4.0+支持ai绘画(Midjourney)/支持OpenAI GPT全模型+国内AI全模型

    SparkAi创作系统是基于OpenAI很火的ChatGPT进行开发的Ai智能问答系统+AI绘画系统,支持 OpenAI GPT全模型+国内AI全模型 。本期针对源码系统整体测试下来非常完美,可以说SparkAi是目前国内一款的ChatGPT对接OpenAI软件系统。那么如何搭建部署AI创作ChatGPT?小编这里写一个详细图文教程

    2024年02月08日
    浏览(65)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包