【私有GPT】CHATGLM-6B部署教程
CHATGLM-6B是什么?
ChatGLM-6B是清华大学知识工程和数据挖掘小组(Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University)发布的一个开源的对话机器人。根据官方介绍,这是一个千亿参数规模的中英文语言模型。并且对中文做了优化。本次开源的版本是其60亿参数的小规模版本,约60亿参数,本地部署仅需要6GB显存。
项目地址: https://github.com/THUDM/ChatGLM-6B
我们也可以访问他的体验版
https://chatglm.cn/
ChatGLM API申请:https://open.bigmodel.cn/
算力云
注册地址:https://www.autodl.com/
注册可参考我的这篇文章
https://zhuanlan.zhihu.com/p/644911677
AutoDL是一个GPU租用平台,有各种型号的服务器可以选择。网络无要求,部署简单,比较稳定,价格也还好。
对电脑系统没有要求,无论是Mac电脑还是低配的windows电脑,完全云端部署,自己租服务器,浏览器打开即可。全部在云端完成,有很多服务器可以选择,可以根据自己需求租相应配置的服务器。
部署教程
项目硬件要求
租用一台机器
这个配置按照我来说是完全够用了。配置仅供参考
不知道怎么选的话,可以看这个链接 https://www.autodl.com/docs/gpu/?spm=a2c6h.12873639.article-detail.147.11146459CRKD9O
选择镜像
选择社区镜像
然后点击右下角的立即创建
就会跳转到此页面,等待实例创建完成
创建完成后
就会进入此页面
启动web服务
执行以下命令
cd ChatGLM-6B/
python web_demo.py
默认开放端口 6006
访问服务
然后回到上个页面
这样就可以看见你的服务了
使用实例
启动api服务
由于示例只会对我们开放6006端口,所以我们需要将api服务改为6006端口访问,当然你也可以采用NGINX的方式,这里就只介绍修改端口的方式了。
vi api.py
完成后保存
运行命令
python api.py
和访问web的一样操作步骤一样,参考web服务的访问服务模块
请求示例:
curl -X POST "http://127.0.0.1:8000" \
-H 'Content-Type: application/json' \
-d '{"prompt": "你好", "history": []}'
当前这里的 http://127.0.0.1:8000
修改为你的实例地址
例如
启动cli服务
运行命令
python cli_demo.py
使用示例:
文章来源:https://www.toymoban.com/news/detail-663783.html
我是AI学习者和实践者荷逸,欢迎链接我交流AI相关知识:wx:heyi_master文章来源地址https://www.toymoban.com/news/detail-663783.html
到了这里,关于【私有GPT】CHATGLM-6B部署教程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!