清华大学开源的chatGLM-6B部署实战

10月前作者：沧海之巅分类：Toy博客阅读(57) 违法举报

这篇具有很好参考价值的文章主要介绍了清华大学开源的chatGLM-6B部署实战。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Windows部署

win10

通过wsl部署

常见问题：

torch.cuda.OutOfMemoryError: CUDA out of memory.

在Windows的系统环境变量中增加
变量名：PYTORCH_CUDA_ALLOC_CONF
变量值：max_split_size_mb:32
文档书写时使用3090 24G显存配置，其他规格酌情调整 32 至其他值，如未设置变量默认值128极大概率导致 CUDA OOM

无法正常启动：比如命令卡死、无响应、不继续执行等等非报错异常

无敌三步走
1.Ctrl+C 终止命令执行，重新执行命令
2.退出实例exit,关闭实例wsl --shutdown，启动并进入实例 wsl
3.重启电脑，重新进入实例，重新执行命令

查看虚拟化是否启用

调取任务管理器 Ctrl+Shift+Esc 或 Win+X -> T 或 任务栏-> 右键 -> 任务管理器
性能 -> CPU -> 右下角虚拟化已启用
其他方式自行搜索文章来源地址https://www.toymoban.com/news/detail-440530.html

前置准备

到了这里，关于清华大学开源的chatGLM-6B部署实战的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：如若内容造成侵权/违法违规/事实不符，请点击违法举报进行投诉反馈，一经查实，立即删除！

分享到：

领支付宝红包赞助服务器费用

【ChatGLM】本地版ChatGPT ？6G显存即可轻松使用！ChatGLM-6B 清华开源模型本地部署教程

目录感谢B站秋葉aaaki大佬前言部署资源部署流程实机演示 ChatGML微调（人格炼成）（个人感觉蛮有趣的地方）分享有趣の微调人格实机演示（潘金莲人格）秋葉aaaki的个人空间_哔哩哔哩_bilibili https://space.bilibili.com/12566101 由于ChatGLM-6B的规模较小，目前已知其具有相当

2024年02月06日
浏览(51)
深度学习实战38-基于清华ChatGLM-6b开源模型做体检报告解读任务，让体检报告解读变得轻松

大家好，我是微学AI，今天给大家介绍一下深度学习实战38-基于清华ChatGLM-6b开源模型做体检报告解读任务，让体检报告解读变得轻松。ChatGLM-6b是清华大学团队开源的一个语言大模型。本文将介绍一种基于ChatGLM-6B的体检报告智能解读应用项目。首先，我们将讨论体检报告解读

2024年02月10日
浏览(96)
Docker CE 软件仓库镜像使用帮助-清华大学开源软件镜像站

注意：本镜像只提供 Debian/Ubuntu/Fedora/CentOS/RHEL 的 docker 软件包，非 dockerhub 自动安装 Docker 提供了一个自动配置与安装的脚本，支持 Debian、RHEL、SUSE 系列及衍生系统的安装。以下内容假定您为 root 用户，或有 sudo 权限，或知道 root 密码；您系统上有 curl 或 wget Debian/Ubuntu 用户

2024年02月05日
浏览(56)
共筑开源新长城龙蜥社区走进开放原子校源行-清华大学站

6 月 28 日，以“聚缘于校，开源共行”为主题的 2023 年开放原子校源行活动在清华大学成功举行。本次活动由开放原子开源基金会和清华大学共同主办，来自各行业的 22 位大咖共聚校园共话开源。龙蜥社区技术专家边子政受邀进行技术分享，受到现场同学们的热烈欢迎。

2024年02月16日
浏览(42)
清华ChatGLM-6B本地GPU推理部署

目录 1 简介 2 硬件需求 3 Demo和模型下载 3.1 安装Git LFS 3.2 Demo下载 3.3 模型下载 3.4 文件目录 4 环境安装 5 运行 5.1 FP16 5.2 量化 6 演示 ChatGLM-6B是一个开源的、支持中英双语的对话语言模型，基于General Language Model（GLM）架构，具有62亿参数。结合模型量化技术，用户可以在消费级

2024年02月07日
浏览(45)
Python：清华ChatGLM-6B中文对话模型部署

1、简介 ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话

2024年02月08日
浏览(48)
【AI】清华开源中英双语对话模型ChatGLM2-6B本地安装笔记

首先，直接上资源，网盘中是ChatGLM2-6B源码及模型文件：链接：https://pan.baidu.com/s/1DciporsVT-eSiVIAeU-YmQ 提取码：cssa 官方的Readme已经很详尽了，再写点安装博客有点画蛇添足。本着记录自己的工作内容的初衷，还是写一写吧，毕竟输出才是最好的学习。本文记录了本地安装Cha

2024年02月16日
浏览(60)
每周编辑精选｜微软开源 Orca-Math 高质量数学数据集、清华大学研究团队发布条件去噪扩散模型 SPDiff...

Orca-Math 是微软研究院发布的数学推理模型，该模型展示了较小的专业模型在特定领域的价值，它们可以匹配甚至超越更大模型的性能。微软近期开源了用于训练 Orca-Math 的 Orca-Math-200K 数学单词问题数据集，现已在 hyper.ai 官网提供下载，快来体验吧！ 3 月 11 日-3 月 15 日，

2024年03月22日
浏览(57)
十分钟部署清华ChatGLM-6B，实测效果还可以~~（Linux版）

前段时间，清华公布了中英双语对话模型 ChatGLM-6B ，具有60亿的参数，初具问答和对话功能。最！最！最重要的是它能够支持私有化部署，大部分实验室的服务器基本上都能跑起来。因为条件特殊，实验室网络不通，那么如何进行离线部署呢？经过一上午的折腾终于搞定了

2024年02月08日
浏览(49)
Humanoid-Gym 开源人形机器人端到端强化学习训练框架！星动纪元联合清华大学、上海期智研究院发布!

Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer GitHub Repository: GitHub - roboterax/humanoid-gym: Humanoid-Gym: Reinforcement Learning for Humanoid Robot with Zero-Shot Sim2Real Transfer Humanoid-Gym是一个基于Nvidia Isaac Gym的易于使用的强化学习（RL）框架，旨在训练仿人机器人的运动

2024年04月12日
浏览(59)