准备工作：
# 下载项目源代码
git clone https://github.com/THUDM/ChatGLM2-6B
# 切换到项目根目录
cd ChatGLM2-6B
# 安装依赖
pip install -r requirements.txt
# 安装web依赖
pip install gradio
如果安装出现问题，可尝试手动分别安装torch
1 # 1第一步安装虚拟环境并激活环境
conda create -n ChatGLM2 python=3.10.6
conda activate ChatGLM2
2nvidia-smi查看cuda版本，12.0
3 安装torch第一种方式
pytorch官网：https://pytorch.org/
经过多次尝试，发现conda装，真的很快，真香。前几次尝试用pip装torch都会出现timeout的错误，这个跟服务器有关系，视情况而定。
# 安装依赖
pip install -r requirements.txt
二、准备工作。安装依赖包的同时，也可以先手动下载模型包：
1、工程文件准备
整个工程需要从两个远程仓库克隆，一个是 github 上的源码，一个是 HuggingFace 上的模型。
对于源码，由于总体积较小，因此可直接从网页下载 zip 包后解压，也可使用 git 命令（电脑需要提前装好 git ）克隆至本地文件夹中：
git clone https://github.com/THUDM/ChatGLM2-6B
对于模型，由于存在7个体积较大的 checkpoint 文件，若直接 clone 可能耗时过久或网络连接不够稳定，可以采用大、小文件分别下载的方式。其中大文件可从 清华云 手动下载，小文件主要为模型实现文件，数量不多且体积较小（算上 tokenizer.model 一共11个文件），可采用两种方式下载，一种是在 HuggingFace 页面手动一个一个下载，另一种是利用 GIT_LFS_SKIP_SMUDGE 参数跳过大文件一次性克隆整个工程（电脑需要提前装好 Git LFS）：
GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm2-6b
最后再将前面手动下载好的大文件拷入替换，构成完整的模型。
需要注意的坑：
1）该命令在 powershell 中会报错，提示不认识 GIT_LFS_SKIP_SMUDGE 命令，放在 git bash 终端中则可顺利执行；
2）被该命令跳过的“大文件”不仅有 7 个 .bin 文件，还包括 1.02MB 的 tokenizer.model。
模型文件理论上可存放于任意位置，参考官方演示视频将其平行于源码文件夹，即整个工程文件的目录结构如下：
根据目录结构，修改源码目录下的 web_demo.py 文件，将两处 THUDM/chatglm2-6b 替换为 model ：
tokenizer = AutoTokenizer.from_pretrained("model", trust_remote_code=True)
model = AutoModel.from_pretrained("model", trust_remote_code=True).cuda()
如果想使用命令行与模型交互，则需要修改 cli_demo.py。web_demo2.py 同理 。
三、运行模型
文件夹层面 cd 至web_demo.py文件夹，环境层面激活 chatglm2-6b，然后执行：
python web_demo.py
运行完之后就会弹出该页面：
需要注意的坑：
1）使用 web_demo 时不能开 VPN，否则会弹出 Expecting value: line 1 column 1 (char 0)错误；
2）如使用 web_demo2，则需要按官网提示额外安装 streamlit 和 streamlit-chat，且启动命令为文章来源：https://www.toymoban.com/news/detail-532308.html
streamlit run web_demo2.py 。
四、体验
推理速度相比上一代有明显的提升，但性能提升感知不强。期待团队未来推出13B、30B、65B等更大规模的模型。文章来源地址https://www.toymoban.com/news/detail-532308.html
到了这里，关于手把手带你linux部署清华大学大模型最新版 chaglm2-6b的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
