模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手-Toy模板网

这篇具有很好参考价值的文章主要介绍了模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

最近清华大学开源的ChatGLM-6B语言模型在国际上大出风头，仅仅62亿参数的小模型，能力却很强。很期待他们后续1300亿参数模型130B的发布。

为什么一些能力较弱的小模型，这么受追捧？因为ChatGPT、GPT-4虽好，毕竟被国外封锁，而且还要付费，更重要的是，LLM要在各行业提高生产力，很多企业接下来肯定是要自己部署语言模型的，毕竟谁也不敢泄漏自己商业数据给别人的AI去训练，为他人做嫁衣，最后砸了自己的饭碗。

这里根据我的实操经验，分享一下如何自己搭建一个语言模型服务器。最后效果如下：

模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手

首先需要搞一台GPU较强的机器，推荐先租一台腾讯云、阿里云等AI训练的机器，T4显卡就行，一般价格是按量付费几毛钱一个小时。我是抢到了腾讯云秒杀活动的主机，60块钱半个月，白菜价。土豪可以自己去装机长期玩。

能干这个活的都是码农吧，那就不废话了，直接上sh命令（：

#我的主机环境是	Ubuntu Server 18.04 LTS 64位，预装了	
# Pytorch 1.9.1 Ubuntu 18.04 GPU基础镜像（预装460驱动）
#以下命令从 /root 目录位置开始进行操作的

#更新Ubuntu软件源
apt-get update
#创建目录用于存放ChatGLM源代码
mkdir ChatGLM
cd ChatGLM/
#克隆ChatGLM-6B程序源代码
git clone https://github.com/THUDM/ChatGLM-6B.git
#创建目录用于存放ChatGLM6B-int4量化模型
mkdir model
cd model/
#安装git-lfs便于文件管理
apt install git-lfs
#当前目录初始化为git仓库、安装lfs
git init
git lfs install
#克隆ChatGLM-6B的int4量化模型
git clone https://huggingface.co/THUDM/chatglm-6b-int4
#安装python调用cuda的工具包
apt install nvidia-cuda-toolkit

cd ChatGLM-6B/
#添加三行依赖：
vim requirements.txt 
	chardet
	streamlit
	streamlit-chat
#安装所需的python依赖库	
pip install -r requirements.txt 
#代码中2处修改为模型绝对路径：
vim web_demo2.py 
	/root/ChatGLM/model/chatglm-6b-int4
	
#运行ChatGLM6B 的web版聊天程序，即可访问http://主机IP:8080进行聊天
python3 -m streamlit run ./web_demo2.py --server.port 8080

本文来自知识星球：ConnectGPT ，一个致力于探索AI、语言模型的应用技术的小圈子。文章来源地址https://www.toymoban.com/news/detail-512261.html

到了这里，关于模型训练系列：1、用清华ChatGLM-6B模型部署自己的本地AI助手的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！