023年10月27日,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在44个中英文公开数据集测试中,到目前为止ChatGLM3在国内同尺寸模型中排名首位。官方说明该模型的性能较前一代大幅提升,是10B以下最强基础大模型!重点来了,ChatGLM3在能力大幅增强的同时,依然是开源的、免费商用!
可以参考前面两章的部署文档:
在Win11上部署ChatGLM2-6B详细步骤--(上)准备工作-CSDN博客
在Win11上部署ChatGLM2-6B详细步骤--(下)开始部署-CSDN博客
项目下载模型地址:Ghttps://github.com/THUDM/ChatGLM3
下面的操作都是基于您已创建了python虚拟机,安装好pytorch等工作后的操作。如果不清楚准备工作的,请看上面两篇文章参考一下。
1、下载本仓库
git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3
2、安装相关依赖
pip install -r requirements.txt
其中 transformers 库版本推荐为 4.30.2,torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能。
3、本地加载模型
网上加载模型就不要想了,速度、速度啊。我们还是本地加载模型。
git clone https://huggingface.co/THUDM/chatglm3-6b
这个地址下载不下来,可以去modelscope这个地址下载:
git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
全模型文件如下图:
4、下载后,按照之前的方法,创建一个文件夹,THUDM,把这些模型考贝到里面。修改模型路径,参考之前的修改方法。
5、网页加载的方式,还是两种
(1)python web_demo.py
(2)、通过Streamlit方式加载
streamlit run web_demo2.py
文章来源:https://www.toymoban.com/news/detail-725625.html
(3)命令行方式文章来源地址https://www.toymoban.com/news/detail-725625.html
python cli_demo.py
到了这里,关于在Win11上部署ChatGLM3详细步骤的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!