ChatGLM2-6B在windows下的部署

这篇具有很好参考价值的文章主要介绍了ChatGLM2-6B在windows下的部署。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

2023-08-10 ChatGLM2-6B在windows下的部署

一、部署环境

1、Windows 10 专业版, 64位,版本号:22H2,内存:32GB
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

2、已安装CUDA11.3
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

3、已安装Anaconda3 64bit版本
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

4、有显卡NVIDIA GeForce RTX 3060 Laptop GPU
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

二、从huggingface下载chatglm2-6b模型文件

1、进入Anaconda Powershell Prompt

2、创建保存chatglm2-6b的huggingface模型的公共目录。之所以创建一个公共目录,是因为这个模型文件是可以被各种应用共用的。注意创建目录所在磁盘至少要有30GB的空间,因为chatglm2-6b的模型文件至少有23GB大小。
mkdir -p D:_ChatGPT_common_test
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

3、进入刚刚创建的目录,在这里下载chatglm2-6b的huggingface模型文件。注意下载前要提前打开fanqiang软件,否则下载无法成功。模型文件大概23GB,因此下载时间很长,需要耐心等待。下载过程中可能多次报“Recv failure: Connection was reset”错误,遇到错误就重新下载,直到成功为止。
cd D:_ChatGPT_common_test
git clone https://huggingface.co/THUDM/chatglm2-6b
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

4、下载时如果报如下错误:
Errors logged to ‘D:_ChatGPT_common_test\chatglm2-6b.git\lfs\logs\20230810T095928.1917897.log’.
Use git lfs logs last to view the log.
error: external filter ‘git-lfs filter-process’ failed
fatal: pytorch_model-00001-of-00007.bin: smudge filter lfs failed
warning: Clone succeeded, but checkout failed.
You can inspect what was checked out with ‘git status’
and retry with ‘git restore --source=HEAD 😕’
则用如下方式解决后重新下载:
git lfs clean --force

三、从github下载chatglm2-6b应用文件

1、进入Anaconda Powershell Prompt

2、创建一个目录,并进入该目录
mkdir -p D:_ChatGPT\langchain-chatglm_test
cd D:_ChatGPT\langchain-chatglm_test
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

3、在该目录下载chatglm2-6b应用文件,这个下载很快。
git clone https://github.com/THUDM/ChatGLM2-6B
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

四、创建虚拟环境并安装依赖包

1、进入Anaconda Powershell Prompt

2、创建虚拟环境
conda create -n langchain-chatglm_test python=3.10

3、进入虚拟环境
conda activate langchain-chatglm_test

4、进入chatglm2-6b应用文件所在目录
cd D:_ChatGPT\langchain-chatglm_test\ChatGLM2-6B

5、安装相关依赖
pip install -r requirements.txt
pip install transformers4.26.1
pip install torch
1.12.1+cu113  -f https://download.pytorch.org/whl/cu113/torch_stable.html

五、修改文件

1、进入D:_ChatGPT\langchain-chatglm_test\ChatGLM2-6B目录,用编辑器打开web_demo.py文件。

2、修改如下两处的模型地址,用实际的huggingface模型下载地址取代"/mnt/workspace/chatglm2-6b",例如:

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True).cuda()

改为

tokenizer = AutoTokenizer.from_pretrained("D:\_ChatGPT\_common\chatglm2-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("D:\_ChatGPT\_common\chatglm2-6b", trust_remote_code=True).cuda()

3、由于显存可能不够,可采用模型量化方式缩小模型,修改如下:

model = AutoModel.from_pretrained("D:\_ChatGPT\_common\chatglm2-6b", trust_remote_code=True).quantize(8).cuda()

如果用INT8量化还不行,可以改为INT4量化。

4、将文件对应处修改为如下,使得本地可以访问

demo.queue().launch(share=True, inbrowser=True, server_name='0.0.0.0', server_port=7860)

六、启动应用

1、进入Anaconda Powershell Prompt

2、进入虚拟环境
conda activate langchain-chatglm_test

3、进入chatglm2-6b应用文件所在目录
cd D:_ChatGPT\langchain-chatglm_test\ChatGLM2-6B

4、启动应用。注意启动应用前要关闭fanqiang,否则可以启动,但运行时报错。
python web_demo.py
ChatGLM2-6B在windows下的部署,大模型,语言模型,chatgpt

七、报错及处理

1、报错:AssertionError: Torch not compiled with CUDA enabled
处理:pip install torch==1.12.1+cu113  -f https://download.pytorch.org/whl/cu113/torch_stable.html

2、报错:ModuleNotFoundError: No module named ‘transformers_modules.chatglm2-6b’
处理:pip install transformers==4.26.1

八、参考文档

LangChain + ChatGLM2-6B 搭建个人专属知识库文章来源地址https://www.toymoban.com/news/detail-645288.html

到了这里,关于ChatGLM2-6B在windows下的部署的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用Triton部署chatglm2-6b模型

    NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。 支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNX Runtime和OpenVino。 NVIDIA Triton Server是一个高性能的推断服务器,具有以下特点: 1. 高性能:Triton Server为使用GPU进行推

    2024年02月08日
    浏览(56)
  • ChatGLM2-6B 大语言模型本地搭建

    ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用! ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4 量化级别下

    2024年01月21日
    浏览(57)
  • ChatGLM2-6B! 我跑通啦!本地部署+微调(windows系统)

    记录一下此时此刻,2023年7月8日22点04,从ChatGLM2-6B在7月4日开放了ptuning到此时此刻,ChatGLM2-6B的微调终于被哥们跑通了! 从 本地部署ChatGLM2-6B 到 本地进行P-tuning微调 ,再到最后的 模型检测 ,哥们全跑通了! 这里非常感谢ChatGLM2-6B|开源本地化语言模型这篇博客!因为我布置

    2024年02月16日
    浏览(47)
  • Windows下cpu部署运行清华大学ChatGLM-6B语言模型(详解)

    ChatGLM-6B 清华大学实现的 一个开源的、支持中英双语 、 支持图像理解 的对话语言模型 。 它 基于

    2024年02月12日
    浏览(56)
  • 以大语言模型ChatGLM2-6B为后台,打造个人语音交互机器人Demo

    随着以ChatGLM2-6B为代表的开源大型语言模型的兴起,人工智能革命正席卷全球…… ChatGLM2-6B这一代表性的开源大型模型,以其易于部署、适度的参数量和强大的中文处理能力,为个人用户提供了在个人显卡上部署大型模型的便捷途径。 然而,在大型语言模型领域,人机交互仍

    2024年02月05日
    浏览(48)
  • chatglm2-6b模型在9n-triton中部署并集成至langchain实践

    近期, ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布,引入了如下新特性: ①. 基座模型升级,性能更强大,在中文C-Eval榜单中,以51.7分位列第6; ②. 支持8K-32k的上下文; ③. 推理性能提升了42%; ④. 对学术研究完全开放,允许申请商用授权。 目前大多数部署方案采用的是

    2024年02月12日
    浏览(83)
  • Windows环境下搭建chatGLM2-6B-int4量化版模型(图文详解-成果案例)

    目录 一、ChatGLM2-6介绍 二、环境准备 1. 硬件环境 2. TDM-GCC安装 3.git安装 4.Anaconda安装 三、模型安装 1.下载ChatGLM2-6b和环境准备 方式一:git命令 方式二:手动下载  2.下载预训练模型 在Hugging Face HUb下载(挂VPN访问) (1)git命令行下载: (2)手动下载(建议) 3.模型使用(

    2024年03月13日
    浏览(50)
  • ChatGLM2-6B_ An Open Bilingual Chat LLM _ 开源双语对话语言模型

    更强大的性能 :基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 [GLM]的混合目标函数,经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,评测结果显示,相比于初代模型,ChatGLM2-6B 在 MMLU(+23%)、CEval(+33%)、GSM8K(+571%) 、BB

    2024年04月14日
    浏览(43)
  • chatglm2-6b模型在9n-triton中部署并集成至langchain实践 | 京东云技术团队

    近期, ChatGLM-6B 的第二代版本ChatGLM2-6B已经正式发布,引入了如下新特性: ①. 基座模型升级,性能更强大,在中文C-Eval榜单中,以51.7分位列第6; ②. 支持8K-32k的上下文; ③. 推理性能提升了42%; ④. 对学术研究完全开放,允许申请商用授权。 目前大多数部署方案采用的是

    2024年02月12日
    浏览(53)
  • ChatGLM2-6B 部署

    这是ChatGLM2-6B 部署的阅读笔记,主要介绍了ChatGLM2-6B模型的部署和一些原理的简单解释。 它是单卡开源的对话模型。 充分的中英双语预训练 较低的部署门槛 FP16半精度下,需要至少13G的显存进行推理,甚至可以进一步降低到10G(INT8)和6G(INT4) 更长的序列长度 ChatGLM-6B 序列长度达

    2024年02月09日
    浏览(55)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包