在Win11上部署ChatGLM3详细步骤

这篇具有很好参考价值的文章主要介绍了在Win11上部署ChatGLM3详细步骤。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

023年10月27日,智谱AI于2023中国计算机大会(CNCC)上,推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和ChatGLM2之后的又一次重大突破。此次推出的ChatGLM3采用了独创的多阶段增强预训练方法,使训练更为充分。评测显示,在44个中英文公开数据集测试中,到目前为止ChatGLM3在国内同尺寸模型中排名首位。官方说明该模型的性能较前一代大幅提升,是10B以下最强基础大模型!重点来了,ChatGLM3在能力大幅增强的同时,依然是开源的、免费商用!

可以参考前面两章的部署文档:

在Win11上部署ChatGLM2-6B详细步骤--(上)准备工作-CSDN博客

在Win11上部署ChatGLM2-6B详细步骤--(下)开始部署-CSDN博客

项目下载模型地址:Ghttps://github.com/THUDM/ChatGLM3

下面的操作都是基于您已创建了python虚拟机,安装好pytorch等工作后的操作。如果不清楚准备工作的,请看上面两篇文章参考一下。

1、下载本仓库

git clone https://github.com/THUDM/ChatGLM3
cd ChatGLM3

2、安装相关依赖

pip install -r requirements.txt

其中 transformers 库版本推荐为 4.30.2,torch 推荐使用 2.0 及以上的版本,以获得最佳的推理性能。

3、本地加载模型

网上加载模型就不要想了,速度、速度啊。我们还是本地加载模型。

git clone https://huggingface.co/THUDM/chatglm3-6b

这个地址下载不下来,可以去modelscope这个地址下载:

git lfs install
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git

全模型文件如下图:

在Win11上部署ChatGLM3详细步骤,大模型,人工智能,机器学习

4、下载后,按照之前的方法,创建一个文件夹,THUDM,把这些模型考贝到里面。修改模型路径,参考之前的修改方法。

5、网页加载的方式,还是两种

(1)python web_demo.py

在Win11上部署ChatGLM3详细步骤,大模型,人工智能,机器学习

(2)、通过Streamlit方式加载

streamlit run web_demo2.py

在Win11上部署ChatGLM3详细步骤,大模型,人工智能,机器学习

(3)命令行方式文章来源地址https://www.toymoban.com/news/detail-725625.html

python cli_demo.py

到了这里,关于在Win11上部署ChatGLM3详细步骤的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 本地部署 ChatGLM3

    ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性: 更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更

    2024年02月06日
    浏览(49)
  • ChatGLM3 模型学习与实战

    Github 代码 : https://github.com/THUDM/ChatGLM3 模型地址: huggingface : https://huggingface.co/THUDM/chatglm3-6b modelscope : https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和

    2024年02月08日
    浏览(32)
  • ChatGLM3在windows上部署

    https://github.com/THUDM/ChatGLM3 简介:ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。 台式机: CPU:    Intel(R) Core(TM) i7-10700F RAM:    32G GPU:    NVIDIA RTX3060(显存12G) OS:    Windows 10 企业版 3.1.1  安装和配置anaconda3 a.下载地址 anaconda3下载(推荐使用

    2024年01月20日
    浏览(52)
  • 【ChatGLM3-6B】Docker下部署及微调

    安装好了docker 安装好了NVIDIA 显卡16G 新建一个文件夹,用来存放下载下来的ChatGLM3代码和模型 右键,打开一个git窗口,拉取模型(会很慢,耐心等待) 地址: https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 右键,打开一个git窗口,拉取源代码 地址:https://github.com/THUDM/ChatGLM3 或

    2024年02月04日
    浏览(46)
  • 【大模型知识库】(1):系统架构设计思考/调研。开源项目llm-knowledge-system,部署mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh

    https://www.bilibili.com/video/BV1N94y1n7UF/ 【大模型知识库】(1):设计开源项目,docker部署mysql,seilisearch,milvus,fastchat的ChatGLM3,BGE-zh模型 项目名称 llm-knowledge-system 大模型知识库系统 项目代码在,逐步开发设计中。 https://gitee.com/fly-llm/llm-knowledge-system 开发语言使用golang进行开发

    2024年02月02日
    浏览(46)
  • 【大模型知识库】(2):开源大模型+知识库方案,docker-compose部署本地知识库和大模型,毕昇+fastchat的ChatGLM3,BGE-zh模型,通过拖拽/配置方式实现大模型编程

    https://www.bilibili.com/video/BV1xi4y1e7MD/ 【大模型知识库】(2):开源大模型+知识库方案,docker-compose部署本地知识库和大模型,毕昇+fastchat的ChatGLM3,BGE-zh模型 Bisheng是一款领先的开源大模型应用开发平台,赋能和加速大模型应用开发落地,帮助用户以最佳体验进入下一代应用开

    2024年02月04日
    浏览(98)
  • 开源模型应用落地-chatglm3-6b模型小试-入门篇(一)

         刚开始接触AI时,您可能会感到困惑,因为面对众多开源模型的选择,不知道应该选择哪个模型,也不知道如何调用最基本的模型。但是不用担心,我将陪伴您一起逐步入门,解决这些问题。      在信息时代,我们可以轻松地通过互联网获取大量的理论知识和概念。然

    2024年04月10日
    浏览(53)
  • 开源模型应用落地-chatglm3-6b模型小试-入门篇(三)

         刚开始接触AI时,您可能会感到困惑,因为面对众多开源模型的选择,不知道应该选择哪个模型,也不知道如何调用最基本的模型。但是不用担心,我将陪伴您一起逐步入门,解决这些问题。      在信息时代,我们可以轻松地通过互联网获取大量的理论知识和概念。然

    2024年04月12日
    浏览(46)
  • 部署一个本地的聊天机器人-基于ChatGLM3

    理论上来说 8G及以上显存的英伟达GPU 笔者的设备 RTX 4060Ti (16G显存) Archlinux Python 3.10.10 ChatGLM3 代码版本 33953b119e7 ChatGLM3 是智谱AI几周前才开源的模型, 6B大小的话只是个人用的话算是完全免费的. 这个相比之前的2感觉是prompt优化了一些(不过也复杂了一些), 可以直接用来让机器人

    2024年02月05日
    浏览(47)
  • 关于大模型ChatGLM3-6B在CPU下运行

            最近在调研市场上语言大模型,为公司的产品上虚拟人的推出做准备。各厂提供语言模型都很丰富,使用上也很方便,有API接口可以调用。但唯一的不足,对于提供给百万用户使用的产品,相比价格都比较贵。所以对ChatGLM3-6B的使用做了深入了解,特别只有CPU没有

    2024年02月04日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包