【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦

这篇具有很好参考价值的文章主要介绍了【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

1,项目地址

https://github.com/THUDM/ChatGLM3

介绍
ChatGLM3-6B 是 ChatGLM 系列最新一代的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性:

更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示,ChatGLM3-6B-Base 具有在 10B 以下的预训练模型中最强的性能。
更完整的功能支持: ChatGLM3-6B 采用了全新设计的 Prompt 格式,除正常的多轮对话外。同时原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务等复杂场景。
更全面的开源序列: 除了对话模型 ChatGLM3-6B 外,还开源了基础模型 ChatGLM-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放,在填写问卷进行登记后亦允许免费商业使用。

详细视频地址:
https://www.bilibili.com/video/BV1D84y1X7d1/?vd_source=4b290247452adda4e56d84b659b0c8a2

使用docker本地运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务

2,最重要的是模型下载,项目下载

国内访问不了 Hugging Face Hub 所以模型发放到阿里的 modelscope 上。

https://modelscope.cn/models/ZhipuAI/chatglm3-6b

首先需要下载本仓库:

git clone https://github.com/THUDM/ChatGLM3

要是网速慢可以使用:
git clone https://ghproxy.com/https://github.com/THUDM/ChatGLM3

下载模型,和项目放到一起,一共24G

cd ChatGLM3
git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git chatglm3-6b-models

下载模型需要等待下
24G	chatglm3-6b-models/
下载完成之后可以删除下 .git 文件夹,可以减少空间。
12G	.git


ls -lha
total 12G
drwxrwxr-x 3 test test  4.0K 1028 23:49 .
drwxrwxr-x 7 test test  4.0K 1028 23:56 ..
-rw-rw-r-- 1 test test  1.3K 1028 23:09 config.json
-rw-rw-r-- 1 test test  2.3K 1028 23:09 configuration_chatglm.py
-rw-rw-r-- 1 test test    40 1028 23:09 configuration.json
drwxrwxr-x 9 test test  4.0K 1028 23:50 .git
-rw-rw-r-- 1 test test  1.5K 1028 23:09 .gitattributes
-rw-rw-r-- 1 test test   55K 1028 23:09 modeling_chatglm.py
-rw-rw-r-- 1 test test  4.1K 1028 23:09 MODEL_LICENSE
-rw-rw-r-- 1 test test  1.8G 1028 23:48 pytorch_model-00001-of-00007.bin
-rw-rw-r-- 1 test test  1.9G 1028 23:49 pytorch_model-00002-of-00007.bin
-rw-rw-r-- 1 test test  1.8G 1028 23:49 pytorch_model-00003-of-00007.bin
-rw-rw-r-- 1 test test  1.7G 1028 23:46 pytorch_model-00004-of-00007.bin
-rw-rw-r-- 1 test test  1.9G 1028 23:50 pytorch_model-00005-of-00007.bin
-rw-rw-r-- 1 test test  1.8G 1028 23:43 pytorch_model-00006-of-00007.bin
-rw-rw-r-- 1 test test 1005M 1028 23:36 pytorch_model-00007-of-00007.bin
-rw-rw-r-- 1 test test   20K 1028 23:09 pytorch_model.bin.index.json
-rw-rw-r-- 1 test test   15K 1028 23:09 quantization.py
-rw-rw-r-- 1 test test  4.4K 1028 23:09 README.md
-rw-rw-r-- 1 test test   12K 1028 23:09 tokenization_chatglm.py
-rw-rw-r-- 1 test test   244 1028 23:09 tokenizer_config.json
-rw-rw-r-- 1 test test  995K 1028 23:09 tokenizer.model


3,使用nvidia 镜像启动

docker run -itd --name chatglm3 -v `pwd`/ChatGLM3:/data \
--gpus=all -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all \
-p 8501:8501 pytorch/pytorch:2.0.1-cuda11.7-cudnn8-devel

docker exec -it chatglm3 bash

cd /data
pip3 config set global.index-url https://mirrors.aliyun.com/pypi/simple 
pip3 config set install.trusted-host mirrors.aliyun.com

pip3  install -r requirements.txt

streamlit run web_demo2.py

【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

修改代码:

默认情况下,模型以 FP16 精度加载,运行上述代码需要大概 13GB 显存。如果你的 GPU 显存有限,可以尝试以量化方式加载模型,使用方法如下:

model = AutoModel.from_pretrained("THUDM/chatglm3-6b",trust_remote_code=True).quantize(4).cuda()

【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器
修改模型路径和模型int4

【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

否则会报错:

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 108.00 MiB (GPU 0; 10.91 GiB total capacity; 10.67 GiB already allocated; 49.00 MiB free; 10.68 GiB reserved in total by PyTorch) If reserved memory is >> allocated memory try setting max_split_size_mb to avoid fragmentation.  See documentation for Memory Management and PYTORCH_CUDA_ALLOC_CONF

web 运行效果:

streamlit run web_demo2.py

Loading checkpoint shards: 100%|████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 7/7 [00:45<00:00,  6.49s/it]

查看占用显存4G:
|    0   N/A  N/A     16365      C   /opt/conda/bin/python                      4428MiB |

【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

自己回答了是chatglm3 的版本。
【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

运行画爱心的程序

https://github.com/THUDM/ChatGLM3/blob/main/composite_demo/README.md

修改 87 行:

 87         self.model = AutoModel.from_pretrained(model_path, trust_remote_code=True).quantize(8).to(

【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

cd composite_demo
pip3 install -r requirements.txt
ipython kernel install --name chatglm3-demo --user
streamlit run main.py

然后就可以看到了:

【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

使用工具,调用天气函数:
【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器
可以直接画一个爱心:
【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器
椭圆没有画成功:
【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器
正弦曲线可以:
【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

画正方形的时候,程序报错了,重新执行:
【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦,chatgpt,Python,docker,chatgpt,docker,容器

总结

chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行。
这样就可以开发更丰富的应用了。文章来源地址https://www.toymoban.com/news/detail-751599.html

到了这里,关于【chatgpt】使用docker运行chatglm3,原生支持工具调用(Function Call)、代码执行(Code Interpreter)和 Agent 任务,可以本地运行啦的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 使用LLaMA-Factory微调ChatGLM3

    略 (1)下载LLaMA-Factory https://github.com/hiyouga/LLaMA-Factory (2)安装依赖 (3)启动LLaMA-Factory的web页面 得到如下页面: 设置如下参数,点击开始即可: 点击“预览命令”,可以看到要执行的python脚本,如下所示:

    2024年02月03日
    浏览(43)
  • 【ChatGLM3】(7):在autodl上,使用A50显卡,使用LLaMa-Factory开源项目对ChatGLM3进行训练,非常方便的,也方便可以使用多个数据集

    https://www.bilibili.com/video/BV1GN411j7NP/ 大模型训练利器,使用LLaMa-Factory开源项目,对ChatGLM3进行训练,特别方便,支持多个模型,非常方方便 更多ChatGPT技术文章: https://blog.csdn.net/freewebsys/category_12270092.html 项目地址: https://github.com/hiyouga/LLaMA-Factory LLaMA Board: 通过一站式网页界面

    2024年02月05日
    浏览(42)
  • ChatGLM3:打造更智能、更安全的代码解释器和工具使用体验

    ChatGLM3 是由智谱AI训练的第三代大型语言模型,它不仅能理解和生成人类语言,还能执行代码、调用工具,并以 markdown 格式进行响应。为了提高用户体验,同时避免用户输入的注入攻击,ChatGLM3 采用了全新的对话格式。下载智谱清言体验ChatGLM3最新的能力。 GitHub代码仓库:

    2024年02月04日
    浏览(51)
  • 使用 Sealos 将 ChatGLM3 接入 FastGPT,打造完全私有化 AI 客服

    FastGPT 是一款 专为客服问答场景而定制的 开箱即用的 AI 知识库问答系统。该系统具备可视化工作流功能,允许用户灵活地设计复杂的问答流程,几乎能满足各种客服需求。 在国内市场环境下,离线部署对于企业客户尤为重要。由于数据安全和隐私保护的考虑,企业通常不愿

    2024年02月06日
    浏览(57)
  • LLM大语言模型(三):使用ChatGLM3-6B的函数调用功能前先学会Python的装饰器

    目录 ChatGLM3-6B的函数调用模式示例 本地启动ChatGLM3-6B工具模式 如何在ChatGLM3-6B里新增一个自定义函数呢? get_weather基于Python的装饰器实现 函数注解@register_tool 现在我们来自定义一个kuakuawo()函数 ChatGLM3-6B目前有三种使用模式: 对话模式 工具模式(也就是本文要介绍的函数调用

    2024年01月25日
    浏览(76)
  • 本地部署 ChatGLM3

    ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型,在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上,ChatGLM3-6B 引入了如下特性: 更强大的基础模型: ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更

    2024年02月06日
    浏览(51)
  • ChatGLM3 模型学习与实战

    Github 代码 : https://github.com/THUDM/ChatGLM3 模型地址: huggingface : https://huggingface.co/THUDM/chatglm3-6b modelscope : https://modelscope.cn/models/ZhipuAI/chatglm3-6b/summary 智谱AI于27日论坛上推出了全自研的第三代基座大模型ChatGLM3及相关系列产品,这也是智谱AI继推出千亿基座的对话模型ChatGLM和

    2024年02月08日
    浏览(33)
  • ChatGLM3在windows上部署

    https://github.com/THUDM/ChatGLM3 简介:ChatGLM3 是智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型。 台式机: CPU:    Intel(R) Core(TM) i7-10700F RAM:    32G GPU:    NVIDIA RTX3060(显存12G) OS:    Windows 10 企业版 3.1.1  安装和配置anaconda3 a.下载地址 anaconda3下载(推荐使用

    2024年01月20日
    浏览(55)
  • ChatGLM3-6B的本地api调用

    1.运行openai_api_demo路径下的openai_api.py 启动后界面: 注意:本地api调到的前提是——本地部署了ChatGLM3-6B,本地部署的教程可参考: 20分钟部署ChatGLM3-6B 部署了若CUDA可用,默认会以CUDA方式运行,占用显存约5.9G;若CUDA不可用,则会以内存方式进行加载,官方称CPU调用需要32G内存

    2024年01月21日
    浏览(55)
  • 提示词在大模型Chatgpt、llama2、chatglm3、gemini、bert、bard、通义千问、文心一言、盘古大模型等的核心作用,谁掌握提示词工程能力,谁就拿到激发大模型强大生成能力的钥匙

    提示词在大模型Chatgpt、llama2、chatglm3、gemini、bert、bard、通义千问、文心一言、盘古大模型等的核心作用,谁掌握提示词工程能力,谁就拿到激发大模型强大生成能力的钥匙。 提示工程(Prompt Engineering):指导AI大模型完成任务的艺术 从本质上来看,提示工程也是一种人机交

    2024年03月09日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包