【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布

这篇具有很好参考价值的文章主要介绍了【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【ChatGLM】在电脑部署属于自己的人工智能

1、 前言

本文能实现在自己的电脑或云服务器上部署属于自己的语言AI——ChatGLM-6B,可以离线使用,也可以生成web网页在线发给朋友尝试。

ChatGLM-6B 是一个由清华大学的团队开源的、支持中英双语问答的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。本文旨在介绍如何在电脑部署属于自己的人工智能/可离线/可发布。这是一个有趣而有意义的项目,可以让你体验到人工智能的魅力,也可以让你拥有一个自己定制的智能助手。详情点击参考ChatGLM开发者博客

GPT 模型目前只有 GPT-2 的小规模版本(1.5 亿参数)是开源的,其它版本都是闭源的,只能通过 OpenAI 的 API 来访问。ChatGLM-6B 是完全开源的,可以在Github下载和使用。GPT 模型的可用性受到限制,需要申请权限和付费才能使用。ChatGLM-6B 的可用性更高,可以在本地部署和修改。

ChatGLM-6B 和 GPT 模型对比

【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布

2、虚拟环境搭建

要搭建 conda 虚拟环境,你需要先安装 conda ,它是一个用于管理 Python 和其他语言的包和环境的工具。你可以从 https://www.anaconda.com/products/individual 下载并安装 Anaconda 或 Miniconda。

创建一个虚拟环境,并且指定其中的 Python 版本,这里使用了python3.10:conda create --name myenv python=3.10( myenv 是你想要给这个环境起的名字)。
激活这个虚拟环境:conda activate myenv,这样你就可以在这个环境中安装和使用包了。

3、下载安装所需的依赖

点击前往GitHub下载作者开源的文件接着进入创建好的conda虚拟环境中,进入开源文件所下载到的文件夹,例如我存放在X:\python\glm310\ChatGLM-6B中。用以下命令 cd /d X:\python\glm310\ChatGLM-6B进入

【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布

接着输入pip install -r requirements.txt安装所需要的依赖项
【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
由于安装的依赖项中的torch模块是only cpu的,即不能把模型放进显卡运算的版本,所以我们在下载完毕后,在控制台输入pip uninstall torch卸载torch。点击进入pytorch官网翻到主页下端根据自己安装的cuda版本选择下载对应的torch-gpu。
【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
如何查看cuda版本与显卡信息在控制台输入nvidia-smi即可。
【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
如果没有安装cuda的请参考 在conda虚拟环境中配置cuda+cudnn+pytorch深度学习环境(新手必看!简单可行!),cuda版本推荐cuda 11.7。

4、ChatGLM模型下载与修改

点击进入作者的网盘下载模型
【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
把他们下载到电脑,例如我存放在D:\ChatGLM-6B中。进入刚开始下载开源文件的文件夹打开web_demo.py文件,修改模型。

【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
修改模型加载路径为模型下载的地址

tokenizer = AutoTokenizer.from_pretrained("D:\chatGLM", trust_remote_code=True)
model = AutoModel.from_pretrained("D:\chatGLM", trust_remote_code=True).half().quantize(4).cuda()
model = model.eval()

根据自身的显存修改模型,例如我的电脑显存为6G,即修改为

`# 按需修改,目前只支持 4/8 bit 量化
model = AutoModel.from_pretrained("D:\chatGLM", trust_remote_code=True).half().quantize(4).cuda()

`【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
若要在线发布,把web_demo.py中最后一段代码的share=False改成Ture即可

demo.queue().launch(share=True, inbrowser=True)

5、美化与发布

美化生成的界面,最简单的方法就是在以下这行代码增加主题参数,gradio模块预设了多种不同的生成web的主题,详情可参考gradio官网

`with gr.Blocks(theme=Soft()) as demo:`

最后点击运行即可

【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布

顺便提一句:在控制台输入nvidia-smi -l 1可以即时监控gpu显存使用情况

效果图

【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布
生成在线链接发送给到微信打开效果图
【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布

参考文献

A. Zeng等, 《GLM-130B: An Open Bilingual Pre-trained Model》, 发表于 The Eleventh International Conference on Learning Representations, 2月 2023. 见于: 2023年3月30日. [在线]. 载于: https://openreview.net/forum?id=-Aw0rrrPUF

开发者GitHub:https://github.com/THUDM/ChatGLM-6B文章来源地址https://www.toymoban.com/news/detail-414990.html

到了这里,关于【ChatGLM】在电脑部署属于自己的人工智能/ChatGPT平替/可离线/可发布的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能_PIP3安装使用国内镜像源_安装GIT_普通服务器CPU_安装清华开源人工智能AI大模型ChatGlm-6B_002---人工智能工作笔记0097

    接着上一节来看,可以看到,这里 创建软连接以后 可以看到执行python3 -V 就可以看到已经安装成功 python3 然后再去安装pip3  首先去下载软件,到/data/soft ,可以用wget命令也可以自己用浏览器下载 然后再去安装 python3 get-pip.py 可以看到报错了

    2024年02月21日
    浏览(70)
  • GPT5将会自己开发新的人工智能?

    以下是GPT5 可以预期的7大最具变革性的能力 第一大能力扩展多模式理解 GPT5有望在多模态理解方面表现出色 使其不仅能够处理文本和图像 还能处理音频和视频内容 这种复杂的理解水平 将使GPT5能够跨各种媒体格式 分析和生成上下文 准确的转入翻译和摘要 从而改变我们与内

    2024年02月07日
    浏览(50)
  • 两小时搭建属于自己的chatGPT(ChatGLM)免硬件(白嫖)

    目录 准备(注册): 搭建: API模式: 测试: 总结: 注册modelscope(底层阿里云)免费使用服务器 https://modelscope.cn/ 按照图片里的选择(选择其他好像不能创建成功) 可以白嫖60多个小时的配置 8核 32GB 显存16G 预装 ModelScope Library 预装镜像 ubuntu20.04-cuda11.3.0-py37-torch1.11.0-tf1.15.5-1.5.0 Cha

    2024年02月05日
    浏览(50)
  • 人工智能时代,普通的我们如何提升自己的核心竞争力

    今天这篇文章,麒麟子不聊技术,想聊聊大家都在关心的问题: 人工智能时代,普通的我们如何提升自己的核心竞争力。 看着社区的开发者们都在讨论 ChatGPT,麒麟子也试用了一下,已经成功让它参与到了下面的工作: 写出直接复制到 Cocos Creator 就能用的 Cocos Shader 润色 C

    2023年04月11日
    浏览(51)
  • 人工智能-电脑如何像人一样思考?

    目录 1、人工只能发展历史 2、损失的定义 3、求解参数问题 4、梯度下降法 思考: 电脑如何像人一样思考?在人工只能中如何定义损失?如果使用梯度下降法?        在电影如 终结者、机械公敌 中,机器人为什么能够像人一样思考?其实这就是人工智能。人工智能多方面

    2024年02月16日
    浏览(54)
  • 2023什么电脑配置适合机器学习和人工智能

    机器学习和人工智能应用有多种类型——从传统的回归模型、非神经网络分类器和以 Python SciKitLearn 和 R 语言的功能为代表的统计模型,到使用 PyTorch 和 TensorFlow 等框架的深度学习模型. 在这些不同类型的 ML/AI 模型中,也可能存在显着差异。“最佳”硬件将遵循一些标准模式

    2023年04月24日
    浏览(99)
  • 学人工智能电脑&主机八大件配置选择指南

    来源:深度之眼 作者:frank 编辑:学姐 打造舒适的AI环境系列总览: 分为硬件篇x1 跟 软件篇x3 硬件篇1:主机八大件的选购 软件篇1:AI开发过程中常用开发命令、软件安装等 软件篇2:软件:Anaconda使用 软件篇3:软件:VS Code使用 本篇主要是帮助大家构建高性能、高性价比的

    2024年01月21日
    浏览(42)
  • 看一看什么是AI PC:人工智能电脑

    大家好啊,我是董董灿。 今天在一个群聊里,聊到了关于 AI PC (人工智能电脑)的话题。 之前看到过关于 AI PC 的新闻,说的是联想集团董事长兼CEO杨元庆在一次演讲中提到了 AI PC 的概念,并且绘声绘色的描绘了AI PC 的发展前景。 下了班,本着不懂就问的原则,路上搜了一些

    2024年02月22日
    浏览(58)
  • 人工智能学习07--pytorch23--目标检测:Deformable-DETR训练自己的数据集

    1、pytorch conda create -n deformable_detr python=3.9 pip 2、激活环境 conda activate deformable_detr 3、torch 4、其他的库 pip install -r requirements.txt 5、编译CUDA cd ./models/ops sh ./make.sh #unit test (should see all checking is True) python test.py (我没运行这一步) 主要是MultiScaleDeformableAttention包,如果中途换了

    2024年02月14日
    浏览(159)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包