ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法

这篇具有很好参考价值的文章主要介绍了ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

最近ChatGLM-6B发布了第二代ChatGLM2-6B,于是果断部署了一下试试水。下面讲解详细部署过程,并讲解部署时候遇到的问题以及解决办法。

一、部署过程

1. 安装python、git等必须工具

在要部署项目之前,需要部署必须的一些工具。下面详细讲解每一步所需的工具安装步骤。

1.1 安装python

对于如何安装python,网上有很多教程,这里只是简单讲解。

(1)通过安装anaconda、miniconda安装python

可以通过anaconda和miniconda安装虚拟环境的方式安装python,这种安装的好处就是可以切换不同python和各种三方包不同版本。

因为很多项目需要的版本不同,会导致项目无法运行,这时候用conda安装不同虚拟环境可以进行切换可以完美解决这种问题。(本人也是通过miniconda安装python的)。

这里给出anaconda和miniconda的官方下载连接,大家根据自己系统和版本需求进行下载。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 anaconda和miniconda的安装步骤基本都是无脑下一步,环境变量那里要注意设置一下即可。

关于安装后如何进行配置,大家可以看如下入门教程:

Windows版                Linux版                MacOS版

(2)python官网下载文件进行安装

大家可以通过python官网和python中文网进行下载

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 也都是无脑安装,选择好安装路径和配置好环境变量就行。

(3)直接使用系统自带的python(不推荐)

个人不推荐使用系统自带的python,因为不能随便更改,改了还容易造成系统出错。

1.2 安装git

关于git如何安装,大可以看我之前写的一篇博客,可以点击这里进入。

里面详细讲解了不同版本的下载地址和git快速入门教程,可放心食用。

1.3 安装cuda

因为项目需要显卡,我们这里必须要安装cuda,我们需要根据自己安装的python和需要的torch版本安装不同cuda。

大家可以在命令行输入nvidia-smi查看自己cuda版本,安装的cuda不能超过上面的,但是可以低于这个版本,就比如我的CUDA Version是12.0,就不可以安装12.0以上的版本。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 大家根据自己的情况去下载安装。

2. 用git克隆项目

使用下面命令克隆项目到自己想要装的目录

git clone https://github.com/THUDM/ChatGLM2-6B.git

这里一般不会有什么问题。

如果有问题,一般有如下情况:

(1)Windows系统则需要工具才行(DDDD);

(2)Linux系统一般都是代理的问题;

如果出现如下错误:

fatal: 无法访问 'https://github.com/xxx.git/':Failed to connect to 127.0.0.1 port 7891: 拒绝连接是什么原因

你需要做如下操作:

# 使用git config命令查询并取消http或https代理,例如:
git config --global http.proxy
git config --global --unset http.proxy
git config --global https.proxy
git config --global --unset https.proxy
# 使用env命令查询并取消http或https代理,例如:
env|grep -i proxy
unset http_proxy
unset https_proxy
# 修改系统环境变量,删除http_proxy和https_proxy变量。

3. 下载模型

下载模型前,先进入项目目录:

cd ChatGLM2-6B

然后再项目目录下新建THUDM文件夹,再在THUDM文件夹下新建chatglm2-6b文件夹,目录结构是这样的:

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

然后去huggingface将所有模型文件和配置文件全部放入.../ChatGLM2-6B/THUDM/chatglm2-6b文件夹中。建议全部手动下载放入。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

4. 安装虚拟环境

 因为我这里用的是miniconda。安装anaconda和我这里是一样的安装方式。

安装虚拟环境上面有各种系统的详细说明,这里就不说明了。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

安装虚拟环境的命令为(我这里以我的为示例):

conda create -n webui python=3.10.10 -y

其中-n webui为创建的虚拟环境,python=之后输入自己想要的python版本,-y表示后面的请求全部为yes,这样就不用自己每次手动输入yes了。

安装完虚拟环境后,我们需要进入虚拟环境。

输入conda env list可以查看当前有哪些虚拟环境。比如我刚刚安装的webui。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 然后输入conda activate webui就可以看到前面base变为webui了。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 最后,就是创建当前项目下的虚拟环境了,使用如下命令:

python -m venv venv

这里第一个venv表示使用venv模块来创建虚拟环境,第二个venv表示在当前目录下新建venv文件夹来作为当前的虚拟环境安装路径,第二个名字可以随自己随便写,不过一般都是venv文件夹。创建完成后可以看见当前目录下面有一个venv目录了。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 然后使用激活就可以使用当前的虚拟环境了,Linux系统使用source ./venv/bin/activate命令即可,Windows则直接双击./venv/Scripts/activate.bat或者运行./venv/Scripts/activate命令。我这里显示的是Linux的效果。

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

 5. 安装环境所需的三方包

运行如下命令即可:

pip install -r requirements.txt

接下来等待安装即可,不过遇到比较大的推荐手动安装.whl文件然后使用pip install xxx.whl命令进行安装。

一般安装上面都会有下载链接,复制链接地址到迅雷进行下载即可。

 6. 运行Demo开始工作

接下来我们直接运行以下命令即可开始工作了。

python web_demo.py

ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法,windows,linux,运维

7. 其他问题

如果有其他任何问题请关注我公众号,拉你进交流群一起讨论。文章来源地址https://www.toymoban.com/news/detail-553692.html

到了这里,关于ChatGLM2-6B安装详解(Windows/Linux)及遇到的问题解决办法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ChatGLM2-6B! 我跑通啦!本地部署+微调(windows系统)

    记录一下此时此刻,2023年7月8日22点04,从ChatGLM2-6B在7月4日开放了ptuning到此时此刻,ChatGLM2-6B的微调终于被哥们跑通了! 从 本地部署ChatGLM2-6B 到 本地进行P-tuning微调 ,再到最后的 模型检测 ,哥们全跑通了! 这里非常感谢ChatGLM2-6B|开源本地化语言模型这篇博客!因为我布置

    2024年02月16日
    浏览(47)
  • ChatGLM2-6B模型推理流程和模型架构详解

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 因为本人在做大模型优化方面的研究,之前拆了ChatGLM2的源代码,看看能从哪些地方深入。结果刚拆完没多久,昨天,也就是10 月 27 日,智谱 AI 在 2023 中国计算机大会(CNCC)上发布了自研第三代对话大模

    2024年02月03日
    浏览(54)
  • 【ChatGLM_01】ChatGLM2-6B本地安装与部署(大语言模型)

    ChatGLM2-6B是一个开源的、支持中英双语的对话语言模型,基于General Language Model (GLM)架构。 ChatGLM2-6B具备的能力: 自我认知:“介绍一下你的优点” 提纲写作:“帮我写一个介绍ChatGLM的博客提纲” 文案写作:“写10条热评文案” 信息抽取:‘从上述信息中抽取人、时间、事件

    2024年02月14日
    浏览(59)
  • 【AI】清华开源中英双语对话模型ChatGLM2-6B本地安装笔记

    首先,直接上资源,网盘中是ChatGLM2-6B源码及模型文件: 链接:https://pan.baidu.com/s/1DciporsVT-eSiVIAeU-YmQ 提取码:cssa 官方的Readme已经很详尽了,再写点安装博客有点画蛇添足。本着记录自己的工作内容的初衷,还是写一写吧,毕竟输出才是最好的学习。 本文记录了本地安装Cha

    2024年02月16日
    浏览(59)
  • 清华大学开源ChatGLM2-6B开源模型在anaconda下的虚拟环境详细部署及安装教程

    python版本要求:3.8以上 没有安装python的没有关系,我们在下面安装anaconda中会自动生成python,有了python的建议删除,通过anaconda安装python以便于后面创建虚拟环境。 windows系统:Windows 10 以上,推荐N卡(NVIDIA显卡20系列以上) 注意:处理器为AMD容易报错,intel的不容易报错,配

    2024年02月16日
    浏览(88)
  • 在矩池云使用ChatGLM-6B & ChatGLM2-6B

    ChatGLM-6B 和 ChatGLM2-6B都是基于 General Language Model (GLM) 架构的对话语言模型,是清华大学 KEG 实验室和智谱 AI 公司于 2023 年共同发布的语言模型。模型有 62 亿参数,一经发布便受到了开源社区的欢迎,在中文语义理解和对话生成上有着不凡的表现。 ChatGLM-6B 可以在消费级的显卡

    2024年02月14日
    浏览(50)
  • ChatGLM2-6B

    ChatGLM2-6B 项目基本情况 GitHub:https://github.com/THUDM/ChatGLM2-6B/tree/main 参考:https://mp.weixin.qq.com/s/11jCCeOpg1YbABIRLlnyvg 主要贡献 更强大的性能:基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数,经过了 1.4T 中英标识符的预

    2024年02月15日
    浏览(45)
  • ChatGLM2-6B 部署

    这是ChatGLM2-6B 部署的阅读笔记,主要介绍了ChatGLM2-6B模型的部署和一些原理的简单解释。 它是单卡开源的对话模型。 充分的中英双语预训练 较低的部署门槛 FP16半精度下,需要至少13G的显存进行推理,甚至可以进一步降低到10G(INT8)和6G(INT4) 更长的序列长度 ChatGLM-6B 序列长度达

    2024年02月09日
    浏览(54)
  • ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战

    介绍 ChatGLM-6B是开源的文本生成式对话模型,基于General Language Model(GLM)框架,具有62亿参数,结合模型蒸馏技术,实测在2080ti显卡训练中上(INT4)显存占用 6G 左右, 优点 :1.较低的部署门槛: FP16 半精度下,ChatGLM-6B 需要至少 13GB 的显存进行推理,结合模型量化技术,一需求可以进一步

    2024年02月12日
    浏览(59)
  • 三个开源大模型(chatglm2-6B, moss, llama)-chatglm2的测试

    chatglm2-6B 是清华大学开源的一款支持中英双语的对话语言模型。经过了 1.4T 中英标识符的预训练与人类偏好对齐训练,具有62 亿参数的 ChatGLM2-6B 已经能生成相当符合人类偏好的回答。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6G

    2024年02月11日
    浏览(66)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包