【ChatGLM】记录一次Windows部署ChatGLM-6B流程及遇到的问题

这篇具有很好参考价值的文章主要介绍了【ChatGLM】记录一次Windows部署ChatGLM-6B流程及遇到的问题。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

部署环境

系统版本:Windows 10 企业版
版本号:20H2
系统类型:64 位操作系统, 基于 x64 的处理器
处理器:Intel® Core™ i7-8700 CPU @ 3.20GHz 3.19 GHz
机带 RAM:16.0 GB
显卡:NVIDIA RTX 2070(8G)
Python版本:3.10.11

文件下载

文件分为两个部分:

  • github上开源的训练、推理、以及运行demo、api的一些代码文件
  • huggingface上的语言模型相关文件,主要包含官方训练好的大语言模型文件,以及模型文件对应的一些配置文件,其中模型文件会很大,可以使用GIT LFS下载,或者直接上清华的网盘上下载,本文使用的是从网盘下载,配置文件直接clone即可,clone前设置GIT_LFS_SKIP_SMUDGE=1,可跳过大文件的下载,只下载模型文件之外的配置文件。

项目文件

git clone https://github.com/THUDM/ChatGLM-6B.git

安装依赖:

cd ChatGLM-6B

pip install -r requirements.txt

模型配置文件

GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b

模型文件

chatglm-6b:(只有chatglm-6b)

https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

其他:(包含chatglm-6b-int4、chatglm-6b-int8…)

https://cloud.tsinghua.edu.cn/d/fb9f16d6dc8f482596c2/

按需下载,下载后替换至上一步中下载的chatglm-6b目录下。

注:下载之后,需要对比每个文件大小,如果有文件不完整,将运行失败

模型文件必须要和配置文件配套下载,否则运行不成功

文件保存位置:

D:\ChatGLM-6B\ChatGLM-6B\THUDM\chatglm-6b

runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI时代,AI,ChatGLM,人工智能,大语言模型

下载完成之后,修改第5、6行:将参数文件路径换为本地的

runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI时代,AI,ChatGLM,人工智能,大语言模型

运行demo

runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI时代,AI,ChatGLM,人工智能,大语言模型

python web_demo.py

runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI时代,AI,ChatGLM,人工智能,大语言模型

遇到的问题

  1. RuntimeError: Internal: D:\a\sentencepiece\sentencepiece\src\sentencepiece_processor.cc(1102) [model_proto->ParseFromArray(serialized.data(), serialized.size())]
Traceback (most recent call last):

  File "D:\ChatGLM-6B\ChatGLM-6B\web_demo.py", line 5, in <module>

    tokenizer = AutoTokenizer.from_pretrained("D:\\ChatGLM-6B\\ChatGLM-6B\\THUDM\\chatglm-6b", trust_remote_code=True, revision="")

  File "D:\python3.10\lib\site-packages\transformers\models\auto\tokenization_auto.py", line 679, in from_pretrained

    return tokenizer_class.from_pretrained(pretrained_model_name_or_path, *inputs, **kwargs)

  File "D:\python3.10\lib\site-packages\transformers\tokenization_utils_base.py", line 1804, in from_pretrained

    return cls._from_pretrained(

  File "D:\python3.10\lib\site-packages\transformers\tokenization_utils_base.py", line 1958, in _from_pretrained

    tokenizer = cls(*init_inputs, **init_kwargs)

  File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 221, in __init__

    self.sp_tokenizer = SPTokenizer(vocab_file, num_image_tokens=num_image_tokens)

  File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 64, in __init__

    self.text_tokenizer = TextTokenizer(vocab_file)

  File "C:\Users\liliang22/.cache\huggingface\modules\transformers_modules\chatglm-6b\tokenization_chatglm.py", line 22, in __init__

    self.sp.Load(model_path)

  File "D:\python3.10\lib\site-packages\sentencepiece\__init__.py", line 905, in Load

    return self.LoadFromFile(model_file)

  File "D:\python3.10\lib\site-packages\sentencepiece\__init__.py", line 310, in LoadFromFile

    return _sentencepiece.SentencePieceProcessor_LoadFromFile(self, arg)

RuntimeError: Internal: D:\a\sentencepiece\sentencepiece\src\sentencepiece_processor.cc(1102) [model_proto->ParseFromArray(serialized.data(), serialized.size())]

解决:对比下载的所有配置文件,是否有不完整的文件,执行命令:GIT_LFS_SKIP_SMUDGE=1 git clone https://huggingface.co/THUDM/chatglm-6b 时,有个2mb左右的文件,没有成功下载:ice_text.model

  1. AssertionError: Torch not compiled with CUDA enabled

    原因是你试图用GPU跑,但是你安装的 Torch 不支持CUDA,是仅支持CPU的版本,执行命令:

    python -c "import torch; print(torch.cuda.is_available())"
    

    如果返回False,说明安装的PyTorch不支持CUDA。

    1. 更新显卡驱动为最新的(官方驱动 | NVIDIA)

    2. 下载安装cuda_toolkit(https://developer.nvidia.com/cuda-toolkit)<这一步尚未验证是否必须>

    3. 重启电脑

    4. 执行命令安装torch:

      pip install torch==2.0.1+cu118 -f https://download.pytorch.org/whl/torch_stable.html
      

    (第一次没有操作2、3步,没有成功,第二次安装了toolkit后重启好了,但不能确定这两步是否有效,可以先忽略这两步,不行再尝试)

​ 需要下载一个2.6G的文件,安装完成后,print(torch.cuda.is_available())为True,大功告成。

​ 可以在Previous PyTorch Versions | PyTorch 查看自己的显卡CUDA版本对应的torch版本,如果没找到,可以尝试一个最接近的比实际小的版本。

查看CUDA版本:

runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI时代,AI,ChatGLM,人工智能,大语言模型

或者直接执行命令:nvidia-smi 查看

runtimeerror: internal: d:\a\sentencepiece\sentencepiece\src\sentencepiece_p,AI时代,AI,ChatGLM,人工智能,大语言模型文章来源地址https://www.toymoban.com/news/detail-807868.html

  1. 这个配置运行非量化的chatglm-6b,响应很慢很慢,重新下载chatglm-6b-Int4的模型文件和配置文件部署后,速度正常了。

到了这里,关于【ChatGLM】记录一次Windows部署ChatGLM-6B流程及遇到的问题的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • ChatGLM2-6B在windows下的部署

    1、Windows 10 专业版, 64位,版本号:22H2,内存:32GB 2、已安装CUDA11.3 3、已安装Anaconda3 64bit版本 4、有显卡NVIDIA GeForce RTX 3060 Laptop GPU 1、进入Anaconda Powershell Prompt 2、创建保存chatglm2-6b的huggingface模型的公共目录。之所以创建一个公共目录,是因为这个模型文件是可以被各种应用

    2024年02月13日
    浏览(55)
  • ChatGLM2-6B! 我跑通啦!本地部署+微调(windows系统)

    记录一下此时此刻,2023年7月8日22点04,从ChatGLM2-6B在7月4日开放了ptuning到此时此刻,ChatGLM2-6B的微调终于被哥们跑通了! 从 本地部署ChatGLM2-6B 到 本地进行P-tuning微调 ,再到最后的 模型检测 ,哥们全跑通了! 这里非常感谢ChatGLM2-6B|开源本地化语言模型这篇博客!因为我布置

    2024年02月16日
    浏览(47)
  • Windows下cpu部署运行清华大学ChatGLM-6B语言模型(详解)

    ChatGLM-6B 清华大学实现的 一个开源的、支持中英双语 、 支持图像理解 的对话语言模型 。 它 基于

    2024年02月12日
    浏览(56)
  • 记录使用nginx部署静态资源流程,以及遇到的访问静态资源404问题

    将网站静态资源(HTML,JavaScript,CSS,img等文件)与后台应用分开部署实现 动静分离 ,提高用户访问静态代码的速度,降低对后台应用访问,减轻后台服务器的压力。 这里我选择放在了 html文件夹 下,(也可以放在和html文件夹同级,或其它位置 打开 conf文件夹 打开总配置文

    2024年02月08日
    浏览(64)
  • 记录一次Linux下ChatGLM部署过程

    本地化的GPT就是香,就是有点费钱。 项目地址:https://github.com/THUDM/ChatGLM-6B 由于本地电脑显卡都不行,所以我租了AutoDL的一台算力服务器。 Tesla T4 16G 显存,56GB内存,符合我们跑ChatGLM的配置。 其实本来这台服务器是其他用途,跑vits的,所以选择了so-vits-svc4的 镜像 ,这类的

    2024年02月09日
    浏览(45)
  • chatglm——从部署到训练全流程&&你遇到的错误都在这里。

    自然语言训练似乎一夜之间就被chatgpt带火了。而因为我们需要做自然语言训练开发,所以就找了清华大学的chatglm来开发。在部署中我们遇到了很多的问题,当然也是各种百度去解决。最终功夫不负有心人,我们尝试了各种方法,完成了整体的训练。下面我就把完整的流程和

    2024年02月06日
    浏览(309)
  • ChatGLM2-6B模型推理流程和模型架构详解

    提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 因为本人在做大模型优化方面的研究,之前拆了ChatGLM2的源代码,看看能从哪些地方深入。结果刚拆完没多久,昨天,也就是10 月 27 日,智谱 AI 在 2023 中国计算机大会(CNCC)上发布了自研第三代对话大模

    2024年02月03日
    浏览(54)
  • 记一次windows11安装hashcat遇到的问题

    解压后在目录下打开cmd输入 hashcat.exe -h 正确的话会看到类似于下图的帮助菜单 因为我想要破解wifi密码,所以提前将转换的.hccap文件放在了同级目录下 执行命令:hashcat -m 2500 -a 3 wpahash.hccap ?d?d?d?d?d?d?d?d 发现如下报错信息: 解决方法: 下载安装对应版本的CUDA:CUDA Toolkit 12.

    2024年02月01日
    浏览(68)
  • ChatGLM2-6B 部署

    这是ChatGLM2-6B 部署的阅读笔记,主要介绍了ChatGLM2-6B模型的部署和一些原理的简单解释。 它是单卡开源的对话模型。 充分的中英双语预训练 较低的部署门槛 FP16半精度下,需要至少13G的显存进行推理,甚至可以进一步降低到10G(INT8)和6G(INT4) 更长的序列长度 ChatGLM-6B 序列长度达

    2024年02月09日
    浏览(54)
  • ChatGLM-6B阿里云部署

    重点关注指标:CPU、内存、GPU、GPU驱动  类型 OS CPU 内存 GPU 机器配置 ubuntu_20_04_x64 16核 125G NVIDIA A100 80G   git git-lfs(大文件管理) python 3.10.7(如果已经安装了python其他版本,不用再安装此版本) 下载解压源码 此时终端内输入: python -V 出现 Python 3.10.7表示python安装成功。 下载模型

    2024年02月11日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包