大模型学习与实践笔记（九）-Toy模板网

这篇具有很好参考价值的文章主要介绍了大模型学习与实践笔记（九）。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

一、LMDeply方式部署

使用 LMDeploy 以本地对话方式部署 InternLM-Chat-7B 模型，生成 300 字的小故事

大模型学习与实践笔记（九）,学习,笔记,人工智能,langchain,AIGC,llama

2.api 方式部署

运行

大模型学习与实践笔记（九）,学习,笔记,人工智能,langchain,AIGC,llama

结果：

大模型学习与实践笔记（九）,学习,笔记,人工智能,langchain,AIGC,llama

显存占用：

大模型学习与实践笔记（九）,学习,笔记,人工智能,langchain,AIGC,llama

二、报错与解决方案

在使用命令，对lmdeploy 进行源码安装是时，报错

1.源码安装语句

pip install 'lmdeploy[all]==v0.1.0'

2.报错语句：

Building wheels for collected packages: flash-attn
  Building wheel for flash-attn (setup.py) ... error
  error: subprocess-exited-with-error
  
  × python setup.py bdist_wheel did not run successfully.
  │ exit code: 1
  ╰─> [9 lines of output]
      fatal: not a git repository (or any of the parent directories): .git
      
      
      torch.__version__  = 2.0.1
      
      
      running bdist_wheel
      Guessing wheel URL:  https://github.com/Dao-AILab/flash-attention/releases/download/v2.4.2/flash_attn-2.4.2+cu118torch2.0cxx11abiFALSE-cp310-cp310-linux_x86_64.whl
      error: <urlopen error Tunnel connection failed: 503 Service Unavailable>
      [end of output]
  
  note: This error originates from a subprocess, and is likely not a problem with pip.
  ERROR: Failed building wheel for flash-attn
  Running setup.py clean for flash-attn
Failed to build flash-attn
ERROR: Could not build wheels for flash-attn, which is required to install pyproject.toml-based projects

3.解决方法

（1）在https://github.com/Dao-AILab/flash-attention/releases/ 下载对应版本的安装包

（2）通过pip 进行安装

pip install flash_attn-2.3.5+cu117torch2.0cxx11abiFALSE-cp310-cp310-linux_x86_64.whl

4.参考链接

https://github.com/Dao-AILab/flash-attention/issues/224文章来源地址https://www.toymoban.com/news/detail-807122.html

到了这里，关于大模型学习与实践笔记（九）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

大模型学习与实践笔记（九）

一、LMDeply方式部署

二、报错与解决方案

1.源码安装语句

2.报错语句：

3.解决方法

4.参考链接

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

支付宝扫一扫领取红包，优惠每天领

二维码1

二维码2