MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解

这篇具有很好参考价值的文章主要介绍了MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

MiniGPT4系列之一部署篇:在RTX-3090 Ubuntu服务器部署步骤详解_seaside2003的博客-CSDN博客

MiniGPT4系列之二推理篇命令行方式:在RTX-3090 Ubuntu服务器推理详解_seaside2003的博客-CSDN博客

MiniGPT4系列之三模型推理 (Web UI):在RTX-3090 Ubuntu服务器推理_seaside2003的博客-CSDN博客

主要参考知乎帖子:

MiniGPT-4 本地部署 RTX 3090 - 知乎

MiniGPT-4部署比麻烦,首先需要获取LLaMA权重,并结合Vicuna的bitwise XOR增量文件完成Vicuna模型权重生成,最后准备好预训练的MiniGPT-4进行模型部署。为了便于理解,我画了个流程框图:

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

系统版本:Ubuntu 20.04

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

我的硬件设备:Nvidia GeForce RTX-3090,显存24G

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

1、准备环境

克隆MiniGPT-4库,准备environment.yml中所需的环境。

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigpt4

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

……

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

2、LLaMA权重获取

首先我们需要从huggingface下载模型权重,pip安装huggingface_hub

pip install huggingface_hub

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

由于显卡限制,我选用了参数量最小的模型 llama-7b-hfhuggingface下载链接如下:

LLaMA

decapoda-research (Decapoda Research)

本文选择:decapoda-research/llama-7b-hf

decapoda-research/llama-7b-hf at main

注意:文件需要全部下载,原文中是用snapshot_download下载的,我直接网页版下载,因为git容易断,还可能出现checkout失败,可以手动下载。

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

3、Vicuna增量文件

选用模型vicuna-7b-delta-v1.1huggingface下载链接如下:

lmsys (Large Model Systems Organization)

lmsys/vicuna-7b-delta-v1.1 at main

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

注:vicuna权重分为v0v1.1两个版本,MiniGPT-4作者采用的是v0,当使用v0版本时,生成vicuna权重出错(bugtensor尺度不一致),而换为v1.1版本即可解决。我之前试用过v0这个版本,没有搞成功,不是上述原因,待查,所以建议选用v1.1版本。

4、Vicuna权重生成

克隆FastChat库:

git clone https://github.com/lm-sys/FastChat.git

GitHub - lm-sys/FastChat: An open platform for training, serving, and evaluating large language models. Release repo for Vicuna and FastChat-T5.

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

在终端输入以下命令:

python3 -m fastchat.model.apply_delta --base-model-path /home/train/mycharm/MiniGPT-4/model/llama-7b-hf/ --target-model-path /home/train/mycharm/new/vicuna  --delta /home/train/mycharm/new/lmsys/lmsysvicuna-7b-delta-v1.1  --low-cpu-mem

说明:

base-model-path是llama原始模型权重,7b参数的,target-model-path 是要生成的vicuna权重,delta是vicuna delta权重,低CPU内存需加入--low-cpu-mem,可以把大的权重文件分割成多个小份,并使用磁盘作为临时存储。可以使峰值内存保持在16GB以下。不然无法载入vicuna增量文件,CPU内存占满,程序直接被kill,绿色表示已有的vicuna-7b-delta权重。

这行命令对初学者有些迷惑:简单说就是利用llama的权重,结合vicuna的delta权重,然后生成vicuna权重,根源在于meta发布的llama权重没有正式公开导致,能下载只是网络行为。

运行结果如下:

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

新生成的vicuna的权重在设定的目录中:

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

5、MiniGPT-4启动

本文采用的权重为原作者的checkpoints,prerained_minigpt4_7b.pth,并放在生成的vicuna权重路径下,目录一定要放对。

下载链接:

https://link.zhihu.com/?target=https%3A//drive.google.com/file/d/1RY9jV0dyqLX-o38LrumkKRh6Jtaop58R/view

此处要用谷歌,下载其他版本应该也可以,我没试。

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

下载完成后放到上述刚生成的vicuna目录下:

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

修改配置文件模型权重存放的目录:

下面这两步很关键,要修改权重文件的目录,要根据自己实际情况修改:

1)、修改MiniGPT-4/minigpt4/configs/models/minigpt4.yaml 文件中llama_model的值为vicuna-7b的路径:比如,我的在/home/train/mycharm/new/vicuna/在这个目录下,原文件在16行。

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

2)、修改MiniGPT-4/eval_configs/minigpt4_eval.yaml,将ckpt的值改成prerained_minigpt4_7b.pth的路径,原文件在11行。

比如我的在这个目录:/home/train/mycharm/new/vicuna/prerained_minigpt4_7b.pth

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

6、启动MiniGPT-4 demo

进入到MiniGPT-4目录:

python demo.py --cfg-path eval_configs/minigpt4_eval.yaml  --gpu-id 0

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

执行成功。

7、其他说明

里面有个警告,疑似pytorch(2.0.1)和torchvision(0.13.1)版本不一致导致,不影响此处功能,参照以下帖子:

Failed to load image Python extension: libtorch_cuda_cu.so_牧羊女说的博客-CSDN博客

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

版本对照关系参照,可以看出torch 2.0对应torchvision版本应为:0.15而我的版本是0.13

GitHub - pytorch/vision: Datasets, Transforms and Models specific to Computer Vision

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

下面是原作者的运行图,好像也有类似问题:

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

执行以下安装命令(先卸载老的版本):

在下述网站选择好配置后生成安装命令:

Start Locally | PyTorch

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

重新安装再次执行,警告消失,成功。

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

查看版本与之对应:

MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解,ubuntu,minigpt4,大模型,多模态

Conda版本过低问题:

此处有个小问题,如果conda 版本太低不能执行以上命令,先升级conda,但可能存在执行conda update conda后,conda 版本没有变化,需要执行以下命令升级conda:

conda update -n base -c defaults conda --repodata-fn=repodata.json

I got update warning message but unable to update · Issue #12519 · conda/conda · GitHub文章来源地址https://www.toymoban.com/news/detail-554291.html

到了这里,关于MiniGPT4 在RTX-3090 Ubuntu服务器部署步骤详解的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【服务器】Dell PowerEdge R750 安装GPU(3090)

    1. 服务器下架/上架 下架:从机架导轨上拿下服务器 (1)断电,拔掉背面的电源线(左右两根)和网线: 注意,不用管插头旁的红色小按钮,直接拔插头就好。 注意,断电后指示灯应该已经熄灭。上图为补拍,所以灯仍亮。 (2)按动服务器正面两个卡扣: 注意,断电后指

    2024年02月13日
    浏览(55)
  • MiniGPT4,开源了

    MiniGPT-4 旨在将来自预训练视觉编码器的视觉信息与先进的大型语言模型 (LLM) 对齐。 具体来说,在文本方面,作者利用 Vicuna 作为语言解码器,在视觉感知方面,使用了与BLIP-2相同的视觉编码器,并且语言和视觉模型都是开源的。本文的主要目标就是使用线性映射层来弥合视

    2023年04月23日
    浏览(39)
  • MiniGPT4,开源了。

    大家好,我是 Jack。   一个月前,我发布过一篇文章,讲解了 GPT4 的发布会。 ChatGPT 的对话能力,想必大家也早已体验过了,无论是文本生成能力,还是写代码的能力,甚至是上下文的关联对话能力,无不一次又一次地震撼着我们。 你还记不记得发布会上,GPT4 的多模态能力

    2023年04月26日
    浏览(32)
  • Ubuntu部署EMQX开源版MQTT服务器-Orange Pi部署-服务器部署

            作为全球最具扩展性的 MQTT 消息服务器,EMQX 提供了高效可靠海量物联网设备连接,能够高性能实时移动与处理消息和事件流数据,本文将介绍如何在Ubuntu 22.04上部署MQTT服务器。我们本次选择开源版,使用离线安装方式部署。        安装包可以有两种格式,一种

    2024年01月18日
    浏览(45)
  • Chatgpt论文笔记——MiNiGPT4解读

    代码地址:https://github.com/Vision-CAIR/MiniGPT-4 摘要写的就很简单了,标黄的是重点,可以看到这个方法很简单,就是拿了一个视觉的encoder(Blip-2)以及拿了一个文本的encoder(Vicuna),最后外加上一个projection层就构成了MiniGPT4,并且在训练的时候视觉和文本的encoder都是冻结参数

    2024年02月12日
    浏览(39)
  • ubuntu部署gitlab服务器

    笔者使用的ubuntu版本为20.04,gitlab版本为16.2.1 (此篇文章部分引用他人文件,单纯记录,如有侵权请联系) 遇到图中情况点击tab跳转到确定上点击回车。 前往Gitlab官网:https://packages.gitlab.com/gitlab/gitlab-ce,找到最新版本的 gitlab-ce 安装包,注意版本是 ubuntu/focal 。 如果运行

    2024年02月05日
    浏览(55)
  • Ubuntu服务器ELK部署与实践

    看之前的文章 docker ubuntu完全卸载docker及再次安装 Ubuntu安装 Docker 此外,Docker偶尔会出现这种问题 dial tcp: lookup registry-1.docker.io on 192.168.1.1:53: no such host 参考Docker----执行docker pull 下载镜像时报dial tcp: lookup registry-1.docker.io on 192.168.1.1:53: no such host错误的解决办法 修改“/etc/reso

    2024年02月14日
    浏览(38)
  • minigpt4搭建过程记录,简单体验图文识别乐趣

    从3月开始,aigc进入了疯狂的开端,正如4月12日无界 AI直播 在《探索 AIGC 与人类合作的无限可能》中关于梳理的时间线一样,aigc的各种产品如雨后春笋般进入了不可逆的态势,里面有句话很形象,人间一日,AIGC十年。这产变革像是有计划性的沧海桑田,让每个参与者亦或者

    2024年02月05日
    浏览(56)
  • ubuntu单服务器部署k8s

    初学k8s,看到网上的教程非常杂乱,并且环境什么的都没说清楚,对于初学者很不友好,导致安装的过程总是出错,并且不能安装到符合自己要求的版本或者相应的环境,所以此文对环境做了详细的说明,前前后后安装了两三天几十遍,把所有的问题都解决了,本人亲测安装

    2024年04月15日
    浏览(36)
  • 在Ubuntu上通过Docker部署OpenVPN服务器

    在这篇博客中,我们将探讨如何在Ubuntu服务器上通过Docker容器化技术来部署OpenVPN服务器。下面是逐步进行的指南,适用于初学者和中级用户。 前提条件 : 一个运行Ubuntu的服务器 Docker已安装在服务器上 步骤1: 安装Docker 首先,确保你的Ubuntu服务器上已经安装了Docker。 步骤2: 创

    2024年02月05日
    浏览(63)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包