MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解-Toy模板网

这篇具有很好参考价值的文章主要介绍了MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

MiniGPT4系列之一部署篇：在RTX-3090 Ubuntu服务器部署步骤详解_seaside2003的博客-CSDN博客

MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解_seaside2003的博客-CSDN博客

MiniGPT4系列之三模型推理 (Web UI)：在RTX-3090 Ubuntu服务器推理_seaside2003的博客-CSDN博客

本文参考以下知乎帖子后半部分：

手搓具有GPT-4 90%能力的开源大语言模型FastChat - 知乎

有两种方法：

pip方式安装：

pip3 install fschat

源码安装：

git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip  # enable PEP 660 support
pip3 install -e .

python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna

此时可能会出现报错，ModuleNotFoundError: No module named 'rich'，因为上面都没有安装rich这个包

MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解,ubuntu,大模型,MiniGPT4,推理

但直接pip install rich，我试了不行，执行以下命令成功：

python -m pip install rich

MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解,ubuntu,大模型,MiniGPT4,推理

这个命令参照：ModuleNotFoundError: No module named 'rich’

\"ModuleNotFoundError: No module named \'rich\'\" 即使我使用 pip 安装答案 - 爱码网

再次执行以下命令，可以看出执行成功：

python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna

MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解,ubuntu,大模型,MiniGPT4,推理文章来源地址https://www.toymoban.com/news/detail-583432.html

到了这里，关于MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！

MiniGPT4系列之二推理篇命令行方式：在RTX-3090 Ubuntu服务器推理详解