【AMD GPU】使用A卡进行ai模型训练

这篇具有很好参考价值的文章主要介绍了【AMD GPU】使用A卡进行ai模型训练。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

吐槽

rocm都更新这么多版本了怎么还没有windows的
~~##RX580用户看过来
rocm4.0版本后就不支持RX580了,垃圾AMD

使用的设备配置

linux:Ubuntu20.04.1
CPU:R9-5900hx
GPU:RX6800M 12G
python:3.10.6

2022-10-24 23:21:50一键部署工具发布

顺序:1-8-2-3-4-5-7-6
加个源:deb https://ppa.launchpadcontent.net/deadsnakes/ppa/ubuntu jammy main
下载链接https://www.123pan.com/s/xW39-dVMmH提取码:2333

安装GPU驱动

如果你已经安装成功了gpu驱动可以跳过
如果之前装过其它版本没有驱动成功的,在终端输入
sudo amdgpu-install --uninstall卸载驱动

访问amd官网下载amdgpu-install_xxxxxx.xxxxxx_all.deb

进入安装包所在的目录
接着在终端输入:sudo apt install ./amdgpu-install_xxxxxxx-xxxxxx_all.deb(注:amdgpu-install_xxxxxxx-xxxxxx_all.deb指的是你下载的amdgpu版本

然后sudo apt updatesudo apt upgrade -y

开始安装驱动

sudo amdgpu-install --no-dkms
sudo apt install rocm-dev
//安装完后重启
sudo reboot

配置环境

ls -l /dev/dri/render*
sudo usermod -a -G render $LOGNAME
sudo usermod -a -G video $LOGNAME
sudo reboot

测试

# 显示gpu性能监控
rocm-smi
#查看显卡信息的两条命令(直接在终端输入)
/opt/rocm/bin/rocminfo
/opt/rocm/opencl/bin/clinfo
#有一条报错可能是没安装好

添加path

echo ‘export PATH=$PATH:/opt/rocm/bin:/opt/rocm/profiler/bin:/opt/rocm/opencl/bin/x86_64’ | sudo tee -a /etc/profile.d/rocm.sh

安装MIopen

#安装hip
sudo apt-get install miopen-hip
#下载miopenkernels,适用与gfx1030的a卡,如果你不是可以试一下
链接:https://www.123pan.com/s/xW39-oyMmH
sudo dpkg -i miopenkernels-gfx1030-36kdb_1.1.0.50200-65_amd64.deb

RDNA2架构安装pytorch

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/rocm5.1.1

RX580(gfx803)用户安装这个

pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/rocm3.7

运行stable-diffusion-webui

sudo apt install git
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui
#一般会提示pip版本太低,更新一下
python -m pip install --upgrade pip wheel
pip install -r requirements.txt' -i https://pypi.tuna.tsinghua.edu.cn/simple
HSA_OVERRIDE_GFX_VERSION=10.3.0 python launch.py --precision full --no-half
#HSA_OVERRIDE_GFX_VERSION可以模拟版本可以填9.0.0或者8.0.3(没试过)
//一般来讲会提示没有模型,如果有扔./models/Stable-diffusion里,本文不提供,自行百度

提示cuda错误,解决方法

torch is not able to use gpu

#打开launch.py找到这句代码
commandline_args = os.environ.get('COMMANDLINE_ARGS', "")
#改成
commandline_args = os.environ.get('COMMANDLINE_ARGS', "--skip-torch-cuda-test")

疑难杂症解决

rocm-gdb依赖libpython3.8解决

进软件和更新——其他软件——添加下面软件源

deb https://ppa.launchpadcontent.net/deadsnakes/ppa/ubuntu jammy main

更新一下软件源

sudo apt upgrade
sudo apt update

安装libpython3.8并重新运行amdgpu-install

sudo apt install libpython3.8
sudo apt install rocm-dev

rocm-llvm依赖python但无法安装它

找个目录进行操作

apt download rocm-llvm
ar x rocm-llvm_xxxx.xxxxx_amd64.deb
tar xf control.tar.xz
#编辑文件,如果没有vim将先安装sudo apt install vim
vim control
#找到如下一行:
Depends: python, libc6, libstdc++6|libstdc++8, libstdc++-5-dev|libstdc++-7-dev, libgcc-5-dev|libgcc-7-dev, rocm-core
#改为如下内容:
Depends: python3, libc6, libstdc++6|libstdc++8, libstdc++-5-dev|libstdc++-7-dev|libstdc++-10-dev, libgcc-5-dev|libgcc-7-dev|libgcc-10-dev, rocm-core
#重新打包
tar c postinst prerm control | xz -c > control.tar.xz
ar rcs rocm-llvm.deb debian-binary control.tar.xz data.tar.xz
#安装前先安装依赖
sudo apt install libstdc++-10-dev libgcc-10-dev rocm-core
#安装
sudo dpkg -i rocm-llvm.deb
#重新安装驱动
sudo amdgpu-install --no-dkms

运行launch.py时出现语法错误/切换python版本版本

多半是你ubuntu默认python不对应

sudo HSA_OVERRIDE_GFX_VERSION=10.3.0 python launch.py --precision full --no-half
#先查看本地安装了多少个python
ls /usr/bin/python*
#正常来讲会出现一下内容
#/usr/bin/python      /usr/bin/python3.10-config  /usr/bin/python3-futurize
#/usr/bin/python3     /usr/bin/python3.8          /usr/bin/python3-pasteurize
#/usr/bin/python3.10  /usr/bin/python3-config 
#我们要用的是python3.10的,所以
sudo rm /usr/bin/python  #删除原来的链接
sudo ln -s /usr/bin/python3.10 /usr/bin/python    #创建新的链接
python --version    #测试

Can’t run without a checkpoint. Find and place a .ckpt file into any of those locations. The program will exit.

你没有模型,把模型放进/models/Stable-diffusion里面吧(cpkt文件)

安装完驱动重启黑屏

启动的时候选择第二项(recovery模式)后,再选第一项继续进入系统,进来后卸载驱动

运行后下载插件超时

下载插件的速度三取决与年访问github是否流畅,很卡的话就修改launch.py吧

gfpgan_package = os.environ.get('GFPGAN_PACKAGE', "git+https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379")
修改成
gfpgan_package = os.environ.get('GFPGAN_PACKAGE', "git+ https://ghproxy.com/https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379")

GPU看戏(指GPU不工作)

用root环境运行webui吧(没试过)

su
#输入密码,如果没设置就用sudo passwd root设置密码
HSA_OVERRIDE_GFX_VERSION=10.3.0 python launch.py --precision full --no-half
#HSA_OVERRIDE_GFX_VERSION可以模拟版本可以填9.0.0或者8.0.3(没试过)

愉快玩耍

进webui目录执行以下操作

HSA_OVERRIDE_GFX_VERSION=10.3.0 python launch.py --precision full --no-half

如果运行时出现什么hip错误找不到gfx1030或者其他版号的可以不用管,等待一会就可以了,后面生成就不会提示,(每次启动第一次运行都会这样)文章来源地址https://www.toymoban.com/news/detail-776808.html

显卡监控(选装)

sudo apt install radeontop
radeontop

到了这里,关于【AMD GPU】使用A卡进行ai模型训练的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 本地连接服务器使用GPU训练模型

    直接运行上面的文件,然后输入密码,这密码不是服务器的密码,但是可以直接连接到服务器上面,这个东西是什么?好厉害,居然可以跳过去服务器的账号密码 我本来想忽略一些不需要上传文件,但是无法成功忽略,scp好像不支持 下面这个命令是从服务器上面传输数据到

    2024年02月07日
    浏览(54)
  • 报错ValueError: Can't find 'adapter_config.json'

    在做组内2030项目时,我具体做的一个工作是对大模型进行LoRA微调,在整个过程中有许多坑,其中有些值得记录的问题,于是便产生了这篇博客。 我在得到微调好的模型后,需要对模型进行性能测评。在加载模型时,遇到如下报错 补充:报错截图忘截了,但关键报错信息如上

    2024年02月11日
    浏览(79)
  • 训练yolov7报错AssertionError: train: No labels in XX\train.cache. Can not train without labels

    原因:自己的数据集文件夹和dataset中的数据集名称不同。 代码中要求的文件名是Images和Labels,可能自己命名的是image和label 参考:https://code84.com/38177.html

    2024年02月11日
    浏览(49)
  • 使用kaggle的GPU离线训练自己的模型

    有时候为了得到更好的模型结果,你可能需要使用一个更大的batch-size去训练,但是自己的电脑gpu又带不动,那么这时候你就可以尝试去使用一些免费的线上训练网站了,下面我将介绍使用kaggle离线训练自己的神经网络模型步骤。 直接百度搜索或者点击下面网址进入kaggle。 进

    2024年02月02日
    浏览(56)
  • 配置使用云服务器训练神经网络模型——在阿里GPU服务器训练yolov5模型

    对于没有GPU训练机的人来讲,使用云服务器训练自己的模型应该最最优选择,只是在训练的时候开个按时计费的服务器,训练完成后保存环境镜像之后,可以完全停掉服务器,期间不产生任何费用,下次再训练时,启动环境就可以,很容易保护好自己的训练环境不受污染。

    2024年02月06日
    浏览(63)
  • [超级详细]如何在深度学习训练模型过程中使用GPU加速

    前言 在深度学习当中,我们训练模型通常要对模型进行反复的优化训练,仅用CPU来进行训练的话需要花费很长时间,但是我们可以使用GPU来加速训练模型,这样就可以大大减少我们训练模型花费的时间。下图是我在训练模型过程中使用GPU加速和未使用GPU加速花费时间的对比:

    2024年02月09日
    浏览(50)
  • 使用pycharm连接远程GPU训练神经网络模型(超详细!)

    前言: 博主是一名学生党,因经费限制购买的电脑配置并不是很高,显存大小仅4GB,虽然日常学习时的模型训练基本能满足,但做项目或者有大模型训练需求时,就没办法满足要求了。今天这篇博客给大家分享一下如何利用pycharm连接远程GPU训练我们的神经网络模型,这篇文

    2024年02月20日
    浏览(45)
  • AMD CTO访谈全文:AI推理芯片需求猛增,GPU供应短缺必将缓解

    AMD在这场AI芯片热潮中一路狂奔,华尔街仍用空前的热情为“英伟达最强劲的挑战者”买单。3月1日,AMD继前一日大涨9%后再涨超5%,股价创收盘历史新高。本周累涨14.8%,今年迄今涨幅达到30.6%。 AMD CTO及执行副总裁Mark Papermaster近期参加了播客节目《史无前例:人工智能、机器

    2024年03月13日
    浏览(45)
  • 七、训练模型,CPU经常100%,但是GPU使用率才5%左右

    现象: 大概原因 :GPU运算完毕后,花费了大量时间在写日志和存储pth文件,所以GPU使用率一直过低,CPU使用率一直很高。 具体原因分析参见【深度学习】踩坑日记:模型训练速度过慢,GPU利用率低 这里直接上解决办法: 减少日志IO操作频率 使用pin_memory和num_workers(num_wor

    2024年02月11日
    浏览(52)
  • 【目标检测实验系列】AutoDL线上GPU服务器租用流程以及如何用Pycharm软件远程连接服务器进行模型训练 (以Pycharm远程训练Yolov5项目为例子 超详细)

           本篇博客主要涉及两个主体内容。 第一个 :从AutoDL网站中租用GPU服务器。 第二个 :用Pycharm软件远程连接租来的线上服务器,并以Yolov5项目为例,线上训练模型。此过程中会记录重要的地方,以及本人踩坑之后,如何解决问题的所思所想( 通读本篇博客大概需要1

    2024年02月03日
    浏览(58)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包