AutoDL+pycharm+yolov5远程租服务器训练数据集

这篇具有很好参考价值的文章主要介绍了AutoDL+pycharm+yolov5远程租服务器训练数据集。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

自己电脑算力简直太差劲了,在AUTOdl上租个0.88/h的服务器跑yolov5代码,找了好多教程,鼓弄了两天时间我的代码才算能跑起来,感觉市面上的博客写的都不够详细,包括我遇到的一些问题,我整理了一下发出来也供自己参考

目录

1.AutoDL租用服务器

2.下载&Pycharm远程开发

2.1 下载专业版pycharm

2.2 正确打开pycharm

2.3 pycharm远程开发

3.正文:训练train.py

3.1 上传文档

3.2 打开终端

3.3 如何将服务器端的runs中训练结果导出到本地

4.整个过程中我遇到的问题以及解

4.1 train.py过程中

4.2 英文译文大概意思:图片无法打开

4.3训练中断后想继续训练

4.4训练完轮数后发现还想多训练几轮

4.5 设置pycharm远程连接时遇到SFTP连接不上的问题

5 配置好环境了想训练只需要更改一下几行代码

5.1 train.py中

5.2 parameter.yaml文件中

5.3 detect.py中



1.AutoDL租用服务器

AutoDL-品质GPU租用平台-租GPU就上AutoDL打开官网后选择 计费方式 GPU型号数量(我猜服务器越好的越贵)

租完之后再传输文件时可以选择无卡模式开机(省钱)

等真正训练train.py时再正常开机

但是很可能这个服务器就被别人给占用了

AutoDL+pycharm+yolov5远程租服务器训练数据集


注:镜像最好不要选择社区镜像

有的小伙伴想训练yolov5,刚好社区镜像里有,心思方便了不用配环境了,大错特错!我刚踩完这个坑,后续运行超级费劲(可能是我不会搞)而且看了这么多教程都没有搞社区镜像的,大家按部就班来吧还是


AutoDL+pycharm+yolov5远程租服务器训练数据集

我选的是PyTorch1.11.0+Python3.8(ubuntu20.04)+Cuda11.3

AutoDL+pycharm+yolov5远程租服务器训练数据集

2.下载&Pycharm远程开发

2.1 下载专业版pycharm

Pycharm专业版安装详细教程!_pycharm专业版安装教程_初识-CV的博客-CSDN博客Pycharm官网地址(下载):https://link.zhihu.com/?target=https%3A//www.jetbrains.com/pycharm/download/other.html有各种不同版本的Pycharm供下载,本文选择Pycharm专业版下载,建议下载2020.1.5版本.安装教程下载完成之后,就按照步骤开始安装了,点击Next:我选择安装在F盘,因为C盘太占用空间了,会比较卡,点击Next:一定要选着添加到环境变量中,不然后面还要手动配置环境变量,比较麻烦,https://blog.csdn.net/qq_38410428/article/details/118912777

2.2 正确打开pycharm

点击这里

2.3 pycharm远程开发

放一个AutoDL的帮助文档

AutoDL帮助文档https://www.autodl.com/docs/pycharm/ps:最后一步打开远程终端的下拉箭头pycharm2020版本没有,可以选择JupyterLab打开终端

AutoDL+pycharm+yolov5远程租服务器训练数据集

AutoDL+pycharm+yolov5远程租服务器训练数据集

3.正文:训练train.py

3.1 上传文档

具体请参考这篇

Xftp使用教程——远程传输YOLOv5到autodl上_邸笠佘司的博客-CSDN博客如何通过xftp上传文件至autodl端https://blog.csdn.net/m0_68738477/article/details/130885377?spm=1001.2014.3001.5501将yolo文件夹整成zip压缩包,打开xftp软件进行文件传输

或者将文件拖拽到JupyterLab的左侧文件夹位置(我觉得速度有点慢)

AutoDL+pycharm+yolov5远程租服务器训练数据集

3.2 打开终端

使用unzip命令将压缩包解压到服务器端

unzip yolov5 revised.zip

 进入文件夹,输入

cd yolov5 revised
conda init   #输入后退出终端在进入终端 进行环境激活

AutoDL+pycharm+yolov5远程租服务器训练数据集

cd yolov5-revised     #进入到文件夹
pip install -r requirements.txt    #安装剩余的包

AutoDL+pycharm+yolov5远程租服务器训练数据集

 更改train中的model.yaml的路径以及parameter中的path、train、val的路径

AutoDL+pycharm+yolov5远程租服务器训练数据集

 ​AutoDL+pycharm+yolov5远程租服务器训练数据集

输入如下进行训练

python train.py

共花了1.994h,训练结束如下AutoDL+pycharm+yolov5远程租服务器训练数据集

 更改detect文件中的这几个路径AutoDL+pycharm+yolov5远程租服务器训练数据集

输入如下进行测试集训练,测试结束如下,训练结果保存在服务器的文件夹里

python detect.py

AutoDL+pycharm+yolov5远程租服务器训练数据集

3.3 如何将服务器端的runs中训练结果导出到本地

输入如下,将数据打包到runs.tar.gz中

tar -cvf runs.tar.gz runs/

中间runs.tar.gz的runs可以改成自己想要打包成gz文件的文件名字
runs/为yolov5文件夹下的runs文件夹,意思是将runs文件夹下的所有内容都打包,有些费时间
可以将最后的一个exp文件打包下载,如下所示

tar -cvf exp35.tar.gz runs/detect/exp35/

AutoDL+pycharm+yolov5远程租服务器训练数据集

AutoDL+pycharm+yolov5远程租服务器训练数据集

AutoDL+pycharm+yolov5远程租服务器训练数据集

 将文件转移到自己本地目录下的yolov5/runs的文件下就好了

4.整个过程中我遇到的问题以及解

4.1 train.py过程中

报错:pandas._config.config.OptionError:"No such keys(s): 'mode.use_inf_as_null'"

解答:
pip install --upgrade panads
pip install pandas==0.25.3

4.2 英文译文大概意思:图片无法打开

报错:
global /io/opencv/modules/imgcodecs/src/loadsave.cpp (239) findDecoder imread_(...) can't open/read file: check file path/integrity
或
assertionerror: image not found .............

解答:删除datasets/labels中的train.ache和test.cache

AutoDL+pycharm+yolov5远程租服务器训练数据集

4.3训练中断后想继续训练

将default=False改成True(别忘记重新训练的时候需要改回False)

AutoDL+pycharm+yolov5远程租服务器训练数据集

4.4训练完轮数后发现还想多训练几轮

在改变输入参数中的epochs后没有效果,同时修改runs结果文件中的opt.yaml文件。将其中的epochs修改为想要参数才成功。

4.5 设置pycharm远程连接时遇到SFTP连接不上的问题

AutoDL+pycharm+yolov5远程租服务器训练数据集

重新创建一个新的连接服务器的界面就好了

5 配置好环境了想训练只需要更改一下几行代码

第一次配置好环境后并不需要每一次都重新配置环境(当然你更改租用的服务器得重新配置),那么我们需要修改哪些代码可以跳过配置直接运行呢?文章来源地址https://www.toymoban.com/news/detail-444184.html

5.1 train.py中

    parser.add_argument('--cfg', type=str, default='datasets/helmet model.yaml', help='model.yaml path')
    parser.add_argument('--data', type=str, default='datasets/helmet parameter.yaml', help='dataset.yaml path')
 parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')

5.2 parameter.yaml文件中

# train and val data as 1) directory: path/images/, 2) file: path/images.txt, or 3) list: [path1/images/, path2/images/]
path: ./datasets
train: ./datasets/images/train  # 128 images
val: ./datasets/images/test  # 128 images

5.3 detect.py中

 parser.add_argument('--weights', nargs='+', type=str, default='runs/train/exp2/weights/last.pt', help='model path(s)')
    parser.add_argument('--source', type=str, default='datasets/images/test/hard_hat_workers243.png', help='source')  # file/folder, 0 for webcam
    parser.add_argument('--data', type=str,default='datasets/helmet parameter.yaml',help='dataset.yaml path')
   parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')

到了这里,关于AutoDL+pycharm+yolov5远程租服务器训练数据集的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Pycharm-远程连接云服务器-Autodl

    目录 一、在Autodl中租用实例:步骤详情请见此官网的帮助文档。 二、上传数据到云服务器。 三、验证Audotl自带的基础环境配置 四、上述完成之后,就可以训练自己上传的项目了: 本案例是在Autodl中训练yolov5: 五、Pycharm远程连接云服务器Autodl: https://www.autodl.com/docs/quick_

    2024年02月06日
    浏览(71)
  • 自学历程-AutoDL服务器训练YOLOv8

    1、服务器训练YOLOv8的方法有很多,这里也只是我的一个学习过程中了解到的一些。 2、着重于服务器购买好之后的YOLOv8上传、环境配置、训练等流程,所以服务器购买等相关内容不具体介绍。 3、写这篇博客的过程中深感细节的点太多,没办法一点一点的完全介绍前因后果。

    2024年04月10日
    浏览(51)
  • 本地pycharm连接远程服务器(以AutoDL为例)

    专业版PyCharm(社区版不支持远程开发功能) 远程服务器(这里使用AutoDL) 有需要的可以注册AutoDL 注册链接 复制自己的实例 SSH 指令 如果是图中的空白是因为你没有开机,开机就可以进行复制了 在 ssh -p 43677 root@region-41.seetacloud.com 命令中, 各个参数的含义为: 用户名:ro

    2023年04月08日
    浏览(52)
  • AutoDL租用实例、配置环境、Pycharm中SSH、SFTP连接远程服务器、Pycharm访问远程服务器终端

    AutoDL链接:AutoDL 注册登录后进入控制台,左 侧容器实例 — 租用新实例 在租用实例页面:选择 计费方式 (用的不多的建议按量计费),选择合适的主机,选择要创建实例中的GPU数量(创建完后也可以增加GPU数量),选择镜像(内置了不同的深度学习框架),最后创建即可 创建

    2024年02月10日
    浏览(65)
  • 【深度学习环境】Windows10系统+AutoDL算力平台|使用MobaXterm终端工具实现SSH远程连接服务器|实现PyCharm与服务器远程连接|远程连接(详细版)

    一般情况下,我们的本地文件项目直接使用本机的GPU/CPU在编译器上编译调试。但是由于深度学习中神经网络模型庞大,在计算时常常会出现爆显存的问题,较小的显存不能满足计算需求。因此通常使用一台有着“大显存”的服务器来代替本机“小显存”以完成运算,我们期待

    2024年02月05日
    浏览(69)
  • 配置使用云服务器训练神经网络模型——在阿里GPU服务器训练yolov5模型

    对于没有GPU训练机的人来讲,使用云服务器训练自己的模型应该最最优选择,只是在训练的时候开个按时计费的服务器,训练完成后保存环境镜像之后,可以完全停掉服务器,期间不产生任何费用,下次再训练时,启动环境就可以,很容易保护好自己的训练环境不受污染。

    2024年02月06日
    浏览(63)
  • 【目标检测算法实现之yolov5】 一、YOLOv5环境配置,将yolov5部署到远程服务器上

    在官网:https://github.com/ultralytics/yolov5上下载yolov5源代码 下载成功如下: 在配置基础环境之前,提前压缩自己的代码文件,并通过winscp传输给linux端,传输之后,解压该文件。解压前,先创建一个文件夹,再解压。 winscp下载使用教程参考上一篇博客:使用WinSCP下载和文件传输

    2024年01月15日
    浏览(55)
  • 手把手教你租用服务器以及使用Pycharm远程连接服务器训练模型

    由于模型优化过后训练时间太长,所以想使用显卡或者租服务器进行训练,but显卡太贵(只有A卡),那就租服务器好了,开始了解怎么租,去哪租一系列问题,果然只要开始思考,就是一个接一个的困难,直接被击碎。终于找到了AutoDL,美美的开始租服务器,结果又绊在了选

    2024年02月10日
    浏览(62)
  • GPU云服务器使用教程、运行YOLOV5项目并连接到本地VSCode(Pycharm)

    编程如画,我是panda! 之前已经教过大家如何在自己的电脑中配置Pytorch深度学习环境,但是有些小伙伴没有英伟达的GPU,所以用CPU的话训练模型会比较慢,所以这次出一期使用GPU云服务器的教程。 码字不易,如果对各位有帮助,希望点赞收藏加关注哦~ 目录 前言 一、服务器

    2024年01月17日
    浏览(63)
  • 【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

    目录 一.前言 二.准备工作 1.注册Google drive(谷歌云盘) Google Driver官网:https://drive.google.com/drive/ Colab官网:https://colab.research.google.com/ 2.上传项目文件 3.安装Colaboratory 4.colab相关操作和命令 5.项目相关操作  三.异常处理         本文介绍了在谷歌开放平台Google colab上租用免

    2023年04月08日
    浏览(52)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包