【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

这篇具有很好参考价值的文章主要介绍了【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

目录

一.前言

二.准备工作

1.注册Google drive(谷歌云盘)

Google Driver官网:https://drive.google.com/drive/

Colab官网:https://colab.research.google.com/

2.上传项目文件

3.安装Colaboratory

4.colab相关操作和命令

5.项目相关操作 

三.异常处理


一.前言

        本文介绍了在谷歌开放平台Google colab上租用免费GPU训练自己的模型,colab的使用类似于juputer notebook,不过colab基本不需要配置环境,提供了主流的深度学习框架,如pytorch、TensorFlow等,同时也提供了相对应的库如numpy,pandas,基本上可以做到直接使用,若对版本有所要求,可pip安装对应版本的库。

二.准备工作

1.注册Google drive(谷歌云盘)

        因为整个流程是在Google的平台上进行的,所以科学上网必不可少。其次需要准备谷歌账号注册Google drive,需此作为自己项目的传输媒介。

Google Driver官网:https://drive.google.com/drive/

Colab官网:https://colab.research.google.com/

登录自己的谷歌账号注册谷歌云盘:

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程 注册后,谷歌云盘自带15G容量的免费空间:

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程                                                【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

2.上传项目文件

        点击左侧“新建”——“文件夹”——“demo”(例子),然后上传自己的项目文件,右击空白上传和从系统文件夹拖拽的方式均可,最好将项目文件压缩上传,由于网速原因,直接上传文件夹,里面的文件很大几率漏传,特别是数据集中的图片和标签漏传,想将其重新补传进去是一件很头疼的问题,本文以压缩包zip格式为例。

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 对其压缩包最好不要用谷歌云盘自带的解压工具,速度很慢。。。非常慢!

3.安装Colaboratory

        “新建”——“更多”——“关联更多应用”,搜索“Colaboratory”,然后按照提示进行安装。过程中可能需要再次登录谷歌账号,乃至输入安全验证码,验证码一般为10位数字,可以登录谷歌邮箱在账户管理中查询到。

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 “新建”——“更多”——“Google Colaboratory”,创建文本。

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 

4.colab相关操作和命令

        接着进入colab后,便可以看到类似于jupyter的编程笔记本,不同的是colab自带配置好的环境,可将其左上方改为自己的所需名称,例如:“demo”。

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 点击上侧工具栏“代码执行程序”——“更改运行时类型”,及可以选择所需硬件“GPU/TPU”

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 然后就和jupyter notebook使用方法类似了,由于本文是介绍用GPU训练模型,可以首先输入以下命令查看GPU信息:

!nvidia-smi # 查看显卡信息

shift+Enter执行操作命令:【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

紧接着我们需要挂载我们的Google drive 才能载入我们的项目文件,输入如下命令:

from google.colab import drive
drive.mount('/content/drive')

并运行,出现如下提示:

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

5.项目相关操作 

        若之前在云盘中上传的是项目压缩包,则需要以下命令对其压缩包进行解压:(tip:可点击左侧文件夹标志,出现文件夹可视化树状图,右击快速复制文件夹或文件所在路径)

!unzip -uq "/content/drive/MyDrive/demo/yolov5-master.zip" -d "/content/drive/MyDrive/demo"
# !unzip -uq "压缩包所在路径" -d "解压目标文件夹路径"

 解压完成后,执行如下命令进入项目文件夹:

%cd /content/drive/MyDrive/demo/yolov5-master
# %cd 项目文件所在路径

注意这里是 % 不是 

进入指定文件夹后出现类似如下结果:

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 如下命令可展示当前路径下所有文件夹及文件:

!ls # 展示当前路径文件列表

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

 若该项目还需继续修改配置或参数,也可以直接双击左侧文件夹路径中文件进行修改,特别是项目中很多路径问题,建议上传项目前,已知路径均修改为项目的相对路径;若为完整可执行项目,我们就到了最后一步执行了:

!python train.py # !python 要执行的py文件

等待训练完成即可。

三.异常处理

        在训练过程中可能会遇到很多情况,如很多训练中断问题,如:

colab运行到12小时,或者没有及时完成规定的人机认证都会断开连接,断开之后可执行如下命令继续训练:

!python train.py --resume

        例如yolov5,可将其项目中train.py里的参数"--resume" 改为True,系统将最后一次训练得到的exp文件夹中的权重视还将继续训练,则会接着训练上次训练剩下的epoch。

【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程

parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')

 使用F12或者Ctrl+Shift+I 可以进入浏览器终端,输入以下代码后Enter,将会间隔一段时间对浏览器做出响应操作。文章来源地址https://www.toymoban.com/news/detail-404550.html

function ClickConnect(){
console.log("Working"); 
document.querySelector("colab-toolbar-button#connect").click() 
}
setInterval(ClickConnect,60000)

到了这里,关于【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【ngrok】自己服务器简单搭建钉钉ngrok和一些免费内网穿透

    如没有自己的服务器,可以购买阿里云的这个,99一年3M带宽不限流量,不限流量这点我真的是大爱啊! 我看好多ngrok都是10元一个月,而且就给一个端口,自己搭建可以用无数端口关键还可以自己玩个服务器!美滋滋! https://github.com/fatedier/frp/releases 执行以下命令,下载frp工

    2024年01月17日
    浏览(41)
  • 租服务器训练深度学习模型

    推荐用AutoDL(便宜、功能强大、gug少、有时时客服解决问题) AutoDL算力云 | 弹性、好用、省钱。租GPU就上AutoDL 学生可以认证,享受会员价 服务器需要登录后先充值,先充个10元,接下来试试看。每次都是开机使用完关机后扣费,可以选择按量,超级划算,按小时扣费。 (租之

    2024年02月09日
    浏览(59)
  • 谷歌Colab 免费运行pytorch

    无论您是一名学生、数据科学家还是 AI 研究员,Colab 都能够帮助您更轻松地完成工作。 Colaboratory 简称“Colab”,是Google Research 团队开发的一款产品。 在Colab 中,任何人都可以通过浏览器编写和执行任意Python 代码。 它尤其适合机器学习、数据分析和教育目的。 从技术上来说

    2024年02月05日
    浏览(36)
  • 使用网上服务器(AutoDL)训练模型

    ①请把数据集放到名为dataset文件夹下;②数据集请压缩,后缀名为.zip;③点击确定 ①请把代码放到名为coad文件夹下;②代码请压缩,后缀名为.zip;③点击确定 下面我们有两个压缩包。 https://www.autodl.com/register?code=e0ab7117-bd25-4480-8184-5953048a2502 ①打开界面。 ②注册用户会有

    2024年02月02日
    浏览(46)
  • 本地连接服务器使用GPU训练模型

    直接运行上面的文件,然后输入密码,这密码不是服务器的密码,但是可以直接连接到服务器上面,这个东西是什么?好厉害,居然可以跳过去服务器的账号密码 我本来想忽略一些不需要上传文件,但是无法成功忽略,scp好像不支持 下面这个命令是从服务器上面传输数据到

    2024年02月07日
    浏览(48)
  • 手把手教你租用服务器以及使用Pycharm远程连接服务器训练模型

    由于模型优化过后训练时间太长,所以想使用显卡或者租服务器进行训练,but显卡太贵(只有A卡),那就租服务器好了,开始了解怎么租,去哪租一系列问题,果然只要开始思考,就是一个接一个的困难,直接被击碎。终于找到了AutoDL,美美的开始租服务器,结果又绊在了选

    2024年02月10日
    浏览(54)
  • 试用阿里云GPU服务器进行深度学习模型训练

    最近在用PyTorch时发现在本地训练模型速度一言难尽,然后发现阿里云可以白嫖gpu服务器,只要没有申请过PAI-DSW资源的新老用户都可以申请5000CU*H的免费额度,三个月内有效。 阿里云免费试用活动页面 一、申请试用并创建实例 点击试用,完成注册、实名、领取产品,然后前往

    2024年04月17日
    浏览(52)
  • 集群服务器GPU深度模型训练笔记(PBS作用调度系统)

    用户手册:https://hpc.sustech.edu.cn/ref/cluster_User_Manual.pdf 培训视频:https://hpc.sustech.edu.cn/ref/meeting_20230810.mp4 启明2.0使用手册:https://hpc.sustech.edu.cn/ref/qiming_User_Manual_v3.0.pdf Anaconda官方教程:https://hpc.sustech.edu.cn/ref/anaconda-install-by-user.html FileZilla传输数据 filezilla是一款用于与远程服

    2024年01月16日
    浏览(43)
  • 必看新手教程!一篇就够!pycharm链接云服务器--yolov5 yolov7训练自己的数据集(矩池云)

    趁着寒假期间稍微尝试跑了一下yolov5和yolov7的代码,由于自己用的笔记本没有独显,台式机虽有独显但用起来并不顺利,所以选择了租云服务器的方式,选择的平台是矩池云(价格合理,操作便捷) 需要特别指出的是,如果需要用pycharm链接云服务器训练,必须要使用pycharm的

    2024年02月03日
    浏览(44)
  • 如何查看服务器各项指标的配置-具体指令-服务器配置参数详解-大模型训练推荐配置单服务器和服务器之间显卡直通叠加扩容

    要查看服务器的各项组件配置,您可以执行以下步骤: 操作系统信息 : 使用命令 uname -a (Linux/Unix)或 systeminfo (Windows)来查看操作系统的版本和内核信息。 CPU 信息 : 在Linux/Unix系统上,运行 lscpu 命令来查看CPU的详细信息。 在Windows系统上,您可以使用 wmic cpu get caption 命

    2024年02月09日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包