目录
一.前言
二.准备工作
1.注册Google drive(谷歌云盘)
Google Driver官网:https://drive.google.com/drive/
Colab官网:https://colab.research.google.com/
2.上传项目文件
3.安装Colaboratory
4.colab相关操作和命令
5.项目相关操作
三.异常处理
一.前言
本文介绍了在谷歌开放平台Google colab上租用免费GPU训练自己的模型,colab的使用类似于juputer notebook,不过colab基本不需要配置环境,提供了主流的深度学习框架,如pytorch、TensorFlow等,同时也提供了相对应的库如numpy,pandas,基本上可以做到直接使用,若对版本有所要求,可pip安装对应版本的库。
二.准备工作
1.注册Google drive(谷歌云盘)
因为整个流程是在Google的平台上进行的,所以科学上网必不可少。其次需要准备谷歌账号注册Google drive,需此作为自己项目的传输媒介。
Google Driver官网:https://drive.google.com/drive/
Colab官网:https://colab.research.google.com/
登录自己的谷歌账号注册谷歌云盘:
注册后,谷歌云盘自带15G容量的免费空间:
2.上传项目文件
点击左侧“新建”——“文件夹”——“demo”(例子),然后上传自己的项目文件,右击空白上传和从系统文件夹拖拽的方式均可,最好将项目文件压缩上传,由于网速原因,直接上传文件夹,里面的文件很大几率漏传,特别是数据集中的图片和标签漏传,想将其重新补传进去是一件很头疼的问题,本文以压缩包zip格式为例。
对其压缩包最好不要用谷歌云盘自带的解压工具,速度很慢。。。非常慢!
3.安装Colaboratory
“新建”——“更多”——“关联更多应用”,搜索“Colaboratory”,然后按照提示进行安装。过程中可能需要再次登录谷歌账号,乃至输入安全验证码,验证码一般为10位数字,可以登录谷歌邮箱在账户管理中查询到。
“新建”——“更多”——“Google Colaboratory”,创建文本。
4.colab相关操作和命令
接着进入colab后,便可以看到类似于jupyter的编程笔记本,不同的是colab自带配置好的环境,可将其左上方改为自己的所需名称,例如:“demo”。
点击上侧工具栏“代码执行程序”——“更改运行时类型”,及可以选择所需硬件“GPU/TPU”
然后就和jupyter notebook使用方法类似了,由于本文是介绍用GPU训练模型,可以首先输入以下命令查看GPU信息:
!nvidia-smi # 查看显卡信息
并shift+Enter执行操作命令:
紧接着我们需要挂载我们的Google drive 才能载入我们的项目文件,输入如下命令:
from google.colab import drive
drive.mount('/content/drive')
并运行,出现如下提示:
5.项目相关操作
若之前在云盘中上传的是项目压缩包,则需要以下命令对其压缩包进行解压:(tip:可点击左侧文件夹标志,出现文件夹可视化树状图,右击快速复制文件夹或文件所在路径)
!unzip -uq "/content/drive/MyDrive/demo/yolov5-master.zip" -d "/content/drive/MyDrive/demo"
# !unzip -uq "压缩包所在路径" -d "解压目标文件夹路径"
解压完成后,执行如下命令进入项目文件夹:
%cd /content/drive/MyDrive/demo/yolov5-master
# %cd 项目文件所在路径
注意这里是 % 不是 !
进入指定文件夹后出现类似如下结果:
如下命令可展示当前路径下所有文件夹及文件:
!ls # 展示当前路径文件列表
若该项目还需继续修改配置或参数,也可以直接双击左侧文件夹路径中文件进行修改,特别是项目中很多路径问题,建议上传项目前,已知路径均修改为项目的相对路径;若为完整可执行项目,我们就到了最后一步执行了:
!python train.py # !python 要执行的py文件
等待训练完成即可。
三.异常处理
在训练过程中可能会遇到很多情况,如很多训练中断问题,如:
colab运行到12小时,或者没有及时完成规定的人机认证都会断开连接,断开之后可执行如下命令继续训练:
!python train.py --resume
例如yolov5,可将其项目中train.py里的参数"--resume" 改为True,系统将最后一次训练得到的exp文件夹中的权重视还将继续训练,则会接着训练上次训练剩下的epoch。
文章来源:https://www.toymoban.com/news/detail-404550.html
parser.add_argument('--resume', nargs='?', const=True, default=True, help='resume most recent training')
使用F12或者Ctrl+Shift+I 可以进入浏览器终端,输入以下代码后Enter,将会间隔一段时间对浏览器做出响应操作。文章来源地址https://www.toymoban.com/news/detail-404550.html
function ClickConnect(){
console.log("Working");
document.querySelector("colab-toolbar-button#connect").click()
}
setInterval(ClickConnect,60000)
到了这里,关于【colab】谷歌colab免费服务器训练自己的模型,本文以yolov5为例介绍流程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!