使用Kaggle训练模型的记录

这篇具有很好参考价值的文章主要介绍了使用Kaggle训练模型的记录。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

由于自己手头没有GPU资源,所以只能靠免费的GPU勉强做实验。之前使用的是Google Colab,但是用多用久了以后,就特别容易断,断开以后,基本上就寄了。所以又转向了Kaggle。Kaggle的好处就在于不用fq就能上传文件、运行代码,所以更稳定一点,目前我没有遇到跑着跑着突然断了的情况。这篇博客就记录下使用Kaggle的问题。

Q1:如何上传在本地写好的文件和代码?

A1:Kaggle中将你想上传的文件都视为Data,所以在Data这边点击这个上传的图标,输入Data的名字,将本地文件(文件、文件夹等)拖拽到对话框中,点击创建,就可以完成文件的上传。

使用Kaggle训练模型的记录

 使用Kaggle训练模型的记录

 创建完成以后,就可以在右侧的Input中看到上传的文件:

使用Kaggle训练模型的记录

Q2:如何运行上传的文件?

A2:有两种情况:

① 想在 Notebook的cell中导入上传文件中的函数、类等。

需要先创建一个cell,加入Input的路径,代码如下:

import sys

sys.path.append('../input/mytest')

运行完以后就可以正常写 import语句了。假设test1文件中有一个Test类,则直接写:

from test1 import Test

② 想直接运行上传的py文件。

那就视为命令行运行py文件,需要在命令前面加一个英文的 !。比如,直接运行test1,就直接在cell中输入:

!python /kaggle/input/mytest/test1.py

想快速知道文件的路径也很简单,用鼠标点击文件名后的粘贴按钮即可:

使用Kaggle训练模型的记录

Q3:如何更新上传的文件?

A3:

点击左侧的Datasets

使用Kaggle训练模型的记录

 之后再点击Your work,找到刚才建立的Data,点进去

使用Kaggle训练模型的记录

 点击右上角的New version

使用Kaggle训练模型的记录

 还是像刚才一样,将新的文件拖拽进来就可以了。

使用Kaggle训练模型的记录

这边会出现一个问题,就是如何将新文件上传到文件夹中(比如图中的test文件夹)。如果直接将文件拖拽进来,会保存在根目录下,且无法移动。我的解决方法是,在本地就建好同名的文件夹,将要上传的文件放进去,再将整个文件夹上传,之后Kaggle会自动合并同名文件夹。

之后,回到刚才的Notebook,在右侧Input这边点击Check for updates,就能更新成最新的文件了。

使用Kaggle训练模型的记录

Q4:如何输出文件?

A4:所有的输出文件都会保存在Output中,可以下载到本地查看。

如果是要在代码中写入文件,则需要在你本来的路径前加上"../working"

with open('../working/output.txt', 'w') as f:
    f.write('Hello!')

 右侧的Output就生成了对应的文件:

使用Kaggle训练模型的记录

Q5:如何更新包的版本?

A5:以Transformers为例,我写博客的时候,内置版本是4.20.1。

使用Kaggle训练模型的记录

但是我想更新到最新的版本,则使用命令:

! pip install --upgrade transformers

 注意这里有一个坑。更新完以后,我使用

!pip list

查看transformers的版本,已经成功更新到最新版本。但是我再次运行这段代码

使用Kaggle训练模型的记录

 它依然是之前的版本,并没有更新。

解决方法是在右侧Settings找到ENVIRONMENT,选择下面的Always use latest environment。

使用Kaggle训练模型的记录

Q6:如何后台运行程序?

A6:在Notebook中,点击右上角的Save Version。

使用Kaggle训练模型的记录

再选择Save&Run All。

使用Kaggle训练模型的记录 此时就会在左下角看到程序后台运行的记录了,跑完以后可以去查看log和下载输出文件。

有一个坑就是后台运行时间上限是12个小时,到点自动断开,所以超过12小时的程序最好分开运行或者选择别的平台。文章来源地址https://www.toymoban.com/news/detail-442687.html

到了这里,关于使用Kaggle训练模型的记录的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [玩转AIGC]如何训练LLaMA2(模型训练、推理、代码讲解,并附可直接运行的kaggle连接)

    Llama 2,基于优化的 Transformer 架构,是Meta AI正式发布的最新一代开源大模型,一系列模型(7b、13b、70b)均开源可商用,效果直逼gpt3.5。 下面我们来介绍如何使用Llama 2来训练一个故事生成模型。 如果迫不及待想爽一把先,请直接跳到这里,可直接运行:llama2-c, 学习不就是

    2024年02月12日
    浏览(51)
  • 【pytorch】目标检测:一文搞懂如何利用kaggle训练yolov5模型

    笔者的运行环境:python3.8+pytorch2.0.1+pycharm+kaggle。 yolov5对python和pytorch版本是有要求的,python=3.8,pytorch=1.6。yolov5共有5种类型nslmx,参数量依次递增,对训练设备的要求也是递增。本文以yolov5_6s为切入点,探究yolov5如何在实战种运用。 roboflow是一个公开数据集网站,里面有很

    2024年02月12日
    浏览(50)
  • 深度学习-yolo-fastestV2使用自己的数据集训练自己的模型

    虽然说yolo-fastestV2在coco数据集上map只达到了24.1,但是应付一些类别少的问题还是可以的。主要是这个速度是真的香!简单来说就是一个快到飞起的模型。 github地址如下:yolo-fastestV2 yolo-fastestV2采用了轻量化网络shufflenetV2为backbone,笔者在这里就不详解yolo-fastestV2了,只讲怎么

    2024年02月06日
    浏览(51)
  • Yolov8改进模型后使用预训练权重迁移学习训练自己的数据集

    yolov8 github下载 1、此时确保自己的数据集格式是yolo 格式的(不会的去搜教程转下格式)。 你的自制数据集文件夹摆放 主目录文件夹摆放 自制数据集data.yaml文件路径模板 2、把data.yaml放在yolov8–ultralytics-datasets文件夹下面 3、然后模型配置改进yaml文件在主目录新建文件夹v8_

    2024年02月06日
    浏览(51)
  • 【3】使用YOLOv8训练自己的目标检测数据集-【收集数据集】-【标注数据集】-【划分数据集】-【配置训练环境】-【训练模型】-【评估模型】-【导出模型】

    云服务器训练YOLOv8-新手教程-哔哩哔哩 🍀2023.11.20 更新了划分数据集的脚本 在自定义数据上训练 YOLOv8 目标检测模型的步骤可以总结如下 6 步: 🌟收集数据集 🌟标注数据集 🌟划分数据集 🌟配置训练环境 🌟训练模型 🌟评估模型 随着深度学习技术在计算机视觉领域的广泛

    2023年04月15日
    浏览(85)
  • Stable Diffusion:使用自己的数据集微调训练LoRA模型

    由于本人水平有限,难免出现错漏,敬请批评改正。 更多精彩内容,可点击进入YOLO系列专栏、自然语言处理 专栏或我的个人主页查看 基于DETR的人脸伪装检测 YOLOv7训练自己的数据集(口罩检测) YOLOv8训练自己的数据集(足球检测) YOLOv5:TensorRT加速YOLOv5模型推理 YOLOv5:I

    2024年02月12日
    浏览(84)
  • TensorFlow学习:使用官方模型和自己的训练数据进行图片分类

    教程来源:清华大佬重讲机器视觉!TensorFlow+Opencv:深度学习机器视觉图像处理实战教程,物体检测/缺陷检测/图像识别 注: 这个教程与官网教程有些区别,教程里的api比较旧,核心思想是没有变化的。 上一篇文章 TensorFlow学习:使用官方模型进行图像分类、使用自己的数据

    2024年02月08日
    浏览(47)
  • Transformers实战——使用Trainer类训练和评估自己的数据和模型

    有时候我们并不想使用 Transformers 来训练别人的预训练模型,而是想用来训练自己的模型,并且不想写训练过程代码。这时,我们可以按照一定的要求定义数据集和模型,就可以使用 Trainer 类来直接训练和评估模型,不需要写那些训练步骤了。 使用 Trainer 类训练自己模型步骤

    2024年02月14日
    浏览(42)
  • windows使用YOLOv8训练自己的模型(0基础保姆级教学)

    目录 前言 一、使用labelimg制作数据集 1.1、下载labelimg 1.2、安装库并启动labelimg 1.4、制作YOLO数据集 二、使用YOLOv8训练模型 2.1、下载库——ultralytics (记得换源) 2.2、数据模板下载 2.3、开始训练 1、启动train.py,进行训练 2、我们可以直接使用命令进行训练 三、其他问题 1、训

    2023年04月16日
    浏览(51)
  • 手把手教你用Yolov5 (v6.2) 训练分类模型 基于《Kaggle猫狗大战》案例

    在8月17日晚上, YOLOv5 官方发布了 v6.2 版本, v6.2 版本支持分类模型训练、验证、预测和导出; v6.2 版本的推出使得训练分类器模型变得超级简单! 下一个版本 v6.3 计划于9月发布,将为 YOLOv5 带来官方实例分割支持,今年晚些时候将发布一个主要的 v7.0 版本,更新所有3个任务

    2024年01月18日
    浏览(57)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包