工具推荐-Colab介绍与使用方法

这篇具有很好参考价值的文章主要介绍了工具推荐-Colab介绍与使用方法。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

工具推荐-Colab介绍与使用方法

之所以能够接触到Colab,是由一位好朋友的推荐,首先得先感谢他安利了这么好的一个东西,哈哈哈!我先浅聊一下我目前对这个Colab的理解吧,我认为它就相当于一台云主机,由Google 云端硬盘作为存储地,所以首先得要有Google 云端硬盘,它可以在Google硬盘上面搭建起来,然后可以在文件夹下新建像Jupyter里面那样的notebook文件,关联Colab,可以运行代码了。

为什么说它好呐?对于我来说,我的Anaconda安装在了C盘,学习深度学习等方面的东西时,C盘存储空间在不断地减少,而且下载一些库文件和安装包,都必须在C盘,这样本就不富裕的家庭又雪上加霜,哈哈哈哈!而用这个Colab,我就不用把文件都存储在本机了,感觉可以跟Anaconda说拜拜了。同时这个玩意儿还有一个听起来很厉害的东西,就是可以将代码运行设置为GPU模式(硬盘会分配很厉害的GPU),运行数据集会相当的快!之前我训练数据集,本机上运行的特别慢,每次都要等,这玩意我刚入门,我试了试安装tensorflow,真的运行很快啊!一些强大的功能目前还没有机会尝试,安装完就来写这篇文章了,以后如果遇到什么问题,会再更新这方面的内容。

我忙活了了一下午加一晚上,总算初步入门,同时走了一些弯路,想记录下来以帮助更多的朋友!

Colab是什么?

  1. Google Colab 是一个免费的云服务并支持免费的 GPU
  2. Colab 是Google的且服务器在国外

只需要在 Google Drive 上,安装 colab 即可使用。如果需要上传数据,可以上传到 Google Drive 上,并在 colab 中挂载,就可以直接访问。

显卡:V100、P100、T4 等训练主流显卡,显存 16 G。

磁盘存储:15 G,可使用 Google Drive 扩容。

时间限制:每次 12 个小时。

但是它有明显的问题,需要梯子,毕竟是 Google 的产品。

Colab的基本配置

1、搜索谷歌云硬盘(https://www.google.com/intl/zh-CN/drive/),点击“转至Google云端硬盘”

工具推荐-Colab介绍与使用方法

2、使用谷歌账号登陆(没有账号的可以自行注册)

工具推荐-Colab介绍与使用方法

3、安装Colab

按下图右击->更多->关联更多应用

工具推荐-Colab介绍与使用方法

4、搜索Colab,并添加(按下图步骤安装)

工具推荐-Colab介绍与使用方法

5、安装成功后(右击->更多)发现有一个Colaboratory

工具推荐-Colab介绍与使用方法

6、使用Colab

在 Google Drive 上创建文件夹,这是我的文件夹目录,创建分级文件夹就是为了更好的管理你的代码文件。

工具推荐-Colab介绍与使用方法

7、初步测试代码

点击进入你想放代码的文件夹里面,右击页面的空白处,点击More->Google ColaBoratory,接下来就会看到你熟悉的界面了

工具推荐-Colab介绍与使用方法

工具推荐-Colab介绍与使用方法

然后可以笔记本设置(设置为GPU)

工具推荐-Colab介绍与使用方法

工具推荐-Colab介绍与使用方法

8、装载谷歌云

​ 点击左侧文件夹(查看目录),等待右侧连接状态为已连接,最后点击装载谷歌云硬盘

工具推荐-Colab介绍与使用方法

装载完成之后(继续点击左侧文件夹),会发现多了一个drive目录(drive/My Drive/Colab)其中的Colab就是我们刚刚创建的文件夹,Colab文件夹下的是我们的项目文件。

工具推荐-Colab介绍与使用方法

我不太清楚装载云端硬盘是什么意思,也不清楚为什么这么做,我在网上搜索说的是,谷歌硬盘和colab是分开的,我们需要将硬盘挂载到colab上面,优点:在colab中就可以直接读写google drive的目录,模型可以直接保存在dirve上非常方便。还是不太懂。。。。不过应该是有好处的吧。。。

9、使用Colab

查看当前脚本目录(!ls)点击运行

工具推荐-Colab介绍与使用方法

进入项目

import os
path = "/content/drive/My Drive/Colab/Notebooks/17.yoloV3"
os.chdir(path)

测试我项目里的数据集,至于我是如何把数据集上传到Google 云端硬盘的,请接着看看下去!

from dataset.vocdata_tfrecord import load_labels,write_to_tfrecord
import os

发现可以运行成功

工具推荐-Colab介绍与使用方法

实际上我喜欢直接在项目的当下目录,新建一个Colab关联的文件,也就是那个写代码的文件,然后运行以下代码

# 加载盘
from google.colab import drive
drive.mount('/content/drive/')
# 指定当前的工作文件夹
import os
# 此处为google drive中的文件路径,drive为之前指定的工作根目录,要加上
os.chdir("/content/drive/My Drive/Colab/Notebooks/17.yoloV3") 

安装一些库的命令行,例如安装pytorch

Colab 一般情况下已经自带了pytorch环境了。若没有可以进行相应的安装:

!pip install torch torchvision  # 在Colab中执行操作语句时,感叹号不能漏

安装tensorflow也是类似的。

到此基本上算是入门Colab了, 明天我就可以用它运行我的代码了,再也不用本机的Jupyter,哈哈哈!

遇到的麻烦解决

解决colab上传数据集慢的问题

前面别看似我挺顺利的,实际上我下午加晚上大部分时间都浪费在这上面了,从本地上传到Google 云端硬盘太慢了,不建议直接上传,同时建议先把上传到文件夹打成压缩包的形式,接下来我将讲一讲怎么上传比较快。

1、将文件先上传到OneDrive上

不建议用网页版的OneDrive,光是上传文件就贼慢贼慢(估计是文件上传和同步一起来),直接用电脑自带的OneDrive

工具推荐-Colab介绍与使用方法

将压缩文件复制到文档这个文件夹下面,我的这个压缩包有1个G,复制的速度很快,接下来就是同步,建议找个网速快的地方,学校的校园网我发现是真滴慢,我用流量同步的,心疼1个G的流量。。。。

工具推荐-Colab介绍与使用方法

接下来这个OneDrive小窗口,就会显示让你同步,耗费流量的。。。速度也还行!

工具推荐-Colab介绍与使用方法

最后利用MultCloud拓展程序,将文件从OneDrive上传到Google 云端硬盘上,直接加到Google浏览器的拓展程序就好,在应用商店下载

工具推荐-Colab介绍与使用方法

进去之后界面是这样的,点击Add Cloud

工具推荐-Colab介绍与使用方法

将Google Drive和OneDrive都添加进来,然后点击Cloud Transfer,左边是OneDrive的文件目录,右边是Google Drive文件目录

工具推荐-Colab介绍与使用方法

最后点击Transfer Now ,这个速度非常地块,大功造成!

工具推荐-Colab介绍与使用方法

然后就可以在你的Google 云端硬盘的目录下看到你的文件了,不过别高兴太早,这还只是压缩包,还没解压类,解压也弄的我差点自闭。。。。

解压:首先挂载好谷歌云盘,我就是这一步没做,然后运行别人写的解压命令,一直都是找不到本地目录,真的要自闭了。。。因为他们的解压代码文件路径都有/content/drive/My Drive开头,我没有挂载是肯定没有这个drive文件目录。。。。所以一直会报错!

import os
from google.colab import drive
drive.mount('/content/drive')

path = "/content/drive/My Drive"

os.chdir(path)
os.listdir(path)

然后运行下面的代码,文件目录和输出目录都按照你自己的就好了,最后显示成功运行

!pip install pyunpack
!pip install patool
from pyunpack import Archive
Archive('/content/drive/My Drive/Colab/Notebooks/yoloV3.rar').extractall('/content/drive/My Drive/Colab/Notebooks')

工具推荐-Colab介绍与使用方法

我的云端硬盘里也有了这个文件夹,最后的压缩包没用给删了。

工具推荐-Colab介绍与使用方法

google云端硬盘无法连接到代码执行程序。

这个是我设置计算机为GPU模式的时候一直遇到的,不知道为啥,可能是不想让我用吧,我一般都默默的换成None。。。。

参考文章

我看了很多的博客文章,最终终于完成了Colab的入门,希望我写的文章能对您有所帮助,如果对我写的东西还不太理解,可以康康这些参考文章!看到这里了,不妨来个赞吧,哈哈哈哈!

https://mp.weixin.qq.com/s/zYU3RY6dgH4pCWyW-WCRwQ 教白嫖gpu服务器

https://zhuanlan.zhihu.com/p/54389036 苦逼学生党的Google Colab使用心得
https://blog.csdn.net/qq_36890370/article/details/106160805 Colab使用教程
https://www.cnblogs.com/zgqcn/p/11186406.html colab实用教程
https://www.freesion.com/article/42081149133/ 解决colab上传数据集慢的问题

如何使用Google Colab 在线解压GoogleDrive里的RAR ZIP等压缩包https://www.uud.me/qiwenzalun/colab-unzip-unrar.html
Colab如何解压rar和zip文件https://blog.csdn.net/weixin_42870380/article/details/114731820

最后google云端硬盘无法连接到代码执行程序。文章来源地址https://www.toymoban.com/news/detail-439711.html

到了这里,关于工具推荐-Colab介绍与使用方法的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【APP渗透测试】Android APK常用测试工具(Drozer)安装及使用方法介绍

    本篇文章主要介绍 Drozer Android测试工具的安装以及简单使用,后续会持续更新更多使用方法。 Drozer 是 MWR Labs 开发的一款Android安全测试框架。是目前最好的Android安全测试工具之一。其官方文档说道: Drozer允许你一个普通Android应用的身份与其他应用和操作系统交互。 在Web世界

    2024年02月16日
    浏览(34)
  • 快速、准确地检测和分类病毒序列分析工具 ViralCC的介绍和详细使用方法, 附带应用脚本

    viralcc是一个基因组病毒分析工具,可以用于快速、准确地检测和分类病毒序列。 github:dyxstat/ViralCC: ViralCC: leveraging metagenomic proximity-ligation to retrieve complete viral genomes (github.com)  Instruction of reproducing results in ViralCC paper:dyxstat/Reproduce_ViralCC: Instruction of reproducing results in ViralCC

    2024年01月24日
    浏览(34)
  • 怎么进行视频恢复?推荐使用这4种方法

    电脑视频怎么恢复?很多朋友在使用电脑的过程中,如果系统或者是存储文件出现问题的话,可能会出现视频丢失的情况。因为在使用电脑运行视频软件时,系统或者存储文件存在一些质量问题从而导致视频丢失。那么想要进行视频恢复,我们需要一些方法去对其进行恢复,

    2024年02月04日
    浏览(30)
  • PCB封装下载网站推荐及其详细使用方法

    本文汇总了当下比较流行的几个原理图符号,PCB封装与对应的3D模型下载网站,网站均支持多种流行的EDA软件,如AD, Cadence, PADS等。 因为我使用的是Cadence,版本是16.6和17.4,对应的原理图工具是Orcad,PCB工具是Allegro,所以在使用网站时均以Cadence为示例。 当下最流行的三个PC

    2024年02月05日
    浏览(84)
  • 机器学习中高维组合特征的处理方法+推荐系统使用矩阵分解为用户推荐的原理解析,《百面机器学习》学习笔记

    为了提高复杂关系的拟合能力,在特征工程中经常会把一阶离散特征进行组合,构成高阶组合特征。 假设有A B两组特征,C为受到A B两种特征影响的因素,且对特征A来说,其有 A i , i ∈ [ 0 , 1 ] {A^i,iin [0,1]} A i , i ∈ [ 0 , 1 ] 两种特征取值。同时,对于特征B来说,其有 B j , j ∈

    2024年02月05日
    浏览(34)
  • valgrind基本功能介绍、基础使用方法说明 valgrind基本功能介绍、基础使用方法说明

    valgrind基本功能介绍、基础使用方法说明_valgrind使用方法_HNU Latecomer的博客-CSDN博客 拷贝效果不好,请看原文。 1、Valgrind概述 Valgrind是一套Linux下,开放源代码(GPL V2)的仿真调试工具的集合。 Valgrind由内核(core)以及基于内核的其他调试工具组成。内核类似于一个框架(f

    2024年02月07日
    浏览(50)
  • Selenium介绍及基本使用方法

    Selenium是一个开源、免费、简单、灵活,对Web浏览器支持良好的自动化测试工具,在UI自动化、爬虫等场景下是十分实用的,能够熟练掌握并使用Selenium工具可以大大的提高效率。 Selenium简介 Selenium支持多平台、多浏览器、多语言去实现自动化测试,是一个开源和可移植的Web测

    2024年02月04日
    浏览(37)
  • Python组合模式介绍、使用方法

    概念: 组合模式(Composite Pattern)是一种结构型设计模式,它通过将对象组合成树状结构来表示“整体/部分”层次结构,让客户端可以以相同的方式处理单个对象和组合对象。 功能: 统一对待组合对象和叶子对象 方便添加/删除节点 简化客户端代码 优点: 可以更方便地添加

    2024年02月15日
    浏览(38)
  • Python策略模式介绍、使用方法

    Python策略模式(Strategy Pattern)是一种软件设计模式,用于通过将算法封装为独立的对象,而使得它们可以在运行时动态地相互替换。该模式使得算法的变化独立于使用它们的客户端,从而达到代码的可扩展性、灵活性和可维护性。 功能: 1.将不同算法进行抽象和封装,使得

    2024年02月15日
    浏览(53)
  • 串口debug工具使用方法

    串口debug使用方法   一、硬件连接方式 (1)USB A to B线,连接PC和debug小板。 (2)HDMI线,连接debug小板和TV HDMI串口。 注意:不需要VGA线及VGA-HDMI转接板。  二、使用方法 小板上有选择串口pin脚的拨动开关,看丝印选择。如不确定,可先往外拨。(I2C通信类似) (1)USB线插入

    2024年02月01日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包