如何从Github拿到代码在云服务器跑起来--算力云从零搭建和配置GPU模型环境

这篇具有很好参考价值的文章主要介绍了如何从Github拿到代码在云服务器跑起来--算力云从零搭建和配置GPU模型环境。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

写在前面:在服务器的Linux系统中复制使用Ctrl+shift+C,粘贴使用Ctrl+shift+V

1.首先拿到一份代码先研究他的readme.md也就是说明文档(至关重要),根据说明文档的详细程度可以间接判断代码能否跑起来,或者代码是否靠谱,不然花很多时间研究才发现代码没有可行性。以下我的代码是环境的说明:

 结合我的论文里面说的环境是:由PyTorch实现,并在NVIDIA GeForce RTX 2080 Ti上执行。

搭建gpu算力租赁平台 源码开发,python2.打开算力云网址注册登录

3.租用实例,先根据我们需要的GPU型号,需要的配置环境,其次选地区(北京这种地区容易没有可用实例就得等待),价格。

搭建gpu算力租赁平台 源码开发,python

 4.秉承版本至少高于我的要求的原则,做出以下选择:

搭建gpu算力租赁平台 源码开发,python

5.划重点:配置环境可无卡模式开机!(创建以后自动开机,先关机再无卡模式开机)

搭建gpu算力租赁平台 源码开发,python

6.网页端打开配置环境,下一篇帖子我会讲如何与VScode,PyCharm互动。搭建gpu算力租赁平台 源码开发,python

7.进来以后发现只有原始镜像和一些文件夹:

搭建gpu算力租赁平台 源码开发,python

8.关于数据和文件存储说在前面

文件存储为网络共享存储,可挂载至同一地区的不同实例中。相比本地数据盘,有优有劣:

优势:实例间共享,可以多点读写,不受实例释放的影响;此外存储后端有多冗余副本,数据可靠性非常高(本地数据盘无冗余备份,有一定概率出现磁盘故障影响数据)

劣势:IO性能一般

考虑到以上优劣,推荐使用姿势:将重要数据或代码存放于文件存储中,所有实例共享,便利的同时数据可靠性也有保障;在训练时,需要高IO性能的数据(如训练数据),先拷贝到实例本地数据盘,从本地盘读数据获得更好的IO性能。如此兼顾便利、安全和性能。

 数据量比较大的传输可参考这里使用网盘传输文件存储(在这里我想说得根据帮助文档研究一下数据文件得存储,到时候克隆项目用得着),先在对应的区初始化文件存储,以后在相应地区的区克隆项目才不用重新上传文件:

搭建gpu算力租赁平台 源码开发,python

在配置环境之前我们可用通过文件上传我们的代码和数据集(同步进行节约时间),上传成功后使用命令解压到本地unzip ***.zip

搭建gpu算力租赁平台 源码开发,python

9.打开终端输入conda info -e查看现有的环境:

搭建gpu算力租赁平台 源码开发,python

创建新环境myenv(如果你租用该实例只跑一个代码就在base下也可用,但是个人习惯创建多个小格子环境,互不干扰):conda create --name myenv python=3.7.4,过程中弹出的是否下载输入y

搭建gpu算力租赁平台 源码开发,python

输入conda init重启环境,并关闭shell终端并重新打开

搭建gpu算力租赁平台 源码开发,python

创建环境后,激活它以开始使用:conda activate myenv

搭建gpu算力租赁平台 源码开发,python

运行以下命令来安装所需的软件包:pip install torchvision==0.13.1(pip install torchvision若不指定版本则安装最新版),使用命令查看安装是否成功:python -c "import torchviosion;print('torchvision version:',torchvision._version_)",如图所示发现没有成功:

搭建gpu算力租赁平台 源码开发,python

仔细看刚才的图才发现torch==1.12.1在最后被killed,原因是虚拟机分配的内存不足以安装torch。

搭建gpu算力租赁平台 源码开发,python

通过降低内存安装,在安装命令后面加上--no-cache-dir,输入pip install torch==1.12.1 torchvision==0.13.1 --no-cache-dir

搭建gpu算力租赁平台 源码开发,python

输入pip list查看通过pip命令安装成功的包,安装成功!

搭建gpu算力租赁平台 源码开发,python文章来源地址https://www.toymoban.com/news/detail-849956.html

到了这里,关于如何从Github拿到代码在云服务器跑起来--算力云从零搭建和配置GPU模型环境的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 在云服务器上部署docker

    目录  云服务器的使用场景  登录云服务  安装部署docker环境  docker常用命令 云服务器位于云盘算产业金字塔底层,是支持云盘算应用的基础设施平台;通过集群、虚拟化、智能热迁徙等一系列手艺应用把成千上万台自力服务器整合成一个大的资源池,和带宽、IP等互联网资源

    2024年02月07日
    浏览(43)
  • 在云服务器上安装Jenkins

    说明:Jenkins是一个部署项目的平台,通过Jenkins可以省去从项目开发–部署项目之间的所有流程,做到代码提交即上线。本文介绍在云服务CentOS上安装Jenkins。 安装Jenkins之前,先要在云服务上安装JDK、Maven、Git,安装请参考JDK安装,Maven安装,Git安装。 JDK安装的文章是安装JD

    2024年02月12日
    浏览(46)
  • NTP时钟同步服务器(卫星授时服务)在云计算数据机房的应用

    NTP时钟同步服务器(卫星授时服务)在云计算数据机房的应用 NTP时钟同步服务器(卫星授时服务)在云计算数据机房的应用 1、云计算定义与特点 云计算概念定义 现阶段广为被接受的定义来自于每个国家标准与技术研究院(NIST),如下: 云计算是一种按需交付的资源模式,

    2024年02月04日
    浏览(46)
  • 在云服务器中部署stable diffusion webui教程。

    要在云服务器中部署Stable Diffusion WebUI,你可以按照以下步骤进行操作: 准备环境: 获取一台云服务器,例如使用云服务提供商(如AWS、Azure、阿里云等)创建一个虚拟机实例。 确保服务器的操作系统满足Stable Diffusion WebUI的要求。通常,Linux发行版如Ubuntu或CentOS是常见选择。

    2024年02月13日
    浏览(51)
  • 【超详细!超多图!】【代码管理】Python微信公众号开发(3)- 服务器代码上传Github

    前面的文章我们搭建了微信公众号开发的服务器,写了一点代码。后面肯定会对代码不断的完善和迭代,那怎样维护这些代码呢? 可以通过GitHub进行维护和版本管理。 本文主要带你从0开始构建起服务器和GitHub仓库之间的联系。 本文假设你已经略懂基本的 git 指令: git init

    2024年02月02日
    浏览(76)
  • 在云服务器ECS上用Python写一个搜索引擎

    一台阿里云ECS云服务器就是一台带有公网IP地址的计算机。用户可以通过远程登录使用这台计算机;同时,由于带有公网IP,用户在ECS云服务器上部署的网站、APP、小程序等,可以被其他人通过互联网访问。 本实验应用PageRank算法,使用Python,在一台ECS云服务器上搭建了一个简

    2024年02月03日
    浏览(52)
  • 在云服务器中部署stable diffusion webui的办法

    这里参考了https://github.com/AUTOMATIC1111/stable-diffusion-webui的官方说明。 这里依旧使用conda虚拟环境:(anaconda 为例) 建立虚拟环境:(这里只需python版本大于3.0) 安装stable diffusion: 安装xformers: 或者: 运行: 使用: 我们使用云服务器,无法使用listen直接用本地连接,需要外

    2023年04月08日
    浏览(55)
  • Web安全:拿到 Web 服务器 最高权限.(vulntarget 靶场 1)

    Web 服务器一般指网站服务器,是指驻留于因特网上某种类型计算机的程序,可以处理浏览器等Web客户端的请求并返回相应响应,也可以放置网站文件,让全世界浏览;可以放置数据文件,让全世界下载. Web安全:拿到 Web 服务器 最高权限. 免责声明: 网络环境所示: 主机信息

    2024年02月07日
    浏览(38)
  • 通过azure学生认证拿到一年服务器使用权

    通过azure学生认证 因为国内备案被迫找其他服务器 开始我买了一个华为的服务器,大家都知道,在国内,服务器是需要备案的。如果你备案过的话,就知道这个是非常麻烦的事情。时间久不说。过程也是非常的繁琐。这个繁琐的过程,完全打消了我企图使用域名访问正常访问

    2024年02月09日
    浏览(45)
  • Redis在云服务器上的安装与客户端连接配置

    yum 安装 redis,使用以下命令,直接将 redis 安装到 linux 服务器: yum -y install redis 启动 redis使用以下命令,以后台运行方式启动 redis: redis-server /etc/redis.conf 操作 redis,使用以下命令启动 redis 客户端: redis-cli 具体操作如下图所示: 将 redis 配置文件下载到本地:redis 配置文件

    2024年02月15日
    浏览(75)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包