3 北京超算云计算平台深度学习环境配置笔记

这篇具有很好参考价值的文章主要介绍了3 北京超算云计算平台深度学习环境配置笔记。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

点击链接https://cloud.blsc.cn/进入网页版或下载客户端,使用北京超级云计算中心账号登陆

环境信息加载总结
#!/bin/bash
#加载模块
module load anaconda/2021.05
module load cuda/11.1
module load gcc/7.3
#激活环境
source activate opennmmlab_mmclassification

1.SSH到服务器
点击页面上的SSH进行远程连接,点击连接后进行命令行界面
进入run目录下,run目录下有300G的内存,可以把数据和代码等各种资料存到里面

cd run

3 北京超算云计算平台深度学习环境配置笔记
2. 创建环境
首先在命令行输入,查看预先安装的工具

module avail

3 北京超算云计算平台深度学习环境配置笔记

安装anaconda 2021.05版本

module load anaconda/2021.05

创建一个python环境

conda create --name mmclassification python=3.8

3 北京超算云计算平台深度学习环境配置笔记

激活环境

source activate mmclassification

安装pytorch工具,超算3090显卡支持的最低版本为cuda11.1,要安装cuda11.1以上版本

pip install torch==1.10.0+cu111 torchvision==0.11.0+cu111 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html

3 北京超算云计算平台深度学习环境配置笔记

查看预先安装的工具

module avail

加载cuda/11.1

module load cuda/11.1

3 北京超算云计算平台深度学习环境配置笔记

安装MMCV

pip install mmcv-full==1.7.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.10/index.html

3 北京超算云计算平台深度学习环境配置笔记
安装mmclassification
新建文件夹openmmlab和mmclassification

mkdir openmmlab
mkdir mmclassification

3 北京超算云计算平台深度学习环境配置笔记
进入openmmlab文件夹下载mmclassification

cd openmmlab
git clone https://github.com/open-mmlab/mmclassification.git

3 北京超算云计算平台深度学习环境配置笔记
进入~/run/mmclassification/文件夹下

cd ..
cd mmclassification/

复制~/run/openmmlab/下文件夹mmclassification到当前文件夹下

cp -r ~/run/openmmlab/mmclassification/ ./

3 北京超算云计算平台深度学习环境配置笔记
3 北京超算云计算平台深度学习环境配置笔记然后进入目录里面来,即 ~/run/mmclassification/ mmclassification/目录下

cd mmclassification/

3 北京超算云计算平台深度学习环境配置笔记

查看gcc版本gcc --version
加载gcc/7.3

module load gcc/7.3

3 北京超算云计算平台深度学习环境配置笔记
进行编译安装,需要的依赖包也会自动安装

pip install -e .

查看软件包

pip list

3 北京超算云计算平台深度学习环境配置笔记
至此安装完成

3. 整理 flower 数据集
新建一个data文件夹,即 ~/run/mmclassification/ mmclassification/data

mkdir data

下载数据集使用快传拖拽放到 ~/run/mmclassification/ mmclassification/data目录下
进入data并解压

cd data
unzip flower_dataset.zip

a.将数据集按 8:2 的比例划分成训练和验证子数据集,并将数据集整理成 ImageNet 的格式,通过 Python 或其他脚本程序完成
复制脚本代码到当前目录下,即data目录

cp ~/run/openmmlab/data_split.py ./

3 北京超算云计算平台深度学习环境配置笔记

划分数据集时,使用绝对路径,输入pwd查看

python data_split.py /HOME/scz0be5/run/mmclassification/mmclassification/data/flower_dataset /HOME/scz0be5/run/mmclassification/mmclassification/data/flower

3 北京超算云计算平台深度学习环境配置笔记
查看flower目录下的文件

ls flower

3 北京超算云计算平台深度学习环境配置笔记
回上一级目录,新建configs/resnet18文件夹,复制配置文件~/run/openmmlab/resnet18_b32_flower.py到configs/resnet18/文件夹下文章来源地址https://www.toymoban.com/news/detail-472101.html

cd ..
mkdir configs/resnet18
cp ~/run/openmmlab/resnet18_b32_flower.py ./configs/resnet18/

https://aicarrier.feishu.cn/docx/QMRzd0NoxokuKvxNfS3car1EnHh

到了这里,关于3 北京超算云计算平台深度学习环境配置笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习环境配置Anaconda+cuda+cudnn+PyTorch——李沐大神《动手学深度学习》环境配置(巨详细,持续迭代)

    Anaconda+cuda+cudnn+Pytorch(手把手教你安装深度学习环境)——这里是GPU+PyTorch版本 国内AI教学体系发展较晚,很多喜欢AI的同学都得不到系统的学习。当然我们也不否认国内一些优质的AI领域的课程和教学资料,这里我们主要推荐李沐大神推出的《动手学深度学习》,这门课程最初

    2024年02月15日
    浏览(73)
  • 深度学习环境配置常见指令

    首先打开anaconda prompt,激活对应虚拟环境。 导入torch并获取对应版本   导入torchvision并获取对应版本 检查cuda是否可用  获取CUDA设备数 获取当前cuda设备id 获取CUDA设备名称

    2024年02月22日
    浏览(34)
  • 深度学习环境配置

    操作系统:Windows 10 和 Ubuntu 20.04 均适用 GPU:Nvidia Geforce RTX 3060 Python:3.8 Tensorflow-gpu:2.5.0 (1)Windows 10 ​在Nvidia驱动下载官网下载522.25版本的驱动并安装。 (2)Ubuntu 20.04 ​打开系统设置,找到软件更新里的附加驱动,选择470版本的驱动即可。注意,安装完成后需要重启一

    2023年04月10日
    浏览(22)
  • 【动手学深度学习】课程笔记 00-03 深度学习介绍及环境配置

    目录 00-01 课程安排 02 深度学习介绍 深度学习实际应用的流程 完整的故事 03 环境配置 1. 学习了这门课,你将收获什么? 深度学习的经典和最新模型:LeNet,ResNet,LSTM,BERT; 机器学习基础:损失函数、目标函数、过拟合、优化; 学习使用Pytorch实现上述知识点。 2. 这门课的

    2024年02月07日
    浏览(79)
  • 李沐+AutoDL深度学习环境配置

    咱们租AutoDL的服务器,这个服务器是专门对学生打造的,学生认证有优惠 用法1 用法2 首先要激活conda 激活: 英文键盘输入i,下面会出现一个INSERT 按住键盘上的pagedown,一直翻到最下面键入一行路径 注意:这个路径只对minconda3的autodl的服务器管用,如果是其他服务器,自己改

    2023年04月16日
    浏览(97)
  • 【深度学习】windows10环境配置详细教程

    Anaconda3常用命令 【官方地址】 页面拉倒底部,下载最新版本 挂VPN下载速度才能起来 安装过程: next–同意协议–所有用户–选择安装位置–确认–安装完成 安装完成: CMD打开命令终执行命令,表示正在使用conda基本版的环境。 可能会出现 “‘conda’ 不是内部或外部命令,也不是

    2023年04月09日
    浏览(57)
  • ubuntu 22.04 深度学习环境配置

    网址:https://www.nvidia.com/download/index.aspx 根据硬件选择,我这里是 ubuntu 服务器,显卡是v100 (非必要)补充:在禁用原显卡驱动时,可以增加一步。 这两个命令都是用于配置Linux系统中与Nouveau显卡驱动相关的设置,但它们的具体作用和写入内容是不同的。 第一个命令是 禁止

    2024年02月09日
    浏览(60)
  • 深度学习GPU服务器环境配置

    组里面分配了台gpu服务器,让我负责管理,需要先配置一些深度学习环境,记录一下。 一些linux服务器常用命令:https://blog.csdn.net/qq_51570094/article/details/123949910 首先需要了解linux系统信息 通过 cat /proc/version 查看包含gcc的版本信息 通过 hostnamectl 命令查看系统信息,这个命令是

    2024年02月01日
    浏览(55)
  • 使用Docker配置深度学习的运行环境

    在linux系统中进行操作,最重要的就是意识到用户权限,这在通过不同方式安装不同应用中非常重要,不然你就会导致一些用户无法使用。 除了用户权限的问题还有就是程序的安装位置,不同的安装位置的程序的启动方式是不同的,安装在 /usr/local/bin 目录下的程序,如果启动

    2024年02月04日
    浏览(42)
  • 【Ubuntu18配置Anaconda深度学习环境】

    参考:Ubuntu18配置与ROS 兼容的深度学习环境(Anaconda3+PyTorch1.10+python3.8+cuda10.2) 欢迎大家阅读2345VOR的博客【Ubuntu18.04使用yolov5教程】🥳🥳🥳 2345VOR鹏鹏主页: 已获得CSDN《嵌入式领域优质创作者》称号👻👻👻,座右铭:脚踏实地,仰望星空🛹🛹🛹 本文章属于《Ubuntu学习》

    2024年02月10日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包