点击链接https://cloud.blsc.cn/进入网页版或下载客户端,使用北京超级云计算中心账号登陆
环境信息加载总结
#!/bin/bash
#加载模块
module load anaconda/2021.05
module load cuda/11.1
module load gcc/7.3
#激活环境
source activate opennmmlab_mmclassification
1.SSH到服务器
点击页面上的SSH进行远程连接,点击连接后进行命令行界面
进入run目录下,run目录下有300G的内存,可以把数据和代码等各种资料存到里面
cd run
2. 创建环境
首先在命令行输入,查看预先安装的工具
module avail
安装anaconda 2021.05版本
module load anaconda/2021.05
创建一个python环境
conda create --name mmclassification python=3.8
激活环境
source activate mmclassification
安装pytorch工具,超算3090显卡支持的最低版本为cuda11.1,要安装cuda11.1以上版本
pip install torch==1.10.0+cu111 torchvision==0.11.0+cu111 torchaudio==0.10.0 -f https://download.pytorch.org/whl/torch_stable.html
查看预先安装的工具
module avail
加载cuda/11.1
module load cuda/11.1
安装MMCV
pip install mmcv-full==1.7.0 -f https://download.openmmlab.com/mmcv/dist/cu111/torch1.10/index.html
安装mmclassification
新建文件夹openmmlab和mmclassification
mkdir openmmlab
mkdir mmclassification
进入openmmlab文件夹下载mmclassification
cd openmmlab
git clone https://github.com/open-mmlab/mmclassification.git
进入~/run/mmclassification/文件夹下
cd ..
cd mmclassification/
复制~/run/openmmlab/下文件夹mmclassification到当前文件夹下
cp -r ~/run/openmmlab/mmclassification/ ./
然后进入目录里面来,即 ~/run/mmclassification/ mmclassification/目录下
cd mmclassification/
查看gcc版本gcc --version
加载gcc/7.3
module load gcc/7.3
进行编译安装,需要的依赖包也会自动安装
pip install -e .
查看软件包
pip list
至此安装完成
3. 整理 flower 数据集
新建一个data文件夹,即 ~/run/mmclassification/ mmclassification/data
mkdir data
下载数据集使用快传拖拽放到 ~/run/mmclassification/ mmclassification/data目录下
进入data并解压
cd data
unzip flower_dataset.zip
a.将数据集按 8:2 的比例划分成训练和验证子数据集,并将数据集整理成 ImageNet 的格式,通过 Python 或其他脚本程序完成
复制脚本代码到当前目录下,即data目录
cp ~/run/openmmlab/data_split.py ./
划分数据集时,使用绝对路径,输入pwd查看
python data_split.py /HOME/scz0be5/run/mmclassification/mmclassification/data/flower_dataset /HOME/scz0be5/run/mmclassification/mmclassification/data/flower
查看flower目录下的文件文章来源:https://www.toymoban.com/news/detail-472101.html
ls flower
回上一级目录,新建configs/resnet18文件夹,复制配置文件~/run/openmmlab/resnet18_b32_flower.py到configs/resnet18/文件夹下文章来源地址https://www.toymoban.com/news/detail-472101.html
cd ..
mkdir configs/resnet18
cp ~/run/openmmlab/resnet18_b32_flower.py ./configs/resnet18/
https://aicarrier.feishu.cn/docx/QMRzd0NoxokuKvxNfS3car1EnHh
到了这里,关于3 北京超算云计算平台深度学习环境配置笔记的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!