官网:AutoDL-品质GPU租用平台-租GPU就上AutoDL
1.服务器购买
2.新建虚拟环境
conda create -n tf python=3.8 # 构建一个虚拟环境,名为:tf
conda init bash && source /root/.bashrc # 更新bashrc中的环境变量
conda activate tf # 切换到创建的虚拟环境:tf
3.各个目录的介绍
source /root/.bashrc
4.文件上传(建议阿里云盘)/公开数据集
上传文件参考:AutoDL帮助文档
公开数据集参考:AutoDL帮助文档
5.文件下载
从github上下载代码时,可以启用加速:
在终端启用加速:
source /etc/network_turbo
在jupyter notebook启用加速:
import subprocess
import os
result = subprocess.run('bash -c "source /etc/network_turbo && env | grep proxy"', shell=True, capture_output=True, text=True)
output = result.stdout
for line in output.splitlines():
if '=' in line:
var, value = line.split('=', 1)
os.environ[var] = value
使用结束后记关闭加速
unset http_proxy && unset https_proxy
6.文件解压
# 下载安装工具
curl -L -o /usr/bin/arc http://autodl-public.ks3-cn-beijing.ksyun.com/tool/arc && chmod +x /usr/bin/arc
# 压缩/打包
arc compress xxx.zip path/to/directory
# 解压
arc decompress xxx.zip
或者解压到指定目录
arc decompress xxx.zip path/to/directory
有个别zip的压缩包使用上边的命令以及unzip
命令都不能解压时,先检查文件大小,如果文件大小和源文件一样,那么尝试下面的命令解压:
apt-get update && apt-get install -y fastjar
jar xvf xxx.zip
7.Jupyter Notebook使用
# 将新的Conda虚拟环境加入jupyterlab中
conda activate tf # 切换到创建的虚拟环境:tf
conda install ipykernel
ipython kernel install --user --name=tf # 设置kernel,--user表示当前用户,tf为虚拟环境名称
运行代码时,可能会遇到路径错误的问题,可以用!pwd查看当前位置,然后用os.chdir()修改位置。下图中绿色框为原来位置,红色框为修改后的位置。
8.终端长时间运行项目
为了避免断开连接后,任务中断,可以参考守护进程文档:AutoDL帮助文档
9.远程连接pycharm
服务器端生成的文件(图片视频权重文件等)无法同步到本地,需要自己下载。
需要注意的是,本地项目文件夹最好不要存放数据集,否则连接服务器会自动上传,而且速度很慢。
pychram连接远程终端:
10.pip国内源下载
#方法一:豆瓣镜像网站
pip install 安装包名字 -i http://pypi.doubanio.com/simple/ --trusted-host pypi.doubanio.com
#方法二:豆瓣
pip install 安装包名字 -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
#方法三:清华大学(推荐)
pip install 安装包名字 -i https://pypi.tuna.tsinghua.edu.cn/simple/ --trusted-host pypi.tuna.tsinghua.edu.cn
11.服务器端,利用jupyter查看视频的方法
# 查看视频
from IPython.display import HTML
from base64 import b64encode
video = 'demo/demo.mp4' # 视频路径
mp4 = open(video,'rb').read()
data_url = "data:video/mp4;base64," + b64encode(mp4).decode()
HTML("""
<video width=400 controls>
<source src="%s" type="video/mp4">
</video>
""" % data_url)
12.实例GPU数量不够无法开机怎么办?
- 将原来的实例保存镜像,这样就不用再次配置环境了。
- 去算力市场购买新的实例,镜像选择--我的镜像--选择刚保存好的镜像
以下两个是我自己保存的镜像 文章来源:https://www.toymoban.com/news/detail-465107.html
文章来源地址https://www.toymoban.com/news/detail-465107.html
# CUDA 11.1
pip3 install torch==1.8.2 torchvision==0.9.2 torchaudio==0.8.2 --extra-index-url https://download.pytorch.org/whl/lts/1.8/cu111
到了这里,关于AutoDL使用手册的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!