在服务器的docker里 装anacond3深度学习环境的全流程基础向

这篇具有很好参考价值的文章主要介绍了在服务器的docker里 装anacond3深度学习环境的全流程基础向。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景:

实验室给我分配了一个服务器 已经装好了docker 和nvidi docker 。 现在我的目标是创建我自己的docker 然后在我自己的docker里装上anaconda环境。 我以前从没用过linux。所以对这一切都是迷迷茫茫不知其所以然。所以一些拙见还请不要见笑。也是整合了很多大佬的。(我是挂了VPN的,所以没有用过国内镜像,如果你发现哪里下不动东西了 可以搜搜怎么加入国内镜像源)

我的理解 docker 就是一个操作系统的模板。然后在服务器输入

建docker

docker images

在服务器的docker里 装anacond3深度学习环境的全流程基础向

可以看到很多镜像 这些镜像就是一个又一个的模板。然后你可以使用这些模板创建自己的操作系统。使用

在服务器的docker里 装anacond3深度学习环境的全流程基础向

docker ps -a

可以看到正在运行的容器 。什么叫做容器 ,就是根据模板(镜像)创建的一个操作系统,不同的容器之间互不干扰罢了。

使用docker run命令可以启用一个容器

之后你所有的操作就相当于在你自己的电脑里玩了 。

等等,我们还没有创建自己的docker呢。 首先 我们要下一个自己喜欢的模板。 

创建流程很长 这里有b站小姐姐做的一个视频可以参考。

https://www.bilibili.com/video/BV1bk4y1B7T5?from=search&seid=5835754095686451740&spm_id_from=333.337.0.0

下面是文字版,也即我的步骤

1, 查看ubuntu版本, 根据自己版本选镜像。 

lsb_release -a

我们做的就是取hub.docker.com这个网站上 找到自己喜欢的docker版本。docker版本其实就是别人写好的一些模板,跟ppt模板一样,我们先下下来然后自己修修改改变成自己的模板。模板有各个方向的 ,我们深度学习肯定要挑关于cuda的。点explore 搜nvidia 进入nvidia/cuda 在tag搜索自己的cuda版本  我用的是11.0-cudnn8 - runtime - ubu16.04 下图只是示例

在服务器的docker里 装anacond3深度学习环境的全流程基础向

在服务器的docker里 装anacond3深度学习环境的全流程基础向

在服务器的docker里 装anacond3深度学习环境的全流程基础向

复制后面那个pull到服务器窗口 就可以创建一个 docker了 。有dockers就可以启动什么的了 。

这里我们只是拉下来了一个镜像, 相当于一个模板 之后我们要根据模板创建自己的docker。

创建并启用容器



docker run --gpus all -d -p 0.0.0.0:10790:22 -it --name=你想起的镜像名字 -v 主机文件夹:容器文件夹 容器编号  /bin/bash 

--gpus 表示使用主机所有的显卡。-v表示一个挂载文件夹 主机和docker可以共享这个文件夹。  示例:

docker run --gpus all -d -p 0.0.0.0:10790:22 -it --name=cuda8torch_li -v /home:/home dc5221f05596 /bin/bash 

输入 docker ps -a 

 在服务器的docker里 装anacond3深度学习环境的全流程基础向

 看到刚才创建的镜像。 

      可以用docker attach + 容器的id进入容器。 

在服务器的docker里 装anacond3深度学习环境的全流程基础向

注意前面的名字了 有个@+容器id。

进行基础的网络安装: ping config

apt-get update
apt install net-tools        # ifconfig 
apt install iputils-ping     # ping

     进入我们自己的docker 看看各个文件夹,发现啥也没有  因为是我们自己的新电脑嘛。我们就要开始装anaconda3了 。

装conda

取conda官网找自己喜欢的安装包

https://repo.anaconda.com/archive/

我选的是

https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh

所以输入命令 (先安装wget)

apt-get install -y wget
wget https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh

安装解压程序

        

apt-get install bzip2

找到自己的anacnoda安装包位置  好像在home里 要不然就是root里??

然后输入命令 

chmod +x Anaconda3-5.3.0-Linux-x86_64.sh
./Anaconda3-5.3.0-Linux-x86_64.sh

回车,一直yes  不过vscode可装可不装 自己看着办 

然后输入conda -V 看看是不是显示 

conda不是啥命令 没听说过 。

说明没配置好环境变量 找到你的安装目录 。把安装目录下的conda所在文件夹 放到环境变量去。

        比如我的conda在home里  就是下面这句命令啦 

export PATH=$PATH:/home/anaconda3/bin
source ~/.bashrc

保存后再来   成啦!  说明conda安装成功了 而且设置好了环境变量 。

在服务器的docker里 装anacond3深度学习环境的全流程基础向
也可以同时创建一个软连接:因为bin本身就是环境变量


ln -s /root/anaconda3/bin/python /bin/anaconda3

 删除自己的conda安装包:


(base) root@60a197e8a57f:/# rm -rf /home/Anaconda3-5.3.0-Linux-x86_64.sh

配置自己的环境 

先创建一个  li_3_8是我自己的环境名字

conda create -n li_3_8 python=3.8

 激活创建的环境

conda activate li_3_8

在服务器的docker里 装anacond3深度学习环境的全流程基础向

看到本来是root 前面带了li_3_8 说明我们在这个环境里了 

去torch官网找适配自己cuda版本的torch

https://pytorch.org/get-started/previous-versions/
conda install pytorch==1.7.1 torchvision==0.8.2 torchaudio==0.7.2 cudatoolkit=11.0 -c pytorch

我的是上面这个版本 输入 回车

这一步比较慢 我这篇文章都快写完了 torch还是没装完。

可以搜搜换源的方法,把源换成国内源 什么清华源什么的  我懒得换了 去吃个饭 正好等等他。

安装好torch了  其他的都类似。

容器固化 :

安装好环境 我们考虑将容器固化 (不固化也可以,这步可以跳过。)

我们知道模板才是永久的 容器停了就没了  所以将容器变成模板 以后用这个带环境的模板就好  

ctrl +d 退出容器 

然后 docker ps -a 看容器列表

在服务器的docker里 装anacond3深度学习环境的全流程基础向

docker commit 容器id dock名字:标签

在服务器的docker里 装anacond3深度学习环境的全流程基础向

 可以得到新的模板docker

在服务器的docker里 装anacond3深度学习环境的全流程基础向

 如果你想继续用刚才那个退出的容器 就 

docker start id
docker attach id

 在服务器的docker里 装anacond3深度学习环境的全流程基础向

PYcharm连接:

至此 环境安装完毕。 后面是如何在PYcharm连接这个容器 使用此容器的环境。,

1 启动容器    使用服务器的22端口  如果你刚才也用的下面这句启动的容器 就不用新建容器啦  start attach 进入容器即可。 主要是端口设置     (如果没设置端口 使用我们刚才固化的那个镜像 新建容器 )



docker run --gpus all -d -p 0.0.0.0:10790:22 -it --name=你想起的镜像名字 -v 主机文件夹:容器文件夹 容器编号  /bin/bash 

2 更新apt  安装ssh 和vim

apt-get update

apt-get install openssh-server

apt-get install vim

3 用vim打开配置文件并修改

vim /etc/ssh/sshd_config 打开sshd_config配置文件

0:打开文件后 按o键 就可以修改啦  下面会出现一个insert标志
1. 找到PermitRootLogin prohibit-password这一行,修改为PermitRootLogin yes,允许通过ssh远程访问docker
2. 找到Port这一行,设置远程连接服务的端口号, 就是刚才的22,可以修改为一个认为合适的端口号, 不改也可以。

修改完毕后 按esc  insert标志消失   之后输入  :wq 回车  (注意冒号一定要打)

在服务器的docker里 装anacond3深度学习环境的全流程基础向

如果前四行前面有#号 就去掉#号

4  创建用户密码 

passwd root

之后会让两次输入密码 与windows不同的是 输入密码是看不到的  心中有数就行

在服务器的docker里 装anacond3深度学习环境的全流程基础向

5 :启动ssh

service ssh restart

到这里 服务器端配置完啦 。

点开我们的 pycharm   工具 部署配置 

在服务器的docker里 装anacond3深度学习环境的全流程基础向

在服务器的docker里 装anacond3深度学习环境的全流程基础向

点三个点在服务器的docker里 装anacond3深度学习环境的全流程基础向

 输入刚才对应端口 10789

和刚才的密码 在服务器的docker里 装anacond3深度学习环境的全流程基础向

 修改映射路径  就是你本地文件要上传服务器 上传到哪里呢 ? 就是部署路径里 

在服务器的docker里 装anacond3深度学习环境的全流程基础向

万事具备 只欠解释器 

 在服务器的docker里 装anacond3深度学习环境的全流程基础向

 点到解释器设置 

 ssh解释器  现有

在服务器的docker里 装anacond3深度学习环境的全流程基础向

 在服务器的docker里 装anacond3深度学习环境的全流程基础向

 连接好后下一个  

在服务器的docker里 装anacond3深度学习环境的全流程基础向

点文件 找到conda/envs/环境名/bin 里的 python文件 选中 确定   

 在服务器的docker里 装anacond3深度学习环境的全流程基础向

 解释器选这个新的解释器  确定 

在服务器的docker里 装anacond3深度学习环境的全流程基础向

 在刚才的 工具 部署配置里  选中你的 服务器  点那个对号  

在服务器的docker里 装anacond3深度学习环境的全流程基础向

 点工具 部署 上传

在服务器的docker里 装anacond3深度学习环境的全流程基础向

新建一个test  

输入 

import torch
print(1)

 部署 上传 (注意本地改变后就要上传 也可以自动上传)

运行得到结果!!!!!!!

全剧终 至此完成了 在服务器新建docker 并装环境形成镜像 并用pycharm连接的全过程

参考文献: 

Nvidia-docker 配置深度学习环境服务器(cuda+cudnn+anaconda+python)GPU服务器的配置_哔哩哔哩_bilibili

使用docker搭建深度学习环境-从零开始(上)_ambm29的博客-CSDN博客_docker深度学习

使用docker搭建深度学习环境-从零开始(下)_ambm29的博客-CSDN博客_docker搭建深度学习环境

如何在Linux服务器上安装Anaconda(超详细)_あなたを待って-CSDN博客_服务器安装anaconda

PyCharm连接Docker容器内部Python解析器和Jupyter_修行者_Yang的博客-CSDN博客_pycharm连接容器文章来源地址https://www.toymoban.com/news/detail-432414.html

到了这里,关于在服务器的docker里 装anacond3深度学习环境的全流程基础向的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习GPU服务器环境配置

    组里面分配了台gpu服务器,让我负责管理,需要先配置一些深度学习环境,记录一下。 一些linux服务器常用命令:https://blog.csdn.net/qq_51570094/article/details/123949910 首先需要了解linux系统信息 通过 cat /proc/version 查看包含gcc的版本信息 通过 hostnamectl 命令查看系统信息,这个命令是

    2024年02月01日
    浏览(55)
  • (深度学习)PyCharm 连接配置服务器

    需要 Pycharm 专业版 以 2022 版的 PyCharm 为例: 1. 连接服务器 File ---- Settings ---- Python Interpreter ---- Add Interpreter ---- On SSH 输入服务器的 Host、Port 和 Username ---- Next 输入密码 ---- Next Next 可以选择虚拟环境,我个人习惯选择下面那个 System Interpreter 选择本机项目地址和对应的服务器同

    2024年02月11日
    浏览(45)
  • 服务器上运行跑深度学习代码(一)

    我准备复现的是Point2roof的代码。这是第一次复现论文代码,所以记录一下^ _ ^。 从GitHub找到他的项目point2roof项目。 先把工程down下来 ^ _ ^ 。 看他工程里面提供的README。 这篇里面提到他的数据集,我也顺便下载下来了。目前只是想跑一下代码,好像没必要下载数据集? 接下

    2024年02月11日
    浏览(41)
  • 深度学习服务器(Linux)开发环境搭建教程

    当你拿到一台服务器的使用权时,最头疼的莫过于登陆服务区并配置开发环境。本文将从0开始,讲述一台刚申请的服务器远程登陆并配置开发环境的全过程。希望对你有所帮助 打开MobaXterm软件,创建一个新的Session,选择SSH登陆。其中Remote host填服务器的IP地址,Specify userna

    2024年02月05日
    浏览(52)
  • Linux服务器下配置深度学习环境(PyTorch)

    一. 安装anaconda 二. 创建虚拟环境 三. 安装PyTorch 在配置环境前,需要远程连接服务器,我选择使用MobaXterm,具体操作详见: 使用MobaXterm连接Linux服务器 Anaconda ,中文大蟒蛇,是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。 1. 下载anaconda 在官网

    2024年02月06日
    浏览(57)
  • 使用vscode 连接服务器 进行深度学习代码调试

    博主本来在Win上已经配好环境了,但是在跑代码的过程中,因为tensor拼接得太大了,导致笔记本内存不足,因此需要到服务器上跑 为什么选择vscode? 如果直接用xshell连接服务器,在命令行运行py文件,不是很直观,也不能debug,还不能直接输出图片。 pycharm连接服务器好像要

    2024年02月22日
    浏览(38)
  • 如何在服务器使用GPU跑深度学习代码

    每个人都有他们偏好的工具和工作流程。就我个人而言,我喜欢使用 PyCharm Professional Edition 作为我的集成开发环境,选择使用 HengYuan Cloud\\\'s OSS.exe 和 FileZilla 进行文件传输,并且我倾向于使用 Xshell 来处理命令行操作。这些工具的组合满足了我的所有需求,并使我的工作效率最

    2024年04月12日
    浏览(49)
  • Windows Server 2019服务器远程桌面服务部署+深度学习环境配置教程

    实验室需要将Win10的系统改装为Server系统供多人以远程桌面的方式使用,同时配置Tensorflow+Pytorch的深度学习环境,遂记录一下大概步骤。 和安装其他Windows系统的步骤差不多,也是插入U盘后进BIOS然后根据引导分区创建管理员等等,可以参考:windows server 2019安装教程 如果装完

    2024年02月04日
    浏览(85)
  • Ubuntu22.04 安装深度学习服务器全纪录

    制作启动盘 参考链接:https://blog.csdn.net/lyx_ok/article/details/129308753 安装 Ubuntu 22.04 将U盘插到服务器上,开机按F11键(具体什么键跟主板型号有关)选择启动项进入临时的 Ubuntu 系统,在图形界面中选择 Install Ubuntu ,所有配置都可以使用默认的,改一下用户名和密码即可。 进入

    2024年02月16日
    浏览(52)
  • 试用阿里云GPU服务器进行深度学习模型训练

    最近在用PyTorch时发现在本地训练模型速度一言难尽,然后发现阿里云可以白嫖gpu服务器,只要没有申请过PAI-DSW资源的新老用户都可以申请5000CU*H的免费额度,三个月内有效。 阿里云免费试用活动页面 一、申请试用并创建实例 点击试用,完成注册、实名、领取产品,然后前往

    2024年04月17日
    浏览(56)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包