vscode连接远程服务器 + Tensorflow2环境配置 + 深度学习训练

这篇具有很好参考价值的文章主要介绍了vscode连接远程服务器 + Tensorflow2环境配置 + 深度学习训练。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

参考:vscode连接远程服务器(傻瓜式教学)

配置服务器pytorch/TensorFlow环境+远程连接vscode

在远程服务器安装anoconda并创建tensorflow-gpu环境并运行jupyter

【vscode连接远程服务器】

step 1:测试服务器连接

win+R 进入 cmd,在命令行输入以下命令,并根据提示输入密码

ssh username@severIP  # 用户名@服务器IP地址

step 2:安装 ssh 插件

打开 vscode,在左侧菜单栏的 Extensions 中搜索 remote - SSH 插件,点击 Install 安装

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

安装完成后,在左侧的菜单栏里会新增加一个 Remote Explorer

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

step 3:添加服务器连接

点击“+”添加新的服务器连接,在提示框输入 ssh username@severIP, 回车,将其保存至配置文件 C:\Users\xxx\.ssh\config 中(若已有多个服务器,再次添加新的后,记得在 REMOTE 右边刷新一下)

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

step 4:连接服务器

右键想要连接的远程服务器,点击“Connect in Current Window...”,并根据提示输入密码

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

左下角显示连接成功

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

step 4:查看服务器文件

在左侧菜单栏的 Explorer 中点击 username [SSH: ip] 查看远程服务器目录下的文件

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

【Tensorflow2环境配置】

step 5:Anaconda 环境

连接成功后,在终端 TERMINAL 的右上角点击‘+’打开一个新的终端

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

我拿到的服务器已经安装过了 minianaconda(教程可参考置顶的链接)

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

配置 conda 镜像源(参考:conda安装Tensorflow和pytorch经验)

conda config --set show_channel_urls yes
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/main
conda config --add channels https://mirrors.bfsu.edu.cn/anaconda/pkgs/free
conda config --show channels

删除镜像等命令(参考:conda如何添加,删除镜像channel,管理虚拟环境,以及其他常见命令。)

conda config --remove channels https://pypi.tuna.tsinghua.edu.cn/anaconda/pkgs/free/

step 6:安装 Tensorflow2

(1)创建虚拟环境

conda create -n tensorflow python=3.8

(2)激活虚拟环境

conda activate tensorflow

(3)搜索可用镜像

conda search tensorflow-gpu

(4)直接用 conda 安装 Tensorflow2.6.0(conda 会自动安装 cudnn、cudatoolkit)

conda install tensorflow-gpu==2.6.0

(5)测试 GPU 是否可用

python
import tensorflow as tf
tf.test.is_gpu_available()

【Tensorflow 环境配置问题汇总】

【问题 1】我刚开始是用 pip 安装的 Tensorflow2.10.0 版本,经历了各种报错。。。

pip install tensorflow-gpu==2.10.0 -i https://pypi.tuna.tsinghua.edu.cn/simple/
conda install cudatoolkit==11.3.1
conda install cudnn=8.2.1

import tensorflow as tf 报错信息

2023-03-06 01:42:48.783815: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations: AVX2 AVX512F AVX512_VNNI FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2023-03-06 01:42:48.936614: I tensorflow/core/util/util.cc:169] oneDNN custom operations are on. You may see slightly different numerical results due to floating-point round-off errors from different computation orders. To turn them off, set the environment variable `TF_ENABLE_ONEDNN_OPTS=0`.
2023-03-06 01:42:48.942636: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libcudart.so.11.0'; dlerror: libcudart.so.11.0: cannot open shared object file: No such file or directory
2023-03-06 01:42:48.942659: I tensorflow/stream_executor/cuda/cudart_stub.cc:29] Ignore above cudart dlerror if you do not have a GPU set up on your machine.
2023-03-06 01:42:48.969748: E tensorflow/stream_executor/cuda/cuda_blas.cc:2981] Unable to register cuBLAS factory: Attempting to register factory for plugin cuBLAS when one has already been registered
2023-03-06 01:42:49.598911: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer.so.7'; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory
2023-03-06 01:42:49.598980: W tensorflow/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer_plugin.so.7'; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory
2023-03-06 01:42:49.598988: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly.
vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

【解决办法】可参考这几篇文章:

小白笔记[1]| 运行tf问题整理(持续完善)

完美解决TensorFlow-gpu报错问题Could not load dynamic library ‘libnvinfer.so.6’ and ‘libcudart.so.11.0’

不要用 pip 安装(手动安装 cudatoolkit 和 cudnn),而是要用 conda 安装(自动安装 cudnn、cudatoolkit)

【问题 2】我换成 conda 来安装后,直接在 tensorflow 导入部分就报错。。。

ImportError: libflatbuffers.so.2: cannot open shared object file: No such file or directory
vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

百度还没找到解决办法,大无语,遂放弃

我不得不放弃了 Tensorflow2.10.0,安装了 Tensorflow2.6.0,结果一次就成功了。。。

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

所有我前面配了两天的环境,就是全白瞎了呗。。。

【在远程服务器上运行项目】

step 1:将本地项目上传至远程服务器

(我这里使用的是 FileZilla,也可以使用 WinSCP、Xshell 等)

打开 FileZilla,在上方输入 主机、用户名、密码、端口(22) 后,点击右侧的“快速连接

右侧的“远程站点”会列出远程服务器的文件夹,在左侧的“本地站点”中打开要传输的文件夹

将左侧本地文件夹下要上传的文件,拖拽至右侧远程服务器的文件夹下(右键可管理文件/文件夹)

最下方会显示文件传输队列,等待传输完成即可

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

step 2:查看服务器文件

在左侧菜单栏的 Explorer 中点击 username [SSH: ip] 查看当前远程服务器目录下的文件

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

step 3:配置 python 解释器

使用 Ctrl+Shift+P 打开命令面板,

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

输入 >Python: select Interpret,选择配置好的 Tensorflow2 环境作为远程 python 解释器

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

step 4:运行/调试远程项目

(1)在左侧菜单栏中点击 Run and Debug,继续点击蓝色框中的 Run and Debug 即可对当前文件进行运行/调试

(项目代码中,在行号前单击即可设置断点

(2)当前文件右上角点击 Run/Debug Python File,选择运行/调试当前文件

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

本地和远端同步可参考:VScode实现本地与远端同步开发的两种方式

【注:远程项目更改文件路径】

从本地上传到远程服务器后,文件夹的层次结构发生了改变,因此可能需要改变文件路径

python os 文件路径参考:

Python--OS 方法-获取文件对应路径

python获取当前文件的目录与路径

【清理远程服务器缓存】

参考:记录:在Linux系统下清理GPU缓存

(1)使用 nvidia-smi 查看 gpu 使用情况

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

或者使用以下命令查看 GPU 上的进程占用

fuser -v /dev/nvidia*

(2)输入以下命令清理进程(PID 见上图,或见上行命令输出)

kill -9 PID

【在远程服务器后台运行 python 程序】

参考:python程序后台运行命令

Linux如何在后台一直运行python程序

当前终端挂掉后,远程服务器上的进程可能也会挂掉。。。

(1)输入以下命令在后台运行 python 程序(test.log 指定输出日志文件)

nohup python main.py > test.log &

注意:main.py 处一定要写全从根目录下的路径(main.py 直接在 /home/usr 根目录下)

(2)输入以下命令可以查看所有进程的状态

ps aux |grep python

每行每个参数的含义可参考:linux命令ps aux|grep 查看进程详解

Linux_ps aux指令与grep指令配合管理进程 (其中第二列为 PID)

vscode如何安装tensorflow,深度学习,vscode,服务器,Powered by 金山文档

(3)结束进程

kill -9 PID  // 强制杀死进程

【conda 打包环境】

参考:Python | Conda pack 进行环境打包

conda创建的环境,打包下载,然后在其他设备离线安装环境,python部署时需要依赖,通过conda一步解决依赖迁移问题

(1)安装 conda-pack

conda install -c conda-forge conda-pack

(2)将虚拟环境 env_name 打包为 env_name.tar.gz,打包好的环境就在本文件夹下( /home/usr 文章来源地址https://www.toymoban.com/news/detail-719632.html

conda pack -n env_name

到了这里,关于vscode连接远程服务器 + Tensorflow2环境配置 + 深度学习训练的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • VSCode 连接 Linux 远程服务器

    我们在跑机器学习或深度学习模型的时候通常会使用 GPU,但大多数人自己本地电脑的 GPU 不是太好甚至没有 GPU。所以我们通常会选择实验室服务器或者云服务器去跑模型,一般我们会先在本地电脑写完代码,然后使用远程连接工具,如 MobaXterm 将代码上传至 Linux 服务器。 但

    2024年02月16日
    浏览(76)
  • vscode远程连接linux服务器

    Linux服务器(或虚拟机)条件: 开启ssh服务 客户端: vscode   1.服务端  服务端需要开启ssh服务vscode才能连接,首先检验linux是否开启了ssh服务 运行命令,如果可以看到ssh正在运行,那么可以直接使用vscode进行连接,跳转到下一步骤。 如果米有开启,那我们尝试开启:  开启

    2024年02月07日
    浏览(52)
  • vscode远程免密连接服务器

    1.生成私钥和公钥 windows上在任意位置,右键Git Bash Here,输入以下命令 其中passphrase是指该密钥的保护密码,可直接回车跳过 会在windows的用户目录下面生成两个文件,私钥: id_rsa,公钥: id_rsa.pub 2.将公钥放在服务器上 在linux的用户目录下,进入.ssh的文件夹内,若没有.ssh的

    2024年02月07日
    浏览(44)
  • Vscode配置ssh远程连接服务器

    环境工具 (1) 下载安装 Vscode (2) 阿里云服务器 配置过程 按照上图的1,2,3步骤安装:Remote-SSH插件 在vscode使用ctrl+shift+p快捷键,在工具栏输入Remote-SSH并选择 选择此配置文件 可以添加多个ssh,格式如下: Host xxxx HostName 192.168.1.1(自己服务器的IP地址) User root 使用过程 点击上图的图标

    2024年02月05日
    浏览(49)
  • vscode远程连接服务器+上下传文件

    确保本地vscode中装了remote ssh和sftp的插件(这里不再展开介绍安装) 1.点击远程资源管理器 2.点击工具这个小图标就会出现右边的这个框,,选择第一个 …config 3.这个文件就是配置文件,填完保存文件啊,按左边的刷新按钮就会出现服务器的实例(在config里边可以填多个服务器

    2024年02月01日
    浏览(48)
  • gitbub创建远程仓库(基于vscode远程连接服务器)

    背景:vscode已远程连接服务器、已经下载好git 目的:在本地创建了一个Git仓库后,又想在GitHub创建一个Git仓库,并且让这两个仓库进行远程同步 创建仓库具体方法不再赘述,需要注意的是先别选择add a readre file,具体原因有点说不清楚(博主也菜),但是踩过坑建议别选,后

    2024年02月09日
    浏览(42)
  • vscode 连接远程服务器 服务器无法上网 离线配置 .vscode-server

    使用vscode连接远程服务器时会自动下载配置.vscode-server文件夹,如果远程服务器无法联网,则需要手动下载 1)网址: https://update.code.visualstudio.com/commit:替换为自己的vscode软件的id/server-linux-x64/stable 2)vscode commit id获取 点击导航栏中的Help–About–获取commit–复制到上方网址即可

    2024年04月10日
    浏览(60)
  • VSCode连接远程服务器Jupyter Notebook

    提示:以下是本篇文章正文内容,下面案例可供参考 使用ssh连接远程服务器,并在vscode打开终端。 这里我使用的是预先装好的conda环境。 pip安装jupyter 推荐使用以下pip 源清华: https://pypi.tuna.tsinghua.edu.cin/simple 阿里云: https://mirrors.aliyun.com/pypi/simplel 显示安装成功。 可以设置密

    2024年02月02日
    浏览(64)
  • VSCode远程连接AutoDL服务器详细教程

    打开VSCode下载Remote-SSH插件 远程连接,在AutoDL开机后可直接复制待连接的实例的账号和密码,复制账号时注意删除末尾的空格 复制账号后连按两次enter键,右下角弹出下图后,点击Connect。 右键点击待连接的实例→选择红框内容→点击Continue→输入密码(AutoDL中复制) 连接成功

    2024年01月16日
    浏览(39)
  • VSCode连接远程服务器调试代码详细流程

    在研究人工智能项目时,很多时候本地机器性能不够,只能把代码拉倒服务器上,然后利用服务器资源来运行代码。遇到问题时需要调试,本文详细介绍利用VScode来调试远程服务器上的代码。 先安装Remote SSH插件并添加配置文件 右击安装好的插件,并指定配置文件路径 创建远

    2024年02月10日
    浏览(38)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包