超详细Pytorch环境配置及CLIP应用实例

这篇具有很好参考价值的文章主要介绍了超详细Pytorch环境配置及CLIP应用实例。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

  最近想体验一下OpenAI新发布的基于自然语言和图片的预训练模型-CLIP(不得不感叹一句,真是大力出奇迹啊),遂想搭建一个Pytorch环境,跑一跑实例。本以为几十页的论文是最大的障碍,没想到配置环境才是最令人崩溃的阶段。anaconda反复重装了几个来回,不过最后终于还是在关闭内存爆炸的Chrome的那一刻结束了配置,成功看见了那个True。由于网上很多教程都比较零散,在配置时难免耗费很多精力去搜索,所以在这次配置结束后,我想将这个过程完整地记录下来,方便以后配置也希望能帮助更多和我一样刚开始炼丹的丹师们。

准备

anaconda

  这个比较简单,直接去官网下载安装包,下载完后直接安装,过程中可以选择同时配置环境变量。

CUDA适配

  CUDA可将其看作是一个工作台,上面配有很多工具,如锤子、螺丝刀等。cuDNN是基于CUDA的深度学习GPU加速库,有了它才能在GPU上完成深度学习的计算。它就相当于工作的工具,比如它就是个扳手。但是CUDA这个工作台买来的时候,并没有送扳手。想要在CUDA上运行深度神经网络,就要安装cuDNN,就像你想要拧个螺帽就要把扳手买回来。这样才能使GPU进行深度神经网络的工作,工作速度相较CPU快很多。
  CUDA及cuDNN的选择需要考虑这两者间的适配问题,同时还需要考虑和Pytorch及显卡驱动的适配问题。

  1. 适配显卡驱动
      打开电脑的GeForce Experience,可查看当前显卡所使用的驱动。我的驱动版本是471.41
    超详细Pytorch环境配置及CLIP应用实例
      确定驱动版本后,去NVIDIA DEVELOPER ZONE查看CUDA Toolkit和驱动的对应表。其实这里高版本驱动对于低版本CUDA的兼容性还是很强的,471.41版本的驱动基本全部的CUDA都能适配。
    超详细Pytorch环境配置及CLIP应用实例
  2. 适配Pytorch
    可以直接去PyTorch查看Pytorch和CUDA的适配信息。这里推荐使用稳定版的Pytorch,毕竟这玩意儿一报错,解决起来的耗时不一定少,说不定还得重装。
    超详细Pytorch环境配置及CLIP应用实例
    这里就直接确定CUDA使用10.2版本的了。下方还提供了直接在环境中使用conda安装的命令,可以一次性安装,不过时间较长,而且使用这个我出现过Jupyter内核启动失败的情况,后面我重新创建虚拟环境的时候就用pip了。
  3. 适配cuDNN
    这个在官网上下载时,直接选择CUDA10.2对应的版本即可。
下载

anaconda:下载
CUDA:下载
超详细Pytorch环境配置及CLIP应用实例
cuDNN:下载 (这个需要注册账号)
Pytorch:下载
超详细Pytorch环境配置及CLIP应用实例
cu102为CUDA10.2,cp36为python3.6
图像训练的话还需要torchvision,也是在这里,找到对应的版本即可。其中还有torchoudio
CLIP:下载(为模型包,非必要),github上的包有两种安装方式,线上和本地安装,这里选择本地安装,线上安装后面也会介绍。

环境配置

换源–磨刀不误砍柴工

conda添加国内源

conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

显示添加的源

conda config --show channels

pip 换源

pip config set global.index-url https://pypi.douban.com/simple/
创建虚拟环境

  打开Anaconda PowerShell Prompt,conda create -n {name} python={版本},这里使用的是conda creat -n torch1.1 python=3.6。创建成功后,激活虚拟环境。conda activate torch1.1进入虚拟环境。
(其它虚拟环境相关命令:查看环境–conda env list
            关闭环境–conda deactivate {name}
            删除环境–conda env remove --name {name}

安装

CUDA及cuDNN的安装

  CUDA直接运行cuda的exe文件就行,一般情况下其环境变量也会自动配置。不过其安装位置需要记住。一般是在C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2。而后解压cuDNN压缩包,会出现以下三个文件夹
超详细Pytorch环境配置及CLIP应用实例
然后按照CUDA的安装路径(C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2)打开,将cuDNN解压的文件中对应文件夹的内容添加进CUDA同名文件夹中即可。
超详细Pytorch环境配置及CLIP应用实例
cuda安装完后可以打开命令窗口,输入nvcc -V,如果输出类似下图,则安装成功。
超详细Pytorch环境配置及CLIP应用实例

torch安装

  在虚拟环境中打开安装包所在目录,直接执行安装目录即可(个人感觉这就是本地安装的好处了,至少不用熬那么久)。

pip install torch-1.1.0-cp36-cp36m-win_amd64.whl
pip install torchvision-0.11.1+cu102-cp36-cp36m-win_amd64.whl

CLIP安装

  (此部分非基础环境所需)
本地下载–解压CLIP包,虚拟环境进入存放文件,进入CLIP-main(有setup.py文件)下,执行

python setup.py install

在线安装—(需要安装git,pip install git

pip install git+https://github.com/openai/CLIP.git
与jupyter建立连接

  在虚拟环境中安装ipykernel包

pip install ipykernel

  添加kernel

python -m ipykernel install --user --name 环境名称 --display-name "Python (环境名称)"

  查看当前已经连接的环境

jupyter kernelspec list

超详细Pytorch环境配置及CLIP应用实例
其他相关命令:删除连接–jupyter kernelspec remove {name}

测试

  打开jupyter,用浏览器进入网页版notebook,使用所创建的连接创建新文件,
超详细Pytorch环境配置及CLIP应用实例
  如图,我使用torch1.1创建新文件,输入测试代码

import torch
print(torch.__version__)
print(torch.cuda.is_available())

  结果类似下图则配置成功
超详细Pytorch环境配置及CLIP应用实例
  CLIP的测试
  输入OpenAI给的测试实例

import torch
import clip
from PIL import Image
from jupyterthemes import jtplot
jtplot.style()


device = "cuda" if torch.cuda.is_available() else "cpu"
model, preprocess = clip.load("ViT-B/32", device=device)

image = preprocess(Image.open("C:/Users/Administrator/PycharmProjects/pytorchproject/bird.jpg")).unsqueeze(0).to(device)
text = clip.tokenize(["a diagram", "a dog", "a cat","a bird"]).to(device)

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

    logits_per_image, logits_per_text = model(image, text)
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)  # prints: [[0.9927937  0.00421068 0.00299572]]

  结果
超详细Pytorch环境配置及CLIP应用实例
在运行实例时需要下载数据集,有可能出现与ipywidgets有关的问题,其原因是此内核的虚拟环境中没有安装这个包,故而需要在此虚拟环境中安装ipywidgets,并将其与jupyter联结。文章来源地址https://www.toymoban.com/news/detail-400879.html

pip install ipywidgets
jupyter nbextension enable --py widgetsnbextension

到了这里,关于超详细Pytorch环境配置及CLIP应用实例的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 深度学习环境配置Anaconda+cuda+cudnn+PyTorch——李沐大神《动手学深度学习》环境配置(巨详细,持续迭代)

    Anaconda+cuda+cudnn+Pytorch(手把手教你安装深度学习环境)——这里是GPU+PyTorch版本 国内AI教学体系发展较晚,很多喜欢AI的同学都得不到系统的学习。当然我们也不否认国内一些优质的AI领域的课程和教学资料,这里我们主要推荐李沐大神推出的《动手学深度学习》,这门课程最初

    2024年02月15日
    浏览(73)
  • 【深度学习】【三维重建】windows10环境配置PyTorch3d详细教程

    本人windows10下使用【Code for Neural Reflectance Surfaces (NeRS)】算法时需要搭建PyTorch3d环境,故此以详细教程以该算法依赖的环境版本为参照。 应很多朋友的要求,博主将自己的pytorch3d的conda环境打包放在【百度云盘;提取码:3tyw 】供大家参考,注意环境版本要求保持一致,并不适合

    2024年02月11日
    浏览(53)
  • Windows 系统从零配置 Python 环境,安装CUDA、CUDNN、PyTorch 详细教程

    进入anaconda官网:https://www.anaconda.com/ 点击 download 下载文件,我这里是 Anaconda3-2022.10-Windows-x86_64.exe (后续更新版本exe文件会有差别) 下载后打开 .exe 文件下载 anaconda: 选择安装路径(用默认的路径也可以): 这里两个都选: 然后安装就可以了。 打开 cmd,输入 conda(如果是

    2024年02月03日
    浏览(98)
  • 配置Cuda及Cudnn,在Anaconda创建虚拟环境,安装GPU版Pytorch,并在Jupyter noterbook及Pycharm中调用【极其详细】

    目录  一、配置Cuda及Cudnn (一)下载Cuda 1、查看电脑自带的Cuda版本 2、下载相应版本Cuda安装包 3、安装Cuda 4、配置变量 (二)下载Cudnn 二、创建虚拟环境 三、虚拟环境中安装GPU版Pytorch (一)有关环境的基本指令 (二)安装GPU版Pytorch 四、将虚拟环境在Jupyter noterbook及Pycha

    2024年04月28日
    浏览(61)
  • 适合小白的超详细yolov8环境配置+实例运行教程,从零开始教你如何使用yolov8训练自己的数据集(Windows+conda+pycharm)

      目录 一、前期准备+所需环境配置  1.1. 虚拟环境创建 1.2 下载yolov8源码,在pycharm中进行配置 1.2.1 下载源码 1.2.2 在pycharm终端中配置conda 1.3 在pycharm的terminal中激活虚拟环境  1.4 安装requirements.txt中的相关包 1.5 pip安装其他包 1.6 预训练权重的下载  1.7 验证环境配置是否成功

    2024年02月05日
    浏览(76)
  • python调用pytorch的clip模型时报错

    使用python调用pytorch中的clip模型时报错:AttributeError: partially initialized module ‘clip’ has no attribute ‘load’ (most likely due to a circular import) clip源码及官方文档 在使用pyton调用pytorch中的clip模型获取图片的时,根据官方文档的代码描述,代码内容如下 根据官方文档安装pytorc

    2024年02月14日
    浏览(36)
  • 【pytorch】torch.clip() & torch.clamp() 数值裁剪

    这两个函数用法一样,效果也一样。 例子:

    2024年02月11日
    浏览(40)
  • Pytorch环境配置

    cudatoolkit下载:https://developer.nvidia.com/cuda-toolkit-archive cudnn下载:https://developer.nvidia.com/rdp/cudnn-archive cuda支持情况:https://developer.nvidia.com/cuda-gpus#compute cuda和cudnn的对应关系:https://developer.nvidia.com/rdp/cudnn-archive#a-collapse742-10 配置清华源码 安装命令 版本对应: torch 与 torchvision

    2024年02月15日
    浏览(24)
  • pycharm 配置pytorch虚拟环境

    目录 一、前期准备 : 二、创建虚拟环境 1、创建虚拟环境:在黑框中输入 如下指令 2、激活环境,输入如下 三、安装pytorch 1、输入指令 2、进入pytorch官网:PyTorch         下载anaconda、pycharm         下载地址:Anaconda | The World’s Most Popular Data Science Platform 打开anaconda prompt

    2024年02月19日
    浏览(30)
  • 配置pytorch(gpu)分析环境

    Pytorch是目前最火的深度学习框架之一,另一个是TensorFlow。不过我之前一直用到是CPU版本,几个月前买了一台3070Ti的笔记本(是的,我在40系显卡出来的时候,买了30系,这确实一言难尽),同时我也有一台M1芯片Macbook Pro,目前也支持了pytorch的GPU加速,所以我就想着,在这两

    2023年04月08日
    浏览(42)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包