PyTorch 分类模型的转换和使用 OpenCV C++ 启动-Toy模板网

这篇具有很好参考价值的文章主要介绍了PyTorch 分类模型的转换和使用 OpenCV C++ 启动。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

目标

在本教程中，您将学习如何：

将 PyTorch 分类模型转换为 ONNX 格式
使用 OpenCV C/C++ API 运行转换后的 PyTorch 模型
提供模型推理

我们将以 ResNet-50 架构为例来探讨上述几点。

介绍

让我们简要回顾一下使用 OpenCV API 进行 PyTorch 模型转换的管道中涉及的关键概念。将 PyTorch 模型转换为 cv：:d nn：：Net 的第一步是将模型转换为 ONNX 格式。ONNX 旨在实现神经网络在各种框架之间的可互换性。PyTorch 中有一个用于 ONNX 转换的内置函数：torch.onnx.export。此外，将获得的模型传入 cv：:d nn：：readNetFromONNX 或 cv：:d nn：：readNet。.onnx

要求

为了能够试验以下代码，您需要安装一组库。为此，我们将使用 python3.7+ 的虚拟环境：

virtualenv -p /usr/bin/python3.7 <env_dir_path>

源<env_dir_path>/bin/activate

对于从源代码构建 OpenCV-Python，请遵循 OpenCV 简介中的相应说明。

在开始安装库之前，可以自定义要求 .txt，排除或包括（例如）某些依赖项。以下行将需求安装启动到先前激活的虚拟环境中：opencv-python

pip 安装 -r 要求.txt

实践

在这一部分中，我们将介绍以下几点：

创建分类模型转换管道
提供推理、过程预测结果

模型转换管道

本子章中的代码位于模块中，可以使用以下行执行：samples/dnn/dnn_model_runner

python -m dnn_model_runner.dnn_conversion.pytorch.classification.py_to_py_resnet50_onnx

以下代码包含下面列出的步骤的说明：

实例化 PyTorch 模型
将 PyTorch 模型转换为.onnx

# 初始化 PyTorch ResNet-50 模型

original_model = models.resnet50（预训练=True）

# 获取转换为 ONNX PyTorch 模型的路径

full_model_path = get_pytorch_onnx_model（original_model）

print（“PyTorch ResNet-50 模型已成功转换：”， full_model_path）

get_pytorch_onnx_model(original_model)函数基于调用：torch.onnx.export(...)

# 定义进一步转换后的模型保存目录

onnx_model_path = “模型”

# 定义进一步转换的模型名称

onnx_model_name = “resnet50.onnx”

# 为进一步转换的模型创建目录

os.makedirs（onnx_model_path， exist_ok=True）

# 获取转换后模型的完整路径

full_model_path = os.path.join（onnx_model_path， onnx_model_name）

# 生成模型输入

generated_input = 变量（

火炬.randn（1， 3， 224， 224）

)

# 模型导出为 ONNX 格式

torch.onnx.export（

original_model，

generated_input，

full_model_path，

verbose=真，

input_names=[“输入”]，

output_names=[“输出”]，

opset_version=11

)

成功执行上述代码后，我们将得到以下输出：

PyTorch ResNet-50 模型已成功转换：models/resnet50.onnx

模块中建议的模块允许我们为以下 PyTorch 分类模型重现上述转换步骤：dnn/samplesdnn_model_runner

亚历克斯网
VGG11型
VGG13型
VGG16型
VGG19型
resnet18
resnet34
resnet50的
resnet101的
resnet152
squeezenet1_0
squeezenet1_1
resnext50_32x4d
resnext101_32x8d
wide_resnet50_2
wide_resnet101_2

要获得转换后的模型，应执行以下行：

python -m dnn_model_runner.dnn_conversion.pytorch.classification.py_to_py_cls --model_name <pytorch_cls_model_name> --evaluate False

对于 ResNet-50 情况，应运行以下行：

python -m dnn_model_runner.dnn_conversion.pytorch.classification.py_to_py_cls --model_name resnet50 --evaluate False

转换后的模型存储的默认根目录在模块中定义：CommonConfig

@dataclass

类 CommonConfig：

output_data_root_dir：str = “dnn_model_runner/dnn_conversion”

因此，转换后的 ResNet-50 将保存在 .dnn_model_runner/dnn_conversion/models

推理流水线

现在，我们可以使用 OpenCV C/C++ API 用于推理管道。可以在 samples/dnn/classification.cpp 中找到已实现的管道。构建示例后（标志值应为），将提供相应的可执行文件。models/resnet50.onnxBUILD_EXAMPLESONexample_dnn_classification

为了提供模型推理，我们将使用下面与 ImageNet 类 ID 335 相对应的松鼠照片（在 CC0 许可下）：

狐狸松鼠、东方狐狸松鼠、黑狐狸

PyTorch 分类模型的转换和使用 OpenCV C++ 启动,pytorch,分类,opencv,人工智能,计算机视觉

分类模型输入图像

对于所获得的预测的标签解码，我们还需要文件，其中包含 ImageNet 类的完整列表。imagenet_classes.txt

在本教程中，我们将从 build （）目录运行转换后的 PyTorch ResNet-50 模型的推理过程：samples/build

./dnn/example_dnn_classification --model=../dnn/models/resnet50.onnx --input=../data/squirrel_cls.jpg --width=224 --height=224 --rgb=true --scale=“0.003921569” --mean=“123.675 116.28 103.53” --std=“0.229 0.224 0.225” --crop=true --initial_width=256 --initial_height=256 --classes=../数据/dnn/classification_classes_ILSVRC2012.txt

让我们一步一步地探索关键点：classification.cpp

使用 cv：:d nn：：readNet 读取模型，初始化网络：

Net net = readNet（model， config， framework）;

参数值取自 key。在我们的例子中，它是 .model--modelresnet50.onnx

预处理输入图像：

if （rszWidth ！= 0 && rszHeight ！= 0）

{

resize（frame， frame， Size（rszWidth， rszHeight））;

}

从帧创建 4D blob

blobFromImage（frame， blob， scale， Size（inpWidth， inpHeight）， mean， swapRB， crop）;

检查 std 值。

if （std.val[0] ！= 0.0 && std.val[1] ！= 0.0 && std.val[2] ！= 0.0）

{

将 blob 除以 std。

除法（blob， std， blob）;

}

在此步骤中，我们使用 cv：:d nn：：blobFromImage 函数来准备模型输入。我们按照 PyTorch ResNet 推理管道中的描述设置初始图像大小调整。Size(rszWidth, rszHeight)--initial_width=256 --initial_height=256

需要注意的是，首先在cv：:d nn：：blobFromImage中减去平均值，然后将像素值乘以小比例。因此，我们使用，这相当于乘以来重现 PyTorch 分类模型的原始图像预处理顺序：--mean="123.675 116.28 103.53"[0.485, 0.456, 0.406]255.0

图像 /= 255.0

图片 -= [0.485， 0.456， 0.406]

img /= [0.229， 0.224， 0.225]