语义分割模型在训练时往往采用python脚本进行网络搭建和训练，并获得训练好的模型。为了提高效率方便整个工程项目部署，实际工程应用中通常希望使用C++编程语言调用训练好的网络模型。查询大量网络资料并踩过无数坑后，经实际测试实现了在window11环境下调用pytorch语义分割模型，具体实现步骤记录如下。
一、系统环境参数
电脑系统：window11
VS版本：2019
pytorch版本：2.1
CUDA版本:cuda11
python版本:3.9.17
二、pytorch模型转换
在C++环境下调用pytorch网络模型，首先需要将其转换为能够识别和调用的网络模型（.pt格式）。新建python脚本实现模型转换。实现代码如下：
import torch
import torchvision
device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu')
filenameCheckpoint = '../checkpoints/checkpoint_end.pth.tar'
checkpoint = torch.load(filenameCheckpoint)
model = checkpoint['arg']
model.load_state_dict(checkpoint['state_dict'])
model.cuda(device)
input_img_rand = torch.rand(1, 3, 608, 608).cuda()
traced_script_module = torch.jit.trace(model, input_img_rand)
traced_script_module.save('forign_detect_model-gpu.pt')
model.cpu()
input_img_rand_cpu = torch.rand(1, 3, 608, 608)
traced_script_module = torch.jit.trace(model, input_img_rand_cpu)
traced_script_module.save("forign_detect_model-cpu.pt")
三、libtorch库下载
这个库是实现模型调用的关键，进入pytorch官网即可下载，下载时参数选择如下图，本文下载的是release版本，下载链接如下：libtorch。下载完成后解压到固定目录即可。
四、VS2019环境配置
打开vs2019，创建空项目，新建main.cpp。注意切换选择为x64模式。打开项目属性页进行环境配置。属性页中C/C++->常规->附件包含目录。添加头文件路径（根据libtorch实际的路径修改），如下图所示。后期会使用到opencv,需要进行 opencv环境配置
然后配置 链接器->常规->附加库目录，配置如下图：
继续配置依赖项：链接器->输入->附加依赖项。如下图所示：
为方便输入，依赖项如下：
asmjit.lib
c10.lib
c10_cuda.lib
caffe2_nvrtc.lib
clog.lib
cpuinfo.lib
dnnl.lib
fbgemm.lib
fbjni.lib
kineto.lib
libprotobuf.lib
libprotobuf-lite.lib
libprotoc.lib
nvfuser_codegen.lib
pthreadpool.lib
pytorch_jni.lib
torch.lib
torch_cpu.lib
torch_cuda.lib
XNNPACK.lib
opencv_world346.lib（根据OpenCV版本进行修改）最后是调试的环境配置，如下图所示：
配置如下：PATH=D:\CODES\forign_detectC++\libtorch\lib;E:\opencv\build\x64\vc15\bin（需要根据实际库的安装路径修改）。
值得注意的是由于我的pytorch版本较高为2.1，需要使用c++17才能编译成功。因此需要配置C++17,如下图所示。
至此，环境配置环境，接下来开始模型调用实现。
五、pytorch模型调用
main.cpp中完整调用代码如下：输入一张测试图，调用语义分割模型，最后获得语义分割图像。
#include <torch/script.h>
#include <opencv2/opencv.hpp>
#include <iostream>
#include <torch/torch.h>
int main()
{
torch::DeviceType device_type;
if (torch::cuda::is_available()) {
std::cout << "CUDA available! Predicting on GPU." << std::endl;
device_type = torch::kCUDA;
}
else {
std::cout << "Predicting on CPU." << std::endl;
device_type = torch::kCPU;
}
torch::Device device(device_type);
//模型加载
std::string model_pb = "D:\\CODES\\forign_detectC++\\testPro\\forign_detect_model-gpu.pt";
auto module = torch::jit::load(model_pb);
module.to(at::kCUDA);
//测试图像加载
auto image = cv::imread("testimg.png", cv::ImreadModes::IMREAD_COLOR);
cv::Mat image_transfomed;
cv::resize(image, image_transfomed, cv::Size(image.rows, image.cols));
cv::cvtColor(image_transfomed, image_transfomed, cv::COLOR_BGR2RGB);
//转为适合训练的张量维度
torch::Tensor tensor_image = torch::from_blob(image_transfomed.data,
{ image_transfomed.rows, image_transfomed.cols,3 }, torch::kByte);
tensor_image = tensor_image.permute({ 2,0,1 });
tensor_image = tensor_image.toType(torch::kFloat);
tensor_image = tensor_image.div(255);
tensor_image = tensor_image.unsqueeze(0);
tensor_image = tensor_image.to(at::kCUDA);
torch::Tensor output = module.forward({ tensor_image }).toTensor();
//获取预测结果
torch::Tensor pred_out = output[0];
//
std::tuple<torch::Tensor, torch::Tensor> img_reverse_one_hot = torch::max(pred_out, 0);
//类别的最大值
torch::Tensor img_max_value = std::get<0>(img_reverse_one_hot);
//类别最大值索引
torch::Tensor img_max_index = std::get<1>(img_reverse_one_hot);
img_max_index = img_max_index.to(torch::kU8);
img_max_index = img_max_index.to(torch::kCPU);
//tensor 转cv::Mat
cv::Mat img_max_index_mat(image_transfomed.rows, image_transfomed.cols, CV_8U);
std::memcpy((void*)img_max_index_mat.data, img_max_index.data_ptr(), sizeof(torch::kU8) * img_max_index.numel());
//给预测结果赋值颜色
cv::Mat coloredImg(image_transfomed.rows, image_transfomed.cols, CV_8UC3);
const cv::Vec3b colorMap[] =
{
cv::Vec3b(0,0,0),
cv::Vec3b(255,0,0)
};
for (int x = 0; x < coloredImg.rows; x++)
{
for (int y = 0; y < coloredImg.cols; y++)
{
int label = img_max_index_mat.at<uchar>(x, y);
coloredImg.at<cv::Vec3b>(x, y) = colorMap[label];
}
}
//转BGR
cv::cvtColor(coloredImg, coloredImg, cv::COLOR_RGB2BGR);
//与原图合并
cv::bitwise_or(image, coloredImg, coloredImg);
cv::imwrite("output.png", coloredImg);
return 0;
}六、调试过程中遇到的坑
1.vs版本问题，之前使用vs2017，编译一直有问题，即便主函数什么都没有，仅包含头文件也会报错，折腾好几天，换成vs2019就没问题。文章来源：https://www.toymoban.com/news/detail-634286.html
2.libtorch的版本问题，由于我当时下载的是release版本，但vs里面却设置了debug版本，导致程序一运行就会出现debug error abort has been called。因此，需要注意libtorch的版本和vs运行时的模式保持一致。同样注意vs里设置x64模式。
3.c++17问题：pytorh2.1必须使用c++17才能顺利编译，否则会报C++无法编译pytorch的问题，因此需要在vs中的“语言”模块中配置c++17。文章来源地址https://www.toymoban.com/news/detail-634286.html
到了这里，关于Windows11环境下VS2019调用Pytorch语义分割模型（C++版）的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
