介绍
该项目旨在为Segment Anything和MobileSAM创建一个纯 C++ 推理 api ，在运行时不依赖于 Python。代码存储库包含一个带有测试程序的 C++ 库，以便于将接口轻松集成到其他项目中。
模型加载大约需要 10 或 1 秒，单次推理大约需要 20 毫秒，使用 Intel Xeon W-2145 CPU（16 线程）获得。在运行时，如果在 CPU 上运行，该接口可能消耗大约 6GB 或 1GB 内存，如果在 CUDA 上运行，则可能消耗 16GB 或 1GB 内存。这里的“或”表示“Segment Anything”或“MobileSAM”的值。
环境
- Ubuntu 18.04
- Opencv4.6
- Onnxruntime-gpu 1.12.1
ONNX模型准备
mobile_sam.onnx参考此处
mobile_sam_preprocess.onnx参考此处
修改CMakeLists.txt
添加ONNXRUNTIME的根目录
cmake_minimum_required(VERSION 3.21)
set(CMAKE_CXX_STANDARD 17)
project(SamCPP)
find_package(OpenCV CONFIG REQUIRED)
find_package(gflags CONFIG REQUIRED)
set(ONNXRUNTIME_ROOT_DIR /home/yp/lib/onnxruntime/onnxruntime-linux-x64-gpu-1.12.1)
add_library(sam_cpp_lib SHARED sam.h sam.cpp)
set(onnxruntime_lib ${ONNXRUNTIME_ROOT_DIR}/lib/libonnxruntime.so)
target_include_directories(sam_cpp_lib PRIVATE ${ONNXRUNTIME_ROOT_DIR}/include)
target_link_libraries(sam_cpp_lib PRIVATE
${onnxruntime_lib}
${OpenCV_LIBS}
)
add_executable(sam_cpp_test test.cpp)
target_link_libraries(sam_cpp_test PRIVATE
sam_cpp_lib
${OpenCV_LIBS}
gflags
)
编译
mkdir build
cd build
cmake ..
make -j8
使用
./sam_cpp_test -pre_model="models/mobile_sam_preprocess.onnx" -sam_model="models/mobile_sam.onnx" -image="images/input2.jpg" -sam_device="cuda:0"
运行结果
在3080显卡上，可以达到每张图片20ms的处理速度。
文章来源：https://www.toymoban.com/news/detail-707409.html
源码
https://github.com/dinglufe/segment-anything-cpp-wrapper文章来源地址https://www.toymoban.com/news/detail-707409.html
到了这里，关于大模型——MobileSAM的Onnxruntime cpp部署的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
