今年来AI的发展非常迅速,在工业、医疗等等行业逐渐出现相应的解决方案,AI也逐渐成为各行业基础设施建设重要的一环,未来发展的大趋势,不过这也需要一个漫长的过程,需要很多技术型人才加入其中,除了工业设施的基础建设,在娱乐方向也有很多有趣的能力,不如图片/视频换背景、人像(图片/视频)动漫化、图片内容擦除等等。
今天我们来尝试操作一下使用图片内容擦除模型来实现相应的功能,首先来看看擦除模型:
1、advimman/lamaGitHub - advimman/lama: 🦙 LaMa Image Inpainting, Resolution-robust Large Mask Inpainting with Fourier Convolutions, WACV 2022
2、fenglinglwb/MAT
GitHub - fenglinglwb/MAT: MAT: Mask-Aware Transformer for Large Hole Image Inpainting
3、 Picsart-AI-Research/MI-GA
GitHub - Picsart-AI-Research/MI-GAN: [ICCV 2023] MI-GAN: A Simple Baseline for Image Inpainting on Mobile Devices
还有很多,详情见MI-GAN: A Simple Baseline for Image Inpainting on Mobile Devices – IOPaint
擦除模型基于图片物体兴趣区域(Rect)分割的mask结果,结合原图实现图片多余内容的擦除。
其实在Opencv里也有图片修复功能(inpaint),简单的图片修复、多余内容擦除还是可以实现的,比如图片/视频擦除水印、一些小的划痕等等,但是对于大范围的内容擦除就无能为力了,虽然可以擦除效果还是太差,有很多像素异常内容。
物体分割模型也有很多:
1、facebookresearch/segment-anything
GitHub - facebookresearch/segment-anything: The repository provides code for running inference with the SegmentAnything Model (SAM), links for downloading the trained model checkpoints, and example notebooks that show how to use the model.
2、ChaoningZhang/MobileSAM
GitHub - ChaoningZhang/MobileSAM: This is the official code for MobileSAM project that makes SAM lightweight for mobile applications and beyond!
3、 SysCV/sam-hq
GitHub - SysCV/sam-hq: Segment Anything in High Quality [NeurIPS 2023]
4、 chongzhou96/EdgeSAM
GitHub - chongzhou96/EdgeSAM: Official PyTorch implementation of "EdgeSAM: Prompt-In-the-Loop Distillation for On-Device Deployment of SAM"
SEG-CPP是对于以上物体分割模型的C++实现,也对其进行模型onnx的转化,里面也实现了对相关模型的量化处理,是模型大小减小了数倍,为物体分割模型在移动设备上使用奠下基础。文章来源:https://www.toymoban.com/news/detail-849842.html
要实现物体分割模型和物体擦除模型在Android上使用,我们需要文章来源地址https://www.toymoban.com/news/detail-849842.html
到了这里,关于Android+OnnxRuntime+Opencv+Onnx模型操作图片擦除多余内容的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!