自动化抹除视频元素
不用逐帧抠图,直接SAM + Tracking + Video Inpainting就能实现自动化抹除奔跑吧idol。
https://github.com/geekyutao/Inpaint-Anything
网站
https://huggingface.co/spaces/InpaintAI/Inpaint-Anything
演示
原理就是,只要在视频的第一帧点击下要抹除的目标,tracking模型随即开始跟踪目标并输出对应的bounding box;这个bounding box可以作为SAM的prompt实现分割,即得到每一帧的目标mask;有了mask之后,video inpainting模型就可以进行填补了,目标物体随之从视频中抹去。
理论上上述方法非常可行有效,但做实验下来,发现实际瓶颈在于目前的video inpainting模型的效果不是非常好,导致最后目标移除的效果有限。
参考文献
https://arxiv.org/pdf/2304.06790.pdf
https://www.zhihu.com/question/612195663/answer/3120899437
文章来源:https://www.toymoban.com/news/detail-615575.html
文章来源地址https://www.toymoban.com/news/detail-615575.html
到了这里,关于Inpaint Anything: 自动化抹除视频元素的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!