摘要
随着隐式神经表示或神经辐射场 (NeRF) 的流行,迫切需要与隐式 3D 模型交互的编辑方法,以完成后处理重建场景和 3D 内容创建等任务。虽然之前的作品从不同角度探索了 NeRF 编辑,但它们在编辑灵活性、质量和速度方面受到限制,无法提供直接的编辑响应和即时预览。关键的挑战是构思一种本地可编辑的神经表示,它可以直接反映编辑指令并立即更新。为了弥补这一差距,我们提出了一种新的隐式表示交互式编辑方法和系统,称为 Seal-3D,它允许用户以像素级和自由的方式编辑 NeRF 模型,并具有广泛的类 NeRF 主干网,并预览 立即编辑效果。为了实现这些效果,我们提出的代理函数将编辑指令映射到 NeRF 模型的原始空间,以及具有局部预训练和全局微调的student-teacher训练策略来解决这些挑战。NeRF 编辑系统旨在展示各种编辑类型。我们的系统可以以约1秒的交互速度实现引人注目的编辑效果。
工程链接:https://windingwind.github.io/seal-3d/
框架
左图:用户编辑后目标空间的 3D 点和视图方向映射到原始源空间,以从教师模型获取指导 ct、σt 以进行学生训练。右图:学生训练由两个阶段组成:快速预训练,通过局部损失更新网络的部分参数来提供即时预览,以及全局损失的微调。
实验结果
第一个交互式像素级 NeRF 编辑工具。我们设计了一种交互式用户编辑方法和系统 Seal-3D,通过我们新颖的预训练策略实现了即时(约 1 秒)预览(左)。通过短时间(1~2分钟)的微调,可以进一步获得高质量的编辑结果。我们实施编辑的编辑结果工具(右)与原始表面(左)上丰富的阴影细节(例如阴影)在视图上保持一致。
3D内容编辑
结论
文章来源:https://www.toymoban.com/news/detail-635225.html
我们引入了一个用于神经辐射场像素级编辑的交互式框架,支持即时预览。具体来说,我们利用student-teacher蒸馏方法提供编辑指导,并设计两阶段训练策略来实现网络即时收敛,以获得粗略结果作为预览。与以前的工作不同,我们的方法不需要任何显式代理(例如网格),从而提高了交互性和用户友好性。我们的方法还支持在编辑的表面上保留着色效果。一个限制是我们的方法不支持复杂的依赖于视图的照明效果,例如镜面反射,并且不能改变场景照明,这可以通过引入内在合成来改进。此外,我们的方法不处理原始 NeRF 网络的重建失败(例如浮动伪影)。文章来源地址https://www.toymoban.com/news/detail-635225.html
到了这里,关于计算机视觉与图形学-神经渲染专题-Seal-3D(基于NeRF的像素级交互式编辑)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!