论文标题
Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement
简单翻译:通过Nerf恢复网格结构
论文下载地址,点这里
1:网格知识点介绍(可跳过):
3D模型有三种表达方式,体素(Voxel),网格(Mesh),点云(Point Cloud)、SDF等,但在实际渲染应用中,主流的表达方式用的是网格。类似下图,任务3D模型都可以用一段段的网格来表示。
有了网格我们可以做什么?很简单,我们只需要给网格模型进行贴图(穿衣服)就可以实现其大致模型的塑造。具体如何贴图可以见我上篇文章
Blender3D建模过程
现在正式开始介绍论文工作(个人理解)
2:生成网格模型的步骤:
(1)利用Nerf进行新视图的合成,初始化几何视图
(2)在新视图基础上提取粗网络,用于几何和外观的联合优化
(3)在粗网络的基础上进行细化,将其优化为具有更精确表面和自适应面密度的细网格
(4)纹理编辑,我们将外观分解为与视图无关的漫反射和与视图相关的镜面项,因此漫反射颜色可以导出为标准的RGB图像纹理。
(4)或者表达为用几何图形共同优化外观,并将其烘焙成纹理图像进行实时渲染
3:下面将结合图片来对论文有个大概的了解:
(1)左边是生成的RGB视图;
(2)中间是通过对图中物体的学习,得到其网格结构,可以应用到硬件或者软件中;
(3)右图是该框架的应用,比如我们可以在渲染好的船身上去进行贴图,图中就是贴了一些五角星的图。
上图,表示了在第1阶段,通过对物体进行粗网格的提取,再之后通过网格精细化得到细网格(Fine Mesh)
之后对于物体的表明纹理,其通过MLP网络去学习颜色网格,输出2个值,分别代表漫反射(Diffuse)和镜面反射(Specular)两个参数,来辅助最终的模型渲染。
图3,中右两图分别展示了漫反射颜色以及镜面反射颜色的情况,
简单介绍下
漫反射是射在粗糙表面上的光向各个方向反射,亮度没有全反射那样高。但辐射的范围广
镜面反射是指若反射面比较光滑,当平行入射的光线射到这个反射面时,仍会平行地向一个方向反射出来。这种情况下投射进人眼的光线集中且多,就很亮,但是辐射域很小,只能在特点角度眼睛才可以接受到镜面反射的光。
左图到右图是一个粗网格到细网格的细化过程前后对比,可以比较好地看见细网格下的模型表达的细节信息更加丰富
实验对比
与以前的方法相比,文章的方法获得了更好的网格重建质量,特别是在具有复杂拓扑结构的薄结构上。将网格从NeuS减少到原始人脸的25%,因为它们太密集而无法可视化
渲染质量比较
纹理图像的可视化
图7展示了由于增强的表面质量,文章框架下生成的纹理更加紧凑和直观,也就是右图。
定性消融结果:
将不同设置下的网格结构和纹理图像可视化
本文因为小编水平有限,可能会有一些错误,希望读者可以对有误的地方进行提出改进。
共勉!文章来源:https://www.toymoban.com/news/detail-432495.html
最后,如果我的文章对大家有帮助的话,可以关注我的公众号 《AI知识物语》,会定期更新3D视觉相关工作,论文解读等等,
B站账号 出门吃三碗饭,会更新相关讲解视频,
我的B站
以及我的Github仓库,有需要的话,会把相关代码数据集放在github仓库里面
我的Github文章来源地址https://www.toymoban.com/news/detail-432495.html
到了这里,关于论文解读Nerf2Mesh:基于Nerf的网格资产生成的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!