论文解读Nerf2Mesh:基于Nerf的网格资产生成

这篇具有很好参考价值的文章主要介绍了论文解读Nerf2Mesh:基于Nerf的网格资产生成。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

论文标题

Delicate Textured Mesh Recovery from NeRF via Adaptive Surface Refinement

简单翻译:通过Nerf恢复网格结构

论文下载地址,点这里

论文解读Nerf2Mesh:基于Nerf的网格资产生成

1:网格知识点介绍(可跳过):

3D模型有三种表达方式,体素(Voxel),网格(Mesh),点云(Point Cloud)、SDF等,但在实际渲染应用中,主流的表达方式用的是网格。类似下图,任务3D模型都可以用一段段的网格来表示。

论文解读Nerf2Mesh:基于Nerf的网格资产生成

有了网格我们可以做什么?很简单,我们只需要给网格模型进行贴图(穿衣服)就可以实现其大致模型的塑造。具体如何贴图可以见我上篇文章
Blender3D建模过程

现在正式开始介绍论文工作(个人理解)

2:生成网格模型的步骤:

(1)利用Nerf进行新视图的合成,初始化几何视图

(2)在新视图基础上提取粗网络,用于几何和外观的联合优化

(3)在粗网络的基础上进行细化,将其优化为具有更精确表面和自适应面密度的细网格

(4)纹理编辑,我们将外观分解为与视图无关的漫反射和与视图相关的镜面项,因此漫反射颜色可以导出为标准的RGB图像纹理。

(4)或者表达为用几何图形共同优化外观,并将其烘焙成纹理图像进行实时渲染

3:下面将结合图片来对论文有个大概的了解:

论文解读Nerf2Mesh:基于Nerf的网格资产生成
(1)左边是生成的RGB视图;

(2)中间是通过对图中物体的学习,得到其网格结构,可以应用到硬件或者软件中;

(3)右图是该框架的应用,比如我们可以在渲染好的船身上去进行贴图,图中就是贴了一些五角星的图。

论文解读Nerf2Mesh:基于Nerf的网格资产生成

上图,表示了在第1阶段,通过对物体进行粗网格的提取,再之后通过网格精细化得到细网格(Fine Mesh)

之后对于物体的表明纹理,其通过MLP网络去学习颜色网格,输出2个值,分别代表漫反射(Diffuse)和镜面反射(Specular)两个参数,来辅助最终的模型渲染。

论文解读Nerf2Mesh:基于Nerf的网格资产生成
图3,中右两图分别展示了漫反射颜色以及镜面反射颜色的情况,
简单介绍下

漫反射是射在粗糙表面上的光向各个方向反射,亮度没有全反射那样高。但辐射的范围广

镜面反射是指若反射面比较光滑,当平行入射的光线射到这个反射面时,仍会平行地向一个方向反射出来。这种情况下投射进人眼的光线集中且多,就很亮,但是辐射域很小,只能在特点角度眼睛才可以接受到镜面反射的光。

论文解读Nerf2Mesh:基于Nerf的网格资产生成
左图到右图是一个粗网格到细网格的细化过程前后对比,可以比较好地看见细网格下的模型表达的细节信息更加丰富

实验对比
论文解读Nerf2Mesh:基于Nerf的网格资产生成
与以前的方法相比,文章的方法获得了更好的网格重建质量,特别是在具有复杂拓扑结构的薄结构上。将网格从NeuS减少到原始人脸的25%,因为它们太密集而无法可视化

渲染质量比较

论文解读Nerf2Mesh:基于Nerf的网格资产生成

纹理图像的可视化

论文解读Nerf2Mesh:基于Nerf的网格资产生成
图7展示了由于增强的表面质量,文章框架下生成的纹理更加紧凑和直观,也就是右图。

定性消融结果:

论文解读Nerf2Mesh:基于Nerf的网格资产生成
将不同设置下的网格结构和纹理图像可视化

本文因为小编水平有限,可能会有一些错误,希望读者可以对有误的地方进行提出改进。

共勉!

最后,如果我的文章对大家有帮助的话,可以关注我的公众号 《AI知识物语》,会定期更新3D视觉相关工作,论文解读等等,
B站账号 出门吃三碗饭,会更新相关讲解视频,
我的B站
以及我的Github仓库,有需要的话,会把相关代码数据集放在github仓库里面
我的Github文章来源地址https://www.toymoban.com/news/detail-432495.html

到了这里,关于论文解读Nerf2Mesh:基于Nerf的网格资产生成的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • NeRFMeshing - 精确提取NeRF中的3D网格

    准确的 3D 场景和对象重建对于机器人、摄影测量和 AR/VR 等各种应用至关重要。 NeRF 在合成新颖视图方面取得了成功,但在准确表示底层几何方面存在不足。 推荐:用 NSDT编辑器 快速搭建可编程3D场景 我们已经看到了最新的进展,例如 NVIDIA 的 Neuralangelo,但也有 NeRFMeshing,它

    2024年02月11日
    浏览(53)
  • 服务网格Service Mesh和Istio

    服务网格是一种用于处理微服务架构中服务间通信的网络基础架构。它通过在应用程序的每个服务之间插入代理(通常称为Sidecar代理),来实现服务间通信的控制和管理。这种方式将通信逻辑从应用程序代码中解耦出来,使得开发人员可以专注于业务逻辑而无需担心网络通信

    2024年02月22日
    浏览(46)
  • 什么是服务网格service-mesh?

    第一章 什么是服务网格service-mesh?? 服务网格service-mesh作为云原生cloudNative领域最炙手可热的领域,已经被绝大多数云厂商如GCE,AWS,AliCloud等广泛使用。服务网格为大规模复杂度极高的云原生服务提供了专有的基础设施层,减轻了业务人员的非业务投入压力。 但是service-mesh本

    2024年02月10日
    浏览(49)
  • 用NeRFMeshing精确提取NeRF网络中的3D网格

    准确的 3D 场景和对象重建对于机器人、摄影测量和 AR/VR 等各种应用至关重要。 NeRF 在合成新颖视图方面取得了成功,但在准确表示底层几何方面存在不足。 推荐:用 NSDT编辑器 快速搭建可编程3D场景 我们已经看到了最新的进展,例如 NVIDIA 的 Neuralangelo,但也有 NeRFMeshing,它

    2024年02月11日
    浏览(75)
  • 【Unity】程序创建Mesh(一)Mesh网格、代码创建模型、顶点信息、三角形信息、MeshFilter、MeshRenderer

    Mesh在Unity中是一个核心的组件,被称为网格组件,它主要用于表示3D几何体的数据结构。Mesh由顶点、三角形面以及可选的材质等组成,这些元素共同构建了3D模型的基础。 在Unity中,Mesh的功能非常强大且多样化。它不仅可以用来创建3D模型、绘制几何体、渲染场景,还支持多

    2024年04月15日
    浏览(50)
  • 网格(mesh)点跟踪及在贴图中的应用

            本文介绍网格跟踪的思路及其在贴图中的使用效果。网格跟踪即跟踪所有的网格点,然后根据网格点估算某一点的变形,相较于曲面跟踪可以在保证一定精度条件下大幅提高处理速度。这里介绍一种简单的网格跟踪思路,效果如下图所示:   网格由用户通过输入一个

    2024年02月12日
    浏览(45)
  • Unity获取物体网格(mesh)顶点(vertex)的世界坐标

    ​​​​ 1、获取物体的所有顶点 注意使用:sharedMesh,而不是mesh 2、顶点的坐标转变成世界坐标 注意: 必须用myGameObject.transform.TransformPoint(v1) 而不是transform.TransformPoint(v1),这一句起始等价于:this.gameobject.transform.TransformPoint(v1) 3、剩下的比较简单了,就在是坐标处安放物体

    2024年02月11日
    浏览(54)
  • 【Unity】为网格生成顶点法线(Mesh.RecalculateNormals计算异常的解决方案)

    我们通过代码动态创建的网格,因为没有法线,不会接收到光照。 正常情况下调用Mesh.RecalculateNormals方法,重新生成法线即可。 但特定情况下通过此方法计算出的顶点发现都是(0, 0,0),这种情况下只能手动生成法线了 如下图,左边物体有正确的法线,可以接收光照信息,

    2024年02月13日
    浏览(43)
  • 关于unity粒子系统renderer设为mesh(网格)模式后无法旋转的问题

     将其中的render alignment设为local就可以了

    2024年02月12日
    浏览(49)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包