用NeRFMeshing精确提取NeRF网络中的3D网格

这篇具有很好参考价值的文章主要介绍了用NeRFMeshing精确提取NeRF网络中的3D网格。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

准确的 3D 场景和对象重建对于机器人、摄影测量和 AR/VR 等各种应用至关重要。 NeRF 在合成新颖视图方面取得了成功,但在准确表示底层几何方面存在不足。
用NeRFMeshing精确提取NeRF网络中的3D网格,3d

推荐:用 NSDT编辑器 快速搭建可编程3D场景

我们已经看到了最新的进展,例如 NVIDIA 的 Neuralangelo,但也有 NeRFMeshing,它被提议通过从 NeRF 驱动的网络中提取精确的 3D 网格来解决这一挑战。NeRFMeshing生成的网格在物理上是准确的,并且可以在不同的设备上实时渲染。

1、NeRFMeshing概述

虽然 NeRF 在图像质量、鲁棒性和渲染速度方面显示出令人印象深刻的结果,但从辐射场获取准确的 3D 网格仍然是一个挑战。 现有的表示主要针对视图合成进行优化,而不是明确强制执行精确的几何形状。 这导致使用体积的密集区域而不是零厚度的水平设置表面来近似表面。 此外,大多数以前的方法缺乏实时渲染功能以及与标准 3D 图形管道的兼容性。

NeRFMeshing 提出了一种新颖的管道,用于从经过训练的基于 NeRF 的网络中有效地提取几何精确的网格。 该方法仅增加很小的时间开销,并生成具有精确几何形状和神经颜色的网格,可以在通用硬件上实时渲染。
用NeRFMeshing精确提取NeRF网络中的3D网格,3d

NeRFMeshing的关键组件是有符号表面近似网络 (SSAN: Signed Surface Appriximation Network),它训练后处理 NeRF 管道来定义底层表面和外观。 SSAN 估计截断符号距离场 (TSDF: Truncated Signed Distance Field) 和特征外观场,从而能够提取场景的 3D 三角形网格。 然后使用外观网络渲染该网格以生成与视图相关的颜色。

2、NeRFMeshing的优势

与替代方法相比,NeRFMeshing 具有多种优势。 它可以与任何 NeRF 架构相结合,从而轻松融入该领域的新进展。 该方法可以处理无界场景和复杂的非朗伯表面。 NeRFMeshing 还保持了神经辐射场的高保真度,包括视图相关的效果和反射,使其适合实时新颖的视图合成。

人们已经探索了学习有符号距离函数 (SDF: Signed Distance Field) 等替代方法来提取高质量网格,但通常需要额外的输入模式或固定网格模板。 另一方面,NeRFMeshing 利用 NeRF 的自适应能力来稳健地表示 3D 场景,而无需修改 NeRF 架构。 它克服了可微分网格光栅化器面临的优化问题,并实现了速度和几何精度。

NeRFMeshing 提供了一个端到端管道,用于利用 NeRF 的神经特征提取精确的 3D 网格。 该过程涉及从图像训练 NeRF 网络,然后将训练后的网络提炼到 SSAN 模型中。 该模型估计 TSDF 和外观场,从而可以提取 3D 网格。 生成的网格可以无缝集成到图形和模拟管道中,并实现依赖于视图的实时渲染。

NeRFMeshing 引入了一种从 NeRF 驱动的网络获取精确 3D 网格的新颖方法,解决了精确几何表示的挑战。 生成的网格可以实时渲染并提供高保真度,使其适合各种应用。 NeRFMeshing 的灵活性允许与不同的 NeRF 架构和未来的进步轻松集成。 该方法为真实 3D 场景和对象重建提供了可能性,从而实现基于物理的模拟、实时可视化和交互。


原文链接:NeRFMeshing网格提取 — BimAnt文章来源地址https://www.toymoban.com/news/detail-682056.html

到了这里,关于用NeRFMeshing精确提取NeRF网络中的3D网格的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 浅谈3D隐式表示(SDF,Occupancy field,NeRF)

    本篇文章介绍了符号距离函数Signed Distance Funciton(SDF),占用场Occupancy Field,神经辐射场Neural Radiance Field(NeRF)的概念、联系与区别。 三维空间的表示形式可以分为显式和隐式。 比较常用的显式表示比如 体素Voxel , 点云Point Cloud , 三角面片Mesh 等。 比较常用的隐式表示有 符

    2024年02月15日
    浏览(43)
  • CGAL笔记之网格生成——3D 表面网格生成

    这个包提供了一个函数模板来计算一个近似于表面的三角形网格。 网格划分算法需要仅通过 oracle 了解要划分网格的表面,该 oracle 能够判断给定线段、线或射线是否与表面相交,并计算交点(如果有)。此功能使包足够通用,可以应用于各种情况。例如,它可用于对描述为

    2024年02月10日
    浏览(46)
  • 详细介绍如何使用 NeRF 进行 3D 体积渲染-附源码下载

    在此示例中,我们展示了 Ben Mildenhall 等人的研究论文 NeRF:将场景表示为用于视图合成的神经辐射场的最小实现 。等人。作者提出了一种巧妙的方法,通过神经网络对 体积场景函数 进行建模来 合成场景的新颖视图。 为了帮助您直观地理解这一点,让我们从以下问题开始:

    2024年02月07日
    浏览(64)
  • 打败一切NeRF! 3D Gaussian Splatting 的 简单入门知识

    每次都是在csdn上找救命稻草,这是第一次在csdn上发东西。确实是个不错的笔记网站,还能同步,保存哈哈哈。印象笔记,Onenote逊爆了。研一刚开学两个月,导师放养,给的方向还贼大,发点东西还是想找到相似方向的可以一起交流交流。 关于NeRF和3D GS的关系,这放个意の茗

    2024年02月05日
    浏览(42)
  • Text-to-3D 任务论文笔记: Latent NeRF

    论文链接: https://arxiv.org/pdf/2211.07600.pdf 这篇文章做的task可以简单分为三个: 直接用文本生成3D; 用一个所谓的Sketch-Shape,让用户定义基础形状,然后加上文本,共同去引导生成3D;(Latent-NeRF主体) 用户给定mesh,可以给uv参数,也可以不给,然后引导latent-NeRF去给这个Me

    2024年02月10日
    浏览(47)
  • 港大&谷歌提出GO-NeRF:在NeRF中生成协调且高质量的3D对象

    尽管在3D生成方面取得了进展,但在作为NeRF表示的现有3D场景中直接创建3D对象仍然是未经探索的。这个过程不仅需要高质量的3D对象生成,还需要将生成的3D内容无缝地合成到现有的NeRF中。为此,作者提出了一种新方法,GO-NeRF,能够利用场景上下文进行高质量和谐调的3D对象

    2024年01月18日
    浏览(41)
  • 【三维编辑】Seal-3D:基于NeRF的交互式像素级编辑

    项目主页 : https://windingwind.github.io/seal-3d/ 代码 :https://github.com/windingwind/seal-3d/ 论文 : https://arxiv.org/pdf/2307.15131 随着隐式神经表征(即NeRF)的流行,迫切需要编辑方法与隐式3D模型交互,如后处理重建场景和3D内容创建。 之前的工作在编辑的灵活性、质量和速度方面 都受到了

    2024年02月13日
    浏览(41)
  • 三维重建方法3D gaussian splatting与NeRF的区别和异同

    最近学习了一些三维重建相关的内容,目前比较主要的重建流派就是3DGS以及NeRF,NeRF作为2020年发布的文章轰动一时,影响深远,有很多NeRF based的相关工作在这些年涌现。3DGS作为2023年的new talk of the town,其在保证合成质量的情况下能够以数倍乃至数十倍的速度碾压许多NeRF b

    2024年02月01日
    浏览(39)
  • (NeRF学习)3D Gaussian Splatting & Instant-NGP环境配置

    学习参考: 3D gaussian splatting 安装步骤拆解23.9月 3D Gaussian Splatting入门指南 【五分钟学会渲染自己的NeRF模型,有手就行!】 三维重建instant-ngp环境部署与colmap、ffmpeg的脚本参数使用 如果你已经熟悉了流程只是记不住命令: 1.环境需要 我在conda环境中使用的是python3.8,cuda用的

    2024年02月03日
    浏览(33)
  • CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF

    来源:投稿 作者:橡皮 编辑:学姐 论文链接:https://arxiv.org/abs/2303.13843 最近,文本到图像生成通过将视觉-语言预训练模型与扩散模型相结合,取得了巨大的成功。这些突破也使得强大的视觉-语言预训练模型在文本生成三维内容中产生了深远的影响。最近,几种文本生成3

    2024年02月09日
    浏览(40)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包