CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF-Toy模板网

这篇具有很好参考价值的文章主要介绍了CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

来源：投稿作者：橡皮
编辑：学姐

CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF

论文链接：https://arxiv.org/abs/2303.13843

0.背景：

最近，文本到图像生成通过将视觉-语言预训练模型与扩散模型相结合，取得了巨大的成功。这些突破也使得强大的视觉-语言预训练模型在文本生成三维内容中产生了深远的影响。最近，几种文本生成3D的方法已经表明，将来自差分3D模型的渲染视图与来自预先训练的扩散模型的学习到的文本到图像分布相匹配，可以获得显著的结果。

然而，文本描述通常是用于期望的目标3D模型或2D图像的抽象规范。尽管拥有强大的扩散模型，例如stable diffusion，它已经在数十亿的文本图像对上进行了训练，但从文本中生成不同视点的几何相干图像仍然是一个挑战。

在给定包含多个对象的文本的情况下，扩散模型可能会产生不准确的结果，导致对象丢失或语义混乱，有时即使使用简单的多对象文本，稳定扩散也无法保持对象身份和几何一致性。这显然与NeRF中体积渲染的本质相矛盾，导致了障碍引导崩溃，尤其是在从多对象文本中渲染复杂场景时。

因此，这自然提出了一个问题：是否可以从3D场景生成的扩散模型的不可知分布中准确地学习和组合多对象文本中的所有概念。

CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF

1.主要贡献：

通过将可编辑的3D布局与多个局部NeRF集成，以精确关联特定结构的文本引导，来解决多物体3D场景生成中的引导崩溃问题

通过引入全局MLP来校准全局场景颜色和不同级别的文本引导，以在学习单个实体的全局一致性的同时保持对象的身份，从而解决全局一致性和遮挡问题。

全面评估了我们提出的方法在各种多对象场景中的有效性，展示了其以合成方式生成3D场景并提供灵活编辑功能的能力。

CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF

2.网络介绍： CompoNeRF

由三部分组成：

可编辑的3D场景布局通过3D框和文本提示配置场景表示；
场景渲染包括全局校准和合成过程；
联合优化将全局和局部文本指导应用于全局和局部渲染视图。

CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF

3.1方法细节：概述

上图展示了pipeline，由三个主要组件组成：包括基于多对象文本的可编辑3D场景布局（第3.3节），合成所有局部NeRF预测的场景渲染pipeline（第3.4节），以及局部和全局表示模型的联合优化（第3.5节），提出的可编辑3D场景布局通过将其分解为一组局部帧来表示场景的全局帧，其中每个局部帧由局部NeRF、3D边界框和相应的局部文本提示参数化。

例如，文本提示“一只泰迪熊和一只毛绒猴子并排坐着”被解释为是一个3D场景布局。整个3D布局，即场景帧，由两个3D边界框组成，即局部帧#1和#2，并带有特定的局部文本提示，即“泰迪熊”和“毛绒猴子”。

CVPR23 | 可编辑3D场景布局的文本引导多对象合成NeRF