[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts-Toy模板网

这篇具有很好参考价值的文章主要介绍了[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d

pdf

Text-to-3D任务中，对3D模型外观的控制不强，本文提出IPDreamer来解决该问题。
在NeRF Training阶段，IPDreamer根据文本用ControlNet生成参考图，并将参考图作为Zero 1-to-3的控制条件，用基于Zero 1-to-3的SDS损失生成粗NeRF。
在Mesh Training阶段，IPDreamer将NeRF用DMTet转换为3D Mesh，并分别优化Mesh的几何与纹理。1）用参考图的法向图编码作为控制信号，用IPSD (Image Prompt Score Distillation) 优化3D Mesh的几何；2）用渲染rgb图像编码（和法向图差异）作为控制信号，用IPSD优化3D Mesh的纹理。
将Text-to-3D任务，转换为单图重建任务，实现了更好的外观控制。

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d

Method

NeRF Training

Mesh Training

Experiments

Some Results

编辑Comparison with SOTA Text-to-3D Methods

Method

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d

NeRF Training

Image Generation. 给定文本描述和控制条件，本文用ControlNet生成参考图片。
Training of the Coarse NeRF Model. 给定参考图片，本文用基于Zero 1-to-3的SDS损失生成粗NeRF。

Mesh Training

Mesh Extraction. 给定粗NeRF，本文用DMTet将其转换为3D Mesh。3D Mesh由顶点V和四面体T（tetrahedrons）组成。每个顶点包含一个signed distance field (SDF) 值和形变值组成。描述了相较于初始正则坐标的变换。本文基于IPSD优化。
Geometry Optimization. Fantasia3D和ProlificDreamer用SDS优化3D Mesh的法向图，实现几何优化。但常用扩散模型缺少法向图的训练数据，导致几何优化效果不佳。为解决该问题，本文引入法向图编码，其中是IP-Adapter的denosing model。IPSD几何损失表达如下：

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d

Texture Optimization. 首先，提取参考图像编码。其次，计算渲染角度和参考角度的法向图编码，并计算差值得到。这一步的目的是希望用 $[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d$ 来表征任意渲染角度图像的图像编码。IPSD纹理损失表达如下：

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d

Experiments

Some Results

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d

Comparison with SOTA Text-to-3D Methods

[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts,3d 文章来源地址https://www.toymoban.com/news/detail-724253.html

到了这里，关于[23] IPDreamer: Appearance-Controllable 3D Object Generation with Image Prompts的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！