论文|
改文章是23年5月27日挂在arxiv上,本文重点关注4.1节Text Guided 3D Avatar Generation、4.4节Text Guided 3D Shape Transformation和第5章Discussion
Text Guided 3D Avatar Generation
DreamAvatar
DreamAvatar: Text-and-Shape Guided 3D Human Avatar Generation via Diffusion Models
https://arxiv.org/abs/2304.00916生成姿态可控的高质量3D人体avatar,包含以下几个部分:
- Trainable NeRF: 预测3D点的密度和颜色特征;
- Pre-trained text-to-image diffusion model:提供2D自监督信息;
- SMPL model:提供粗位姿和形态指导和生成;
- dual-space design:包含canonical space和observation space,这两个空间与NeRF相关,将canonical space的纹理和几何信息传递到目标位姿的avatar;
该文章基于显示模型(SMPL)建模,缺点是缺少纹理细节,优点是可控性强。是目前的主流思路,还包括:
- HeadSculpt: Crafting 3D Head Avatars with Text
DreamFace
DreamFace: Progressive Generation of Animatable 3D Faces under Text Guidance
文本引导的定制化3D人像生成,能够产生逼真的3D人像,包含以下几个部分:
- Score Distillation Sampling (SDS): optimize subtle translations and normals
- dual-path mechanism: 产生中性外观;
- two-stage optimization: 增强用于细粒度合成的紧凑先验,并改善定制化能力
AvatarCraft: Transforming Text into Neural Human Avatars with Parameterized Shape and Pose Controls
MotionCLIP
AvatarCLIP
Text Guided 3D Shape Transformation
传统方法对3D模型的编辑较为繁琐。因此,文本引导的3D模型编辑很有前景。
Instruct-NeRF2NeRF
Instruct 3D-to-3D
SKED文章来源:https://www.toymoban.com/news/detail-595536.html
TextDeformer文章来源地址https://www.toymoban.com/news/detail-595536.html
到了这里,关于[综述] Generative AI meets 3D: A Survey on Text-to-3D in AIGC Era的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!