【CVPR 2023的AIGC应用汇总(7)】face相关（换脸/编辑/恢复） diffusion扩散/GAN生成对抗网络方法...-Toy模板网

这篇具有很好参考价值的文章主要介绍了【CVPR 2023的AIGC应用汇总(7)】face相关（换脸/编辑/恢复） diffusion扩散/GAN生成对抗网络方法...。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

【CVPR 2023的AIGC应用汇总(6)】医学图像diffusion扩散/GAN生成对抗网络

【CVPR 2023的AIGC应用汇总(5)】语义布局可控生成，基于diffusion扩散/GAN生成对抗

【CVPR 2023的AIGC应用汇总(4)】图像恢复，基于GAN生成对抗/diffusion扩散模型

【CVPR 2023的AIGC应用汇总（3）】GAN改进/可控生成的方法10篇

【CVPR 2023的AIGC应用汇总(2)】可控文生图，基于diffusion扩散模型/GAN生成对抗

【CVPR 2023的AIGC应用汇总(1)】图像转换/翻译，基于GAN生成对抗/diffusion扩散模型

1、A Hierarchical Representation Network for Accurate and Detailed Face Reconstruction from In-The-Wild Images

受到3DMM低维表示能力的限制，大多数基于3DMM的面部重建（ face reconstruction，FR）方法无法恢复高频面部细节，如皱纹、酒窝等。有人尝试通过引入细节图或非线性操作来解决这个问题，然而，结果仍不是很生动。

为此，本文提出一种新的分层表示网络（hierarchical representation network，HRN），以实现从单幅图像中进行精确和详细的面部重建。具体来说，实现了几何解耦，引入分层表示来实现详细的面部建模。同时，引入3D面部细节的先验知识，以提高重建结果的准确性和真实性。

还提出了一个去修饰模块，以实现几何和外观的更好解耦。值得注意的是，通过考虑不同视角的细节一致性，可以扩展到多视角方式。两个单视角和两个多视角FR基准上的大量实验表明，方法在重建精度和视觉效果方面优于现有方法。

最后，引入了一个高质量的3D人脸数据集FaceHD-100，以推动高保真面部重建的研究。项目主页地址为https://younglbw.github.io/HRN-homepage/

【CVPR 2023的AIGC应用汇总(7)】face相关（换脸/编辑/恢复） diffusion扩散/GAN生成对抗网络方法...

2、DR2: Diffusion-based Robust Degradation Remover for Blind Face Restoration

盲面部修复（Blind face restoration）通常使用预定义的退化模型将退化的低质量数据为训练数据，而在现实世界中可能发生更复杂的情况。和实际退化之间的差距，对修复性能造成影响，输出结果中常常观察到伪影。然而，在训练数据中包含所有类型的退化，想足以覆盖现实世界的情况，是昂贵的且不可行的。

为了解决这个鲁棒性问题，提出了基于扩散的鲁棒退化去除器（Diffusion-based Robust Degradation Remover，DR2），首先将退化图像转换为粗糙但不受退化影响的预测，然后采用增强模块将粗糙预测恢复为高质量图像。通过利用性能优越的去噪扩散概率模型，DR2将输入图像扩散到嘈杂状态，各种类型的退化让位于高斯噪声，然后通过迭代去噪步骤捕获语义信息。因此，DR2对常见退化（如模糊、调整大小、噪声和压缩）具有鲁棒性，并且与不同设计的增强模块相兼容。

各种设定下的实验表明，在严重退化的合成和现实世界数据集上优于当前最优秀的方法。

3、DiffusionRig: Learning Personalized Priors for Facial Appearance Editing

解决从少量同一个人的肖像照片（例如，20 张]）中学习个人特定面部先验的问题。这使我们能够编辑这个特定人的面部表情，如表情和光照，同时保留他们的身份和高频面部细节。

提出DiffusionRig，基于扩散模型，由自然场景下的单图像中估计的粗糙的 3D 人脸模型条件。在高层次上，DiffusionRig 学会将简单的 3D 人脸模型渲染为给定人物的真实照片。具体来说，DiffusionRig 分两阶段进行训练：首先从大规模脸部数据集中学习通用的面部先验，然后从感兴趣的人物的一小部分肖像照片集中学习个人特定的先验。通过学习这种个性化的先验中的 CGI-to-photo 映射，仅仅在粗糙的 3D 模型条件下，DiffusionRig 可以“操纵”肖像照片的光照、面部表情、头部姿势等，同时保留这个人的身份和其他高频特征。

定性和定量实验表明，DiffusionRig 在身份保护和照片写实方面均优于现有方法。详细的补充材料、视频、代码和数据网站：https://diffusionrig.github.io

4、Fine-Grained Face Swapping via Regional GAN Inversion

提出一种新的高保真换脸范式，能够保留期望的微妙几何和纹理细节。从微观面部编辑的角度重新思考换脸任务，基于“编辑用于互换（editing for swapping）”（E4S）的原则，提出了一种基于面部组件形状和纹理的显式解耦方法。

遵循E4S原则，实现面部特征的全局和局部互换，以及由用户指定的部分互换。此外，E4S范式通过面部遮罩固有地处理面部遮挡问题。核心是一种新的区域GAN逆映射（RGI）方法，它允许显式解耦形状和纹理，同时允许在StyleGAN的潜在空间中进行面部互换。具体来说，设计了一个多尺度遮罩引导编码器，将每个面部组件的纹理投影到区域样式码中。还设计了一个遮罩引导注入模块，用样式码操作特征映射。基于解耦，面部互换被重新制定为样式和遮罩互换的简化问题。

与现有技术的大量实验和比较表明，方法在保留纹理和形状细节方面以及处理高分辨率图像方面具有优越性。项目页面地址为https://e4s2022.github.io