Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用

这篇具有很好参考价值的文章主要介绍了Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

欢迎关注我的CSDN:https://spike.blog.csdn.net/
本文地址:https://spike.blog.csdn.net/article/details/131856141

Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用,Stable Diffusion,stable diffusion

官网:GitHub - roop,参考论文:RobustSwap: A Simple yet Robust Face Swapping Model against Attribute Leakage

面部替换的目标是将源图像的身份(即,面部特征)注入目标图像,同时严格保留与身份无关的目标属性。然而,以前的方法仍然受到源属性泄露的困扰,其中源图像的属性会干扰目标图像的属性。通过分析 StyleGAN 的潜在空间,并且找到适合面部替换任务的潜在组合。因此,开发出简单但稳健的面部替换模型,RobustSwap,对于可能的源属性泄露有抵抗力。此外,利用 3DMM 的隐式和显式信息的协调作为指导,以融入源图像的结构和目标图像的精确姿势。尽管方法仅使用没有身份标签的图像数据集进行训练,但是模型具有生成高保真度和时间一致性视频的能力。通过大量的定性和定量评估,在合成图像和视频方面,与以前的面部替换模型相比,有显著的改进。


1. 测试 SD 模型

模型:墨幽人造人_v1010,使用 LiblibAI 墨幽人造人 官网下载,同时包括 麦橘写实,参考:

wget https://liblibai-online.liblibai.com/web/model/6a226dd292a983b3ed4987402453ad4d954b77825c1cf99d39d8746909791761.safetensors?attname=%E5%A2%A8%E5%B9%BD%E4%BA%BA%E9%80%A0%E4%BA%BA_v1010.safetensors -O 墨幽人造人_v1010.safetensors

wget https://liblibai-online.liblibai.com/web/model/e4a30e4607faeb06b5d590b2ed8e092690c631da0b2becb6224d4bb5327104b7.safetensors?attname=majicMIX%20realistic%20%E9%BA%A6%E6%A9%98%E5%86%99%E5%AE%9E_v6.safetensors -O 麦橘写实_MajicMIX_Realistic_v6.safetensors

LiblibAI 下载速度约 10M / s,非常快。

其他真实系模型包括:MajicMIX、DreamShaper 等。

Embeddings 模型:

  • Age Slider,控制年龄,由不同的 Embeddings 控制。
  • Gender Slider,控制性别,由不同的 Embeddings 控制。

LoRA 模型:

  • Fashion Girl,LoRA,提升真实系模型的人物表现。

2. 安装 Roop 插件

Roop 插件:https://github.com/s0md3v/sd-webui-roop

下载插件:

git clone https://ghproxy.com/https://github.com/s0md3v/sd-webui-roop.git

安装包:

pip install insightface==0.7.3
pip install --upgrade protobuf

下载: inswapper_128.onnx,放入 <webui_dir>/models/roop/

cd stable_diffusion_webui_docker/models/roop

bypy downfile /stable_diffusion/extensions/roop/inswapper_128.onnx inswapper_128.onnx

下载其他模型文件:

bypy downfile /stable_diffusion/extensions/roop/roop_other_models.zip roop_other_models.zip

模型位置:

cd ~
mkdir .ifnude
cd .ifnude
# detector.onnx 和 classes
mv roop_other_models/.ifnude/* .

cd ~
mkdir .insightface
cd .insightface
# .insightface/models/buffalo_l
# 1k3d68.onnx\2d106det.onnx\det_10g.onnx\genderage.onnx\w600k_r50.onnx
mv roop_other_models/.insightface/* .

inswapper_128.onnx: 下载地址 henryruhs/roop at main (huggingface.co)

安装 Roop 插件成功,版本 v0.0.2,在下面的插件区域显示,如下:

Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用,Stable Diffusion,stable diffusion


3. 生成测试图像

正向提示词:

1girl,black footwear,black hair,boots,curtains,dress,floral print,full body,handbag,lips,long hair,long sleeves,looking at viewer,polka dot legwear,shoes,smile,solo,standing,tile floor,tile wall,
a woman standing in front of a building wearing a gray dress and purple socks and a gray jacket with polka dots,Ayami Kojima,long black hair,a hologram,private press,
best quality,masterpiece,ultra high res,(photorealistic:1.4),

负向提示词:

(ng_deepnegative_v1_75t,badhandv4,bad_prompt_version2-neg,EasyNegative:0.9),(worst quality, low quality:1.3),(depth of field, blurry:1.2),(greyscale, monochrome:1.1),croped,lowres,text,jpeg artifacts,(logo,signature,watermark,username,artist name,title:1.3),

注意:提示词来源真实图像反推

After Detailer:

  • After Detailer 的脸部提示词,推荐:detailed face, close-up, portrait,
  • After Detailer 的手部提示词,推荐:detailed hand, perfect hand,
  • After Detailer 相关的 ControlNet 模型,推荐 Inpaint 模型,Module 选择 Inpaint_global_harmonious。 测试效果不好。

其他配置:

  • Upscale: 8x_NMKD-Superscale_150000_G 算法,适合真人风格。
  • 固定随机种子:2086435253

墨幽人造人的信息汇总:

1girl,black footwear,black hair,boots,curtains,dress,floral print,full body,handbag,lips,long hair,long sleeves,looking at viewer,polka dot legwear,shoes,smile,solo,standing,tile floor,tile wall,
a woman standing in front of a building wearing a gray dress and purple socks and a gray jacket with polka dots,Ayami Kojima,long black hair,a hologram,private press,
best quality,masterpiece,ultra high res,(photorealistic:1.4),
Negative prompt: (ng_deepnegative_v1_75t,badhandv4,bad_prompt_version2-neg,EasyNegative:0.9),(worst quality, low quality:1.3),(depth of field, blurry:1.2),(greyscale, monochrome:1.1),croped,lowres,text,jpeg artifacts,(logo,signature,watermark,username,artist name,title:1.3),
Steps: 35, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 2086435253, Size: 768x1024, Model hash: 6a226dd292, Model: 墨幽人造人_v1010, Denoising strength: 0.3, Clip skip: 2, ADetailer model: face_yolov8n.pt, ADetailer prompt: "detailed face, close-up, portrait, ", ADetailer confidence: 0.3, ADetailer dilate/erode: 4, ADetailer mask blur: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding: 32, ADetailer version: 23.7.6, Hires upscale: 2, Hires steps: 10, Hires upscaler: 8x_NMKD-Superscale_150000_G, Version: v1.4.0

麦橘写实的信息汇总:

1girl,black footwear,black hair,boots,curtains,dress,floral print,full body,handbag,lips,long hair,long sleeves,looking at viewer,polka dot legwear,shoes,smile,solo,standing,tile floor,tile wall,
a woman standing in front of a building wearing a gray dress and purple socks and a gray jacket with polka dots,Ayami Kojima,long black hair,a hologram,private press,
best quality,masterpiece,ultra high res,(photorealistic:1.4),
lora:add_detail:0.5
Negative prompt: (ng_deepnegative_v1_75t,badhandv4,bad_prompt_version2-neg,EasyNegative:0.9),(worst quality, low quality:1.3),(depth of field, blurry:1.2),(greyscale, monochrome:1.1),croped,lowres,text,jpeg artifacts,(logo,signature,watermark,username,artist name,title:1.3),
Steps: 35, Sampler: DPM++ 2M SDE Karras, CFG scale: 7, Seed: 2086435253, Size: 768x1024, Model hash: e4a30e4607, Model: 麦橘写实_MajicMIX_Realistic_v6, Denoising strength: 0.3, Clip skip: 2, ADetailer model: face_yolov8n.pt, ADetailer prompt: "detailed face, close-up, portrait, ", ADetailer confidence: 0.3, ADetailer dilate/erode: 4, ADetailer mask blur: 4, ADetailer denoising strength: 0.4, ADetailer inpaint only masked: True, ADetailer inpaint padding: 32, ADetailer model 2nd: hand_yolov8s.pt, ADetailer prompt 2nd: “detailed hand, perfect hand,”, ADetailer confidence 2nd: 0.3, ADetailer dilate/erode 2nd: 4, ADetailer mask blur 2nd: 4, ADetailer denoising strength 2nd: 0.4, ADetailer inpaint only masked 2nd: True, ADetailer inpaint padding 2nd: 32, ADetailer version: 23.7.6, Hires upscale: 2, Hires steps: 10, Hires upscaler: 4x-UltraSharp, Lora hashes: “add_detail: 7c6bad76eb54”, Version: v1.4.0

左侧是墨幽人造人(侧脸) ,右侧是麦橘写实(正脸),图像:

Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用,Stable Diffusion,stable diffusion

4. 配置与使用 Roop 插件

脸型参考:英国籍亚裔女演员 克拉拉 的图像,头像清晰,即:

Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用,Stable Diffusion,stable diffusion

调用 Roop 插件生成换脸图像,配置如下:

  1. 选择 启用
  2. 调低 面部修复强度 至 0.5
  3. 放大算法,使用现实风格的 8x_NMKD-Superscale
  4. 模型使用默认的 inswapper_128.onnx,即可
  5. 注意:放大倍率是2,会导致图像放大 2 倍,即由 1536x2048 放大至 3072x4096

即:
Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用,Stable Diffusion,stable diffusion

需要重新运行之前的配置(或者使用 图生图 功能),再次生成图像,之前的脸部由 AI 生成,现在转换成 克拉拉 图像中的脸型。

运行日志如下:

Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/1k3d68.onnx landmark_3d_68 ['None', 3, 192, 192] 0.0 1.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/2d106det.onnx landmark_2d_106 ['None', 3, 192, 192] 0.0 1.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/det_10g.onnx detection [1, 3, '?', '?'] 127.5 128.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/genderage.onnx genderage ['None', 3, 96, 96] 0.0 1.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/w600k_r50.onnx recognition ['None', 3, 112, 112] 127.5 127.5
set det-size: (640, 640)
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/1k3d68.onnx landmark_3d_68 ['None', 3, 192, 192] 0.0 1.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/2d106det.onnx landmark_2d_106 ['None', 3, 192, 192] 0.0 1.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/det_10g.onnx detection [1, 3, '?', '?'] 127.5 128.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/genderage.onnx genderage ['None', 3, 96, 96] 0.0 1.0
Applied providers: ['CPUExecutionProvider'], with options: {'CPUExecutionProvider': {}}
find model: /root/.insightface/models/buffalo_l/w600k_r50.onnx recognition ['None', 3, 112, 112] 127.5 127.5
set det-size: (640, 640)
2023-07-21 16:32:20,145 - roop - INFO - Upscale with 8x_NMKD-Superscale_150000_G scale = 2
2023-07-21 16:32:43,872 - roop - INFO - Restore face with CodeFormer

墨幽人造人,侧脸对比,如图:

Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用,Stable Diffusion,stable diffusion

麦橘写实,正脸对比,如图:

Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用,Stable Diffusion,stable diffusion

参考:站酷 - lulusmile服装街拍文章来源地址https://www.toymoban.com/news/detail-627306.html

到了这里,关于Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion - 扩展插件 (Extensions) 功能的配置与使用

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/131576762 Prompt: (masterpiece, top quality, best quality, ((standing in centre)), ((1girl, black hair)), ((upper body, symmetrical composition)), ((wear yellow abstract patterns dress bold lines, geometric shapes)), (pure yellow abstract patterns

    2024年02月16日
    浏览(38)
  • Stable Diffusion - 扩展 SegmentAnything 和 GroundingDINO 实例分割算法 插件的配置与使用

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/131918652 Paper and GitHub: Segment Anything: SAM - Segment Anything GitHub: https://github.com/facebookresearch/segment-anything Grounding DINO: Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection 定位

    2024年02月15日
    浏览(45)
  • Stable Diffusion+Roop单张图片换头roop安装配置【包含roop破解方法】

    1.首先安装秋叶大佬的webui 2.然后在拓展里面搜索roop,下载roop插件,然后重启webui 3.重启后,在文生图和图生图的界面,就可以看到roop的入口 4.这里面,需要提前安装Visual Studio. 勾选一些必要的选项,这里可以参照b站的视频 # 秋叶版本Stablediffusion的Roop插件的安装 这个视频最

    2024年02月10日
    浏览(78)
  • ReActor丨一文教你学会用Stable Diffusion插件换脸

    本教程将带您了解如何下载和使用 stable diffusion 的 ReActor扩展,实现完美的换脸效果。 ReActor 是一个强大的工具,允许您无缝地交换面孔并获得逼真的效果。 无论您是艺术家、内容创作者,还是仅仅想要体验图像操作的乐趣,这份指南都将为您提供下载和使用 stable diffusion 中

    2024年04月28日
    浏览(77)
  • 单图换脸roop源码与环境配置

    前言 1.roop是新开源了一个单图就可以进行视频换脸的项目,只需要一张所需面部的图像。不需要数据集,不需要训练。 2.大概的测试了一下,正脸换脸效果还不错,融合也比较自然。但如果人脸比较大,最终换出的效果可能会有些模糊。侧脸部分的幅度不宜过大,否则会出现

    2024年02月11日
    浏览(151)
  • 【stable-diffusion使用扩展+插件和模型资源(上】

    个人网站: https://tianfeng.space 距离上次模型使用和插件推荐已经挺久了,所以必须再写一期来扩展使用方法了,毕竟得与时俱进,趁着这两天有空,赶紧写,写全点。上期模型插件使用方法和推荐 1.qrcode-monster qrcode-monster是一款controlnet模型,可以生成创意二维码,还可以通过

    2024年02月12日
    浏览(49)
  • 【stable-diffusion使用扩展+插件和模型资源(下)】

    插件模型魔法图片等资源:https://tianfeng.space/1240.html 1.lobe theme lobe theme是一款主题插件,直接可以在扩展安装 界面进行了重新布局,做了一些优化,有兴趣的可以下载试试,右上角设置按钮,第一行就是语言设置,还有颜色等等 2.SadTalker https://github.com/OpenTalker/SadTalker 基于最

    2024年02月11日
    浏览(73)
  • Stable Diffusion - ControlNet 插件中扩展局部重绘 InpaintOnly + LaMa 算法与应用

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/131643131 LaMa: https://github.com/advimman/lama Paper: Resolution-robust Large Mask Inpainting with Fourier Convolutions LaMa: Large Mask inpainting 尽管现代图像修复系统已经取得了显著的进步,但是在处理大面积缺失、复

    2024年02月16日
    浏览(44)
  • 【CVPR 2023的AIGC应用汇总(7)】face相关(换脸/编辑/恢复) diffusion扩散/GAN生成对抗网络方法...

    【CVPR 2023的AIGC应用汇总(5)】语义布局可控生成,基于diffusion扩散/GAN生成对抗 【CVPR 2023的AIGC应用汇总(4)】图像恢复,基于GAN生成对抗/diffusion扩散模型 【CVPR 2023的AIGC应用汇总(3)】GAN改进/可控生成的方法10篇 【CVPR 2023的AIGC应用汇总(2)】可控文生图,基于diffusion扩散模型/G

    2024年02月09日
    浏览(67)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包