【Stable-Diffusion】和【DeepFaceLab】配合:事半功倍甚至天衣无缝

这篇具有很好参考价值的文章主要介绍了【Stable-Diffusion】和【DeepFaceLab】配合:事半功倍甚至天衣无缝。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

(零)前言

本篇主要提到:人工智能SD+人脑 + 人工智能DFL配合,最终让仅有少量照片的人物出现在视频中。
更多Stable-Diffusion(AI绘图)内容:🔗《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》
更多DeepFaceLab(换脸)内容无单独索引:🔗《可以提高DeepFaceLab(DeepFake)合成最终视频速度的方法》

(一)DeepFaceLab(DeepFake)

换脸的效果非常好,它较最初的DeepFake有很大改进,生成的视频能以假乱真(还需后期处理一下噪点等)。
但DFL需要大量高质量的图片源脸(Source)(src),如果仅有少量照片,则无法涵盖多个角度光影,甚至连清晰度都不够。这时强行使用DFL学习则很难降低loss,AI再厉害也回天乏术,最终视频效果根本无法入目。

参考:来自[伊万-佩罗夫]的 Git仓库地址,论文地址。

(二)Stable-Diffusion(WEBUI)

通过在一个潜在表示空间中迭代“去噪”数据来生成图像。最大的特点是非常快,用普通的显卡几秒钟可以画出结果。
同时可以通过比较少量图片来训练LoRA模型。但对于生成人物来说,远景加面部表情有些问题,有时生成很像,有时不像,有时很离谱。

参考:这是我们用到的 SD仓库,WEBUI仓库,以及 论文地址。

(三)AI相互配合(加上人)

别忘了Stable-Diffusion生成图片很快,甚至训练也很快。
我们还可以通过提示词(Prompt)控制人物姿态方向表情动作。所以我们可以这么干:

  1. 用某个人物少量的照片生成TA的LoRA模型。
  2. 让电脑疯狂的生成大量该模型的图片(近景,面部特写)。
  3. 你自己判断和选出很像的图片 💡 (重要)。
  4. 把这些图片给DFL作为素材使用。

是的,既然人工智能无法保障面部特征和细微表情,人可以自己判断。
这样一来,缺失但重要的一环就补上了。

这就是取长补短吧——真正实现了所谓人工智能:你来负责人工,计算机负责智能。🤪
玩笑归玩笑,也许有一天AI能真的知道,照片到底像不像人。


快去翻翻老照片,看看祖爷爷/祖奶奶照片够不够训练一个模型。
也许真能让他们生动的出现在视频中。


需要放图么?这里没有例图,也不需要示意图和结构图吧。
😜Happy Creating……文章来源地址https://www.toymoban.com/news/detail-484730.html

到了这里,关于【Stable-Diffusion】和【DeepFaceLab】配合:事半功倍甚至天衣无缝的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable-Diffusion 在线部署

    1. 注册 链接:https://aistudio.baidu.com/aistudio/newbie?invitation=1sharedUserId=4982053sharedUserName=2019%E7%9F%A5%E5%90%A6 2. 复制项目: https://aistudio.baidu.com/aistudio/projectdetail/4905623 点击 Fork,复制为自己的项目 3. 点击启动项目 点击“启动环境”,选择合适的 32G版本的GPU,进入项目。 AIStudio 每天

    2024年02月11日
    浏览(57)
  • stable-diffusion 学习笔记

    万字长篇!超全Stable Diffusion AI绘画参数及原理详解 - 知乎 参考:stable diffusion提示词语法详解 参考:Ai 绘图日常 篇二:从效果看Stable Diffusion中的采样方法_软件应用_什么值得买 大概示例: 默认是Latent算法:注意该算法在二次元风格时重绘幅度必须必须高于0.5,否则会得到模

    2024年02月20日
    浏览(48)
  • 我的stable-diffusion入门

    翻到一个感兴趣的帖子,然后开始了这段折腾 载下来用了,发现用的是cpu出图,慢的很,还是需要stable diffusion webui来做,所以就开始找资料 找模型: https://civitai.com/ https://huggingface.co/ stable diffusion webui:https://github.com/AUTOMATIC1111/stable-diffusion-webui 安装PyTorch详细过程 搭建和配

    2024年04月09日
    浏览(69)
  • Stable-diffusion复现笔记

    目前正在学习有关扩撒模型的相关知识,最近复现了Stable-diffuison,此文主要是想记录一下整体的复现过程以及我在复现过程中出现的一些奇怪的问题以及我的处理方法。这里我的复现主要是针对官网文档实现的,并没有用到webui版本,如果是想体验Stable-diffusion可以去下载we

    2024年04月09日
    浏览(56)
  • Stable-Diffusion环境搭建

    硬件可以采用DELL R7525 搭配L4 或者T4 等等企业级显卡   环境如下: 可以看到有相应的GPU卡信息   esxi 7.u3 信息 设置GPU穿透方式    查看相应的虚拟机参数信息  PCI 设备加载穿透GPU信息 启动uefi  设置相应的参数信息 https://docs.nvidia.com/grid/latest/grid-vgpu-release-notes-vmware-vsphere/

    2024年02月09日
    浏览(98)
  • stable-diffusion AI 绘画

    git clone https://github.com/CompVis/stable-diffusion.git 进入stable-diffusion目录 在这里注册一个账号: Hugging Face – The AI community building the future. 并生成个token 安装CUDA NVIDIA 安装 CUDA_nvidia cuda_长满头发的程序猿的博客-CSDN博客 pip install torch -f https://download.pytorch.org/whl/torch_stable.html pip insta

    2024年02月13日
    浏览(49)
  • stable-diffusion项目环境配置

    python解释器 python要求python要求3.10以上的版本 本机物理环境不满足要求,建议使用anaconda创建虚拟环境 conda create – name diffusion python=3.10 退出 base环境 conda deactivate 进入diffusion环境 conda activate diffusion 验证python版本 python -V 安装git2 卸载老版本git yum remove git 安装新版本git yum inst

    2024年02月04日
    浏览(33)
  • stable-diffusion安装教程推荐

     总结: 安装的时候VPN最重要,安装完成 启动使用stable-diffusion关闭vpn 安装报错都是因为vpn问题,各种安装不了,报错基本上百度都有解决方法 安装看下面两基本上够了 Windows安装Stable Diffusion WebUI及问题解决记录_暂时先用这个名字的博客-CSDN博客 Stable-Diffusion和ControlNet插件安

    2024年02月06日
    浏览(68)
  • stable-diffusion代码和应用

    代码:这里面介绍几种stable-diffusion的代码版本之类的。 1.stable-diffusion-webui GitHub - AUTOMATIC1111/stable-diffusion-webui: Stable Diffusion web UI 这个版本主要是webui框架实现,webui由gradio实现,如果本地没有gpu就别搞了,这里面的stable-diffusion实现了prompt和negative prompt。 2.stable-diffusion-compvi

    2024年02月09日
    浏览(38)
  • CPU硬解Stable-Diffusion

    很多小伙伴说:哎呀!我没有显卡. 哎呀!我显存是AMD的 哎呀!我没有足够的显存 那这一期,将带来CPU和内存运算SD 其实很简单,我们只需要将${COMMANDLINE_ARGS}环境变量设置为--skip-torch-cuda-test 然后在python launch.py后面添加--no-half即可 运行时禁用half 我们来测试一下速度 博主用的CPU很老

    2024年02月11日
    浏览(33)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包