【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!)

这篇具有很好参考价值的文章主要介绍了【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!)。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

先看效果

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习 

 

以上风格LoRA分别为:户外花园婚纱、冬季雪景汉服、火焰女神、仙侠风

环境准备

在魔搭平台ModelScope 魔搭社区中选择PAI-DSW-GPU环境

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

进入后打开terminal环境,先检查显存需要20G左右(nvidia-smi),然后下载核心文件。

GIT_LFS_SKIP_SMUDGE=1 git clone https://github.com/modelscope/facechain.git

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

以下进入正题

一、固定人物LoRA训练:

1、新建训练人物的文件夹 imgs,注意放在facechain文件夹下,将需要固定的人脸照片放入该文件夹

2、人物LoRA训练

然后在terminal中运行以下代码启动训练

PYTHONPATH=. CUDA_VISIBLE_DEVICES="0" sh train_lora.sh "ly261666/cv_portrait_model" "v2.0" "film/film" "./imgs" "./processed" "./output"

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

二、风格LoRA替换:

1、上传风格LoRA文件并修改参数

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

风格来源:outdoor photo|LiblibAI,主要迁移其户外花团锦簇风格,重新取名wedding

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

2、修改constants.py文件

主要修改文件名为新上传的风格文件,并在prompt增加wedding dress相关内容。

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

styles = [
    {'name': '默认风格(default style)'},
    {'name': '凤冠霞帔(Chinese traditional gorgeous suit)',
     'model_id': 'ly261666/civitai_xiapei_lora',
     'revision': 'v1.0.0',
     'bin_file': 'xiapei.safetensors',
     'multiplier_style': 0.35,
     'cloth_name': '汉服风(hanfu)',
     'add_prompt_style': 'red, hanfu, tiara, crown, '},
    {'name': '婚纱(wedding)',
     'model_id': 'ly261666/civitai_xiapei_lora',
     'revision': 'v1.0.0',
     'bin_file': 'wedding.safetensors',
     'multiplier_style': 0.35,
     'cloth_name': '婚纱(wedding)',
     'add_prompt_style': 'bride wearing a white wedding dress,simple and elegant style, <lora:outdoor photo_20230819231754:0.6> --ar 3:4'},
]

3、修改run_inference.py关键参数

修改风格文件夹路径,use_style改为true,顺序编号顺延为2

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

use_main_model = True
use_face_swap = True
use_post_process = True # 可改为False则不控制数量
use_stylization = False
processed_dir = './processed'
num_generate = 5
base_model = 'ly261666/cv_portrait_model'
revision = 'v2.0'
multiplier_style = 0.25
base_model_sub_dir = 'film/film'
train_output_dir = './output'
output_dir = './generated'
use_style = True

if not use_style:
    style_model_path = None
    pos_prompt = generate_pos_prompt(styles[0]['name'], cloth_prompt[0]['prompt'])
else:
    model_dir =  '/mnt/workspace/wedding'
    style_model_path = os.path.join(model_dir, styles[2]['bin_file'])
    pos_prompt = generate_pos_prompt(styles[2]['name'], styles[2]['add_prompt_style'])  # style has its own prompt

gen_portrait = GenPortrait(pos_prompt, neg_prompt, style_model_path, multiplier_style, use_main_model,
                           use_face_swap, use_post_process,
                           use_stylization)

outputs = gen_portrait(processed_dir, num_generate, base_model,
                       train_output_dir, base_model_sub_dir, revision)

os.makedirs(output_dir, exist_ok=True)

for i, out_tmp in enumerate(outputs):
    cv2.imwrite(os.path.join(output_dir, f'{i}.png'), out_tmp)

三、推理出图:

python run_inference.py

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

固定人脸+迁移的户外花团锦簇风格+prompt控制的婚纱=婚纱户外写真

附录

1、项目地址:GitHub - modelscope/facechain: FaceChain is a deep-learning toolchain for generating your Digital-Twin.(目前GitHub已超过4Kstar!)

2、原理讲解图文及视频讲解

3张照片打造专属形象!酷蛙FaceChain解密个人写真开源项目,人人AIGC!

3张照片打造AI个人写真!一周3k star /FaceChain开源项目一键部署_哔哩哔哩_bilibili

3、上期周报

酷蛙FaceChain开源项目迭代周记2023-08-19

4、全球开发者招募

酷蛙FaceChain项目已开源,我们计划后续联合开源社区的力量不断打磨该开源项目,解锁更多高阶玩法(比如人物表情包、人物连环画故事、虚拟试衣间……),并进行更深层次的算法创新,发表相应顶会论文。如果你对该开源项目感兴趣,对该开源项目的未来有憧憬与信仰,欢迎报名加入。

【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!),深度 学习论文与相关应用,人工智能,计算机视觉,FaceChain,人物写真,AIGC,深度学习

此处为语雀内容卡片,点击链接查看:登录 · 语雀文章来源地址https://www.toymoban.com/news/detail-689581.html

到了这里,关于【FaceChain风格DIY手把手教程】无限场景风格LoRA与固定人物LoRA的融合(4Kstar!)的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI绘图Midjourney手把手教程

    以下是使用Midjourney AI绘画程序的注册和入门指南。Midjourney是一款功能强大的绘图软件,通过输入一段图片的文字描述即可生成精美的绘画。我们将为您提供详细的操作步骤,让您轻松上手。 下面是使用Midjourney AI绘画程序的指南: 1: 需要注册一个Discord账号,网址为https:/

    2024年02月13日
    浏览(54)
  • 手把手Gradio教程,超全!!!(附实战代码)

    Gradio是一种用于构建AI界面的开源库,可以让您快速构建自己的应用程序并与AI模型进行交互。在此博客中,我们将介绍Gradio的基础知识和入门步骤。 安装Gradio非常简单,只需使用以下命令: 要构建Gradio应用程序,您需要定义一个包含输入和输出组件的处理函数。例如,以下

    2024年02月06日
    浏览(40)
  • gitee使用教程(手把手,简单详细,中文包)

    目录 1.gitee介绍 2.gitee注册 3.软件安装 下载git 下载tortoise git 安装git  安装tortoise git  4.建立仓库 ​编辑 5.使用git工具—4大功能 1.克隆/下载  2.add、commit、push、pull操作 gitee译为码云,是国内创建的一个类似与github的网站,可以上传自己的代码放在云端保存,下面介绍gitee如何

    2024年02月05日
    浏览(48)
  • Unity AR应用(人脸识别)手把手教程

    Unity官方有个教程,照着一步一步操作,就能做出一个典型的AR应用:人脸识别+虚拟穿戴。其实,人脸识别和跟踪都是设备平台实现的功能(如Android的ARCore或iOS的ARKit),在Unity里只是进行配置工作。真是难以置信:整个制作过程不需要写任何代码!下面记录一些关键步骤。

    2023年04月10日
    浏览(53)
  • Ubuntu Linux 系统安装教程 (手把手演示)

    很久没有更新博客了,另外最近电脑重新安装了系统,很多软件得重新下载,于是乎心血来潮,写一篇关于 Ubantu Linux 系统安装的教程,做个记录,也重新温习一遍系统的安装过程,话不多说,开始正题: 相信很多没接触过的小伙伴都不太清楚且了解所谓的 Ubantu、Linux、Vmw

    2024年02月03日
    浏览(48)
  • git安装教程(保姆级手把手详细图文)

    一. 认识Git Git是一个分布式版本控制系统,主要用于项目版本管理,一般使用过程为创建分支,修改代码、合并分支 二. 下载Git安装包 1. 登录Git官网: https://git-scm.com/ (官网看版本号,缺点是下载太慢) 2.淘宝镜像下载: https://registry.npmmirror.com/binary.html?path=git-for-windows/ (找到

    2024年01月17日
    浏览(65)
  • 【码农教程】手把手教你Mockito的使用

    1)Mockito:简单轻量级的做mocking测试的框架; 2)mock对象:在调试期间用来作为真实对象的替代品; 3)mock测试:在测试过程中,对那些不容易构建的对象用一个虚拟对象来代替测试的方法就叫mock测试; 4)stub:打桩,就是为mock对象的方法指定返回值(可抛出异常); 5)

    2024年02月05日
    浏览(57)
  • 【最新】windows电脑FFmpeg安装教程手把手详解

    本文以 Windows 64 位操作系统为例演示 打开 FFmpeg 官网,选择下载。 选择 Windows 平台,下面有两个链接,都是可以的,选择其一。 本文以点击第一个链接为例,进去以后,选择左边的 release builds ,右边出现如下内容: 你可以选择下载上面红色圈中的 release-full 版本,或者选择

    2023年04月12日
    浏览(46)
  • 手把手Neo4j教程,超全!!!

    Neo4j是一种流行的图形数据库,它使用图形结构来管理和存储数据。本教程将向您展示如何使用Neo4j。 要开始使用Neo4j,您需要先安装它。您可以从官方网站下载安装程序。 安装完成后,您可以启动Neo4j。在Windows上,您可以打开Neo4j Desktop并启动Neo4j。在Linux上,您可以使用命令

    2024年02月07日
    浏览(27)
  • “StackLLaMA”: 用 RLHF 训练 LLaMA 的手把手教程

    如 ChatGPT,GPT-4,Claude语言模型 之强大,因为它们采用了 基于人类反馈的强化学习 (Reinforcement Learning from Human Feedback, RLHF) 来使之更符合我们的使用场景。 本博客旨在展示用 RLHF 训练一个 LLaMA 模型,以回答 Stack Exchange 上的问题。具体而言,包含以下几个方面: 有监督的微调

    2024年02月02日
    浏览(37)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包