【stable-diffusion使用扩展+插件和模型资源(上】

这篇具有很好参考价值的文章主要介绍了【stable-diffusion使用扩展+插件和模型资源(上】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画


个人网站: https://tianfeng.space

前言

距离上次模型使用和插件推荐已经挺久了,所以必须再写一期来扩展使用方法了,毕竟得与时俱进,趁着这两天有空,赶紧写,写全点。上期模型插件使用方法和推荐

一、插件推荐

1.qrcode-monster

qrcode-monster是一款controlnet模型,可以生成创意二维码,还可以通过传入图片,生成带有输入图片元素的图片,例如最近的蔡徐坤错觉图片,各省市创意风景图,来学习如何使用把!

https://huggingface.co/monster-labs/control_v1p_sd15_qrcode_monster/tree/main

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

下载模型权重和配置文件,这个需要魔法,这个得你自己想办法了,我没办法交。随便找个绘画群,问问群里的小伙伴,应该都会告诉你的。

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

把模型放入你**\sd-webui-aki-v4\extensions\sd-webui-controlnet\models** 中,启动webui

(masterpiece, best quality:1.3),extremely high detailed,intricate,8k,big tree,landscape,lakes,stream,mountain

正向写一点风景山脉提示词,反向提示词随便写点,没什么讲究,【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

仅作参考,这个都很简单,大差不差。

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

按照这个来,除了上传的图片,权重适当调整。看效果,文字也可以。

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5f83ZcsW-1692350691730)(https://tianfeng.space/wp-content/uploads/2023/08/uTools_1691991261123.png)]

2.sd-webui-openpose-editor

sd-webui-openpose-editor是一款可以在controlnet里面直接使用的openpose编辑器,上传样图提取openpose后,可以直接编辑,例如手部崩坏等,可以认为调整了。

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

直接可以在扩展列表安装,或者 https://github.com/huchenlei/sd-webui-openpose-editor

重启后,点击编辑

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

操作方法就是直接拖动就行,如果对手不满意可以直接在左边删掉,重新添加编辑拖动

  • 最新版秋叶启动器controlnet增添了dw-openpose-full,效果不错,手部识别率大大提升

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

  • 同时还增添了提示词选项,傻瓜式填写提示词,再也不用担心提示词怎么写了,包含了各式各样的提示词,点击即可写入

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

3.sd-webui-depth-lib

sd-webui-depth-lib是一款深度图插件,可以提供很多的手部模型,这对于弥补画手经常崩坏是非常好的,首先来到下载网址

https://github.com/jexom/sd-webui-depth-lib

可以通过扩展在webui网址安装,或者下载压缩包解压在扩展目录,安装后本身的手部模型不多,我们去c站下点图

https://civitai.com/models/67174

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

含900个手部动作,下载解压把所有pp_hand复制放在插件目录下的maps里就行

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

重启来到webui界面

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

可以直接在上面openpose编辑器的基础上优化手,提取openpose后,以它为背景添加手,然后发送到controlnet,第二个controlnet导入openpose图,预处理都不用选,controlnet分别选择depth和openpose

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

4.roop(换脸插件)

https://github.com/s0md3v/sd-webui-roop

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

如果你之前没安装Visual Studio,请下载安装,勾选python开发,C++桌面开发

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

然后在扩展目录下载插件,下载方式不赘述,看到这应该不是问题

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

下载模型inswapper_128.onnx,放入models/roop/目录中,没有新建【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

pip install insightface==0.7.3

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

将启动器设置里代理的端口改成和电脑设置一样

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

点击启用,编号是对图片从左到右人物换脸,0就是第一个,修复强度就是换脸的幅度。效果一般

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

5.sd-webui-qrcode-toolkit(艺术二维码)

直接从扩展页面安装,重启

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

然后来到https://cli.im/text,点击解码,上传二维码图片,把解码结果复制

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

复制到第一行,其他设置如下,pixel size可以加大到22左右就行,然后点击Download,
【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

经过我的反复测试,关键点是怎么和构建和二维码类似的图片,复制粘贴的提示词一般都很难起作用,或者说效果不佳,所以我把760x760的图像变成760x1460,多出来的就是空白,大模型:寿司2.5D

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

4k,photorealistic,cinematic,a girl,flower,skirt,multicolored hair,holding (flowers in hand:1.2),wedding_dress,scenery,white hair,ultra high res, high resolution, 8k resolution, wallpaper,

参数:步数小于30,权重1.1-1.4,主要就是这两个参数,其他影响不大,当有一张生成的不错的图片,但是无法扫码,一般就是调小步数,加大controlnet权重,效果如下:

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

5.光源控制

  • controlnet tile

提示词

contrast between light and dark,Dark environment,The strong light shining on girl's body,best quality,masterpiece,(photorealistic:1.4),1girl,solo,shirt,

参数:步数三十,高分辨放大2倍,R-ESRGAN 4x+,重绘幅度0.3,采样DPM++

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

光源图百度一搜全是,效果说实话比我想象还要好

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

  • controlnet depth

其他不变,换成depth【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

  • controlnet brightness

https://huggingface.co/ViscoseBean/control_v1p_sd15_brightness/tree/main

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

放入【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

  • controlnet illumination

https://huggingface.co/ddoanlinh/controlnet_illumination/tree/main

不放图了,太赘余了,自己想要下载放到目录,参数和brightness一模一样

总结就是,后面几种光线强,较明亮,第一种较柔和,自然,就我个人而言,我是喜欢第一中。

6.二次元转真人

  • tile

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

  • Linear

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

大模型选择真人,提示词先把图片进行提示词反推,然后自己加上一些符合场景的词汇。重绘0.3-0.5,权重0.7-1看情况调整,其他参数基本没什么变化,采样器放大算法选择真人适用的就行。

这两种方式区别在于tile基本是按原图修复放大,相当于等比例修复放大,人物变成真人,但是扩展性较低。Linear则是根据线稿重新绘制,画图局限性降低了,可能出图更自然,但是可能和原图有出入。各有各的好处,看情况而定。

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

7.动态视频转场(loopback-wave)

https://rentry.co/sd-loopback-wave

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

点击

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

右键另存为Loopback Wave Script V1.4.1.py文件,或者点击这里下载我下好的:

链接:https://pan.baidu.com/s/1OtZUWScRpeHu010abrwPdw
提取码:xu8w

把文件放到script目录下,重启【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

首先生成一些不错的图片,然后取它的种子
【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

来到webui,只写负面提示词,正向在脚本里写,其他参数如下

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

来到最下面脚本,选择loopback wave,以我为例,我是取了七个图片的种子,假设每波帧数为20,那么总帧数为140,去噪强度0.6

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

提示词书写如下,第一个0为第几帧,后面两个冒号书写种子,后面再接一个冒号,书写提示词,

注意:第一个数字一定按规范写,每波帧数20的话,第一个为0,第二个为20,依次填写

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

0::3569324999:1girl, hair ornament, clover, bow, twintails, smile, stuffed toy, green bow, solo, clover hair ornament, long hair, four-leaf clover, stuffed animal, green nails, black hair, hairclip, shirt, skirt, low twintails, doughnut, bangs, collared shirt, white shirt, stuffed bunny, plaid, long sleeves, food, bowtie, looking at viewer, pink bow, four-leaf clover hair ornament, hair bow, nail polish, sweater, blush, pink eyes
20::3960688666:(masterpiece,best quality), 1girl,petite,flat chest, solo, solo focus, (animal ears, rabbit ears), barefoot, knees up, dress, sitting, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, sunlight, brown eyes, dappled sunlight, day, depth of field, open mouth, (flower, hair flower), w, wariza, white dress
40::2834188876:(masterpiece:1.2),best quality,extremely detailed, BREAK cute girl,solo,shiny skin,small breasts,very long hair, detailed eyes,perfect anatomy, cute eyes,(red eyes:1.3),(black hair:1.4), BREAK white shirt,black skirt,magical academy cloak,white panties, BREAK galaxy sky,shooting star,at night,magic circle,fantasy, BREAK character focus, BREAK
60::986005930:masterpiece, best quality, ultra-detailed, highly detailed, <lora:karyl_v1:1>, karyl, green eyes, black hair, bangs, twintails, low twintails, hair bow, cat ears, small breasts, bare shoulders, black pantyhose, bow, brooch, detached sleeves, dress, frilled dress, frills, jewelry, long sleeves, purple bow, sleeveless, sleeveless dress, <lora:saltbae-17:1>, saltbae, sunglasses, sprinkling salt, table, chopping board,
80::1313366984 :1girl,solo,bow,fake_animal_ears,mouse_ears,frilled_skirt,frills,hair_ornament,short hair,hairband,looking_at_viewer,multiple_girls,open_mouth,rat,red_eyes,shirt,silver_hair,skirt,smile,white_hair,white_shirt,v <lora:pcr2-000012:0.7>,Random Posture,
100::4246031170:masterpiece, best quality, 1girl, (colorful),(delicate eyes and face), volumatic light, ray tracing, bust shot ,extremely detailed CG unity 8k wallpaper,solo,smile,intricate skirt,((flying petal)),(Flowery meadow) sky, cloudy_sky, moonlight, moon, night, (dark theme:1.3), light, fantasy, windy, magic sparks, dark castle,white hair
120::326439951:(best quality,high resolution,Beautiful detailed eyes,White lighting:1.2),red eyes, looking at viewer, long hair, black hair, long boots, black footwear, blush, sitting, long sleeves, bangs, parted lips, black hair, dress, knees up, brown hair, white skirt, frills, skirt,thighs, sidelocks,

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

点击生成就行,图片也可以打开剪辑软件重组为视频

【stable-diffusion使用扩展+插件和模型资源(上】,趣玩AI,stable diffusion,ai绘画

点击查看效果:部分视频(可能小卡缓存一下就好了)文章来源地址https://www.toymoban.com/news/detail-657973.html

总结:到此还没有结束,我怕篇幅太长了,容易厌学,下文见

到了这里,关于【stable-diffusion使用扩展+插件和模型资源(上】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • [AI绘图教程]stable-diffusion webui加载模型与插件. 实战AI绘画

    之前讲了stable diffusion webui搭建,这里主要介绍使用方法以及模型,扩展等. 主要下载网址 HuggingFace:Stable Diffusion、ControlNet的官方仓库。 Civitai:里面多是Lora或其它NSFW等模型的仓库。 这里下载anythingV4的模型,在Huggingface网站中搜索, 下载后放在stable-diffusion-webuimodelsStable-diffusio

    2023年04月09日
    浏览(93)
  • AI绘画 | stable-diffusion的模型简介和下载使用

    我们下载完stable-diffusion-ui后还需要下载需要的大模型,才能进行AI绘画的操作。秋叶的stable-diffusion-ui整合包内,包含了anything-v5-PrtRE.safetensors和Stable Diffusion-V1.5-final-prune_v1.0.ckpt两个模型。 anything-v5-PrtRE.safetensors模型可以用于生成多种类型的图像,包括肖像、风景、动物、卡通

    2024年02月04日
    浏览(90)
  • Stable-Diffusion|入门怎么下载与使用civitai网站的模型(二)

    C站:https://civitai.com/ 上一篇安装:Stable-Diffusion|window10安装GPU版本的 Stable-Diffusion-WebUI遇到的一些问题(一) 先贴几张笔者自己实验的图,模型来自:photo-style-cnvtubermix 咒语prompt: 反向咒语: 左上角是主模型,一般是 CHECKPOINT MERGE ,所以如下图,这类就是主模型,需要放到主

    2024年02月08日
    浏览(49)
  • Stable Diffusion - 扩展插件 (Extensions) 功能的配置与使用

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/131576762 Prompt: (masterpiece, top quality, best quality, ((standing in centre)), ((1girl, black hair)), ((upper body, symmetrical composition)), ((wear yellow abstract patterns dress bold lines, geometric shapes)), (pure yellow abstract patterns

    2024年02月16日
    浏览(38)
  • stable-diffusion安装controlnet插件

    1)extensions → install from URL → install 然后填入:https://github.com/Mikubill/sd-webui-controlnet 2)installed → apply and restart UI 下载controlnet模型(50G左右)到 E:stable-diffusion-webuiextensionssd-webui-controlnetmodels 目录下: lllyasviel/ControlNet at main 把所有8个模型放到models文件夹下 (待续)

    2024年02月12日
    浏览(50)
  • stable-diffusion打造自己的lora模型(使用lora-scripts)

    1、训练图片收集 比如要训练一个自己头像的模型,就可以拍一些自己的照片(20-50张,最少15张),要求画质清晰,脸部轮廓清楚,背景较为简单的照片。 2、使用stable_diffusion的预处理功能进行图片的预处理 这里可以根据自己的情况设置不同的宽高,以及相关的设置项,设置

    2024年02月03日
    浏览(49)
  • Stable Diffusion - 扩展 Roop 换脸 (Face Swapping) 插件的配置与使用

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/131856141 官网:GitHub - roop,参考论文:RobustSwap: A Simple yet Robust Face Swapping Model against Attribute Leakage 面部替换的目标是将源图像的身份(即,面部特征)注入目标图像,同时严格保留与身份无关

    2024年02月14日
    浏览(44)
  • AIGC:腾讯云服务器快速部署stable-diffusion环境,使用ChilloutMix模型进行画图

    前两天在某公众号的软文刷到了AI绘画领域最新的ChilloutMix模型。大概是下面这张图的效果: 激动的心颤抖的手,学了这么多年计算机,就是为了走在时代前沿,事到如今终于可以活学活用了。然而自己的电脑配置完全不够用,咋整?开台GPU云服务器吧。踩了无数坑之后,终

    2024年02月16日
    浏览(45)
  • 探索【Stable-Diffusion WEBUI】的插件:批量替换人脸

    本篇主要提到WEBUI似乎和主线剧情无关的插件,可以批量改变多张图片的面部为AI生成的内容。 更多不断丰富的内容参考:🔗 《继续Stable-Diffusion WEBUI方方面面研究(内容索引)》 参考:🔗插件官网 可以从WEB UI中直接安装。 安装后在图生图最下面的 脚本 下拉列表中, 它需要

    2024年02月09日
    浏览(90)
  • Stable Diffusion - 扩展 SegmentAnything 和 GroundingDINO 实例分割算法 插件的配置与使用

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://blog.csdn.net/caroline_wendy/article/details/131918652 Paper and GitHub: Segment Anything: SAM - Segment Anything GitHub: https://github.com/facebookresearch/segment-anything Grounding DINO: Grounding DINO: Marrying DINO with Grounded Pre-Training for Open-Set Object Detection 定位

    2024年02月15日
    浏览(44)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包