本期说一下Stable Diffusion非常有名的插件controlnet。同上一篇一样,我们安装b站大佬秋葉aaaki(有的网友戏称他/她是赛博佛祖)的stable diffusion4.2整合包。解压缩以后,打开启动器,见下图,界面比早期版本更好看了。
编辑
启动器打开以后,安装controlnet插件
填写网址:https://jihulab.com/hanamizuki/sd-webui-controlnet
ControlNet还需要一些预处理器和模型,它们和整合包一起下载就可以了,然后拷贝到Stable Diffusion对应文件夹。
预处理器\downloads拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\extensions\sd-webui-controlnet\annotator
\模型下面的文件拷贝至D:\StableDiffusion\sd-webui-aki-v4.2\models\ControlNet
在上一篇中,生成图片需要提示词,现在一些网站提供图片和提示词。我们也可以利用图生图中的反推提示功能。
在网络上随便找一张好看的图片,比如下图,点击“DeepBooru反推”按钮,本图的提示词就会生成在左边文本框中。
因为孩子平时喜欢买线稿人物图上色,我们以给线稿上色为例说明ControlNet插件的功能。启用Controlnet,预处理使用invert,模型使用lineart—_anime。
将刚才生成的提示词放在文生图的提示词框中,点击“生成”按钮,生成的成果图见下图。
再找一张别的风格照片,比如下张雨中打伞的姑娘,反向生成提示词。
将生成的提示词放在文生图的提示词框中,点击“生成”按钮,重新生成的成果图见下图。
下图是诛仙中的陆雪琪。
将其提示词放在文生图中的提示框内,重新生成的效果图如下。
我们也可以将原图生成线稿图,比如下图,预处理器选择lineart_realistic,模型不变。
点击“生成”按钮,生成线稿图如下。
Controlnet还可以将低分辨率图像进行高清修复。比如说,自己的头像是很多年前拍摄的,当时像素低,现在利用Controlnet的tile模型进行修复。
首先,找一张明星照片,比如金城武,生成反向提示词。
然后,拷贝生成的提示词至文本框,预处理选择tile_resample,模型tile。
点击“生成”按钮,生成的效果如下图,仿佛一颗冉冉升起的新星,帅呆了。
小结
最近人工智能发展非常快,特别是机器学习方面,比如AI绘图就是通过机器学习训练生成模型,然后在模型的基础生成同模型的风格化照片。随后,AI绘图进一步演化为换衣服、换脸,半身生成全身,扩充场景等。AI绘图会让一些画师失业,但是拥抱新技术的画师则会极大地提高工作效率,收益更胜从前。
参考文献
https://zhuanlan.zhihu.com/p/643744230
https://www.bilibili.com/video/BV1fa4y1G71W/?spm_id_from=333.999.0.0
https://www.bilibili.com/video/BV1AL411q7Ub/?spm_id_from=333.999.0.0&vd_source=6f9f0ad1eef623c5a58999f0093952a1
https://www.bilibili.com/video/BV1f14y197rx/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1文章来源:https://www.toymoban.com/news/detail-756869.html
https://www.bilibili.com/video/BV1Xv4y1E7kZ/?spm_id_from=333.337.search-card.all.click&vd_source=6f9f0ad1eef623c5a58999f0093952a1文章来源地址https://www.toymoban.com/news/detail-756869.html
到了这里,关于AI绘图软件Stable Diffusion 安装和使用之二controlnet插件的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!