SDXL的之旅
最新发布的SDXL(Stable Diffusion X Language)要解决更精准地控制它生成我们想要的图片。SDXL理解自然语言描述,并可精确控制Stable Diffusion输出特定风格和内容的图像。只需简单的自然语言,你就可以生成理想中的场景、人物、物体等。
相比于原版Stable Diffusion,SDXL增强了对语义和细节的控制能力。它内置了对各种艺术流派、风格的理解, véritablement你的创意想法变为可视化的图像。从生成写实人像到拟真风景,从印象派绘画到8位像素艺术,SDXL为Stable Diffusion加入了无限可能。
作为Stable Diffusion的升级,SDXL带来了更人性化的交互方式和前所未有的创作精度。想探索这个奇妙工具带来的无限创作乐趣吗? 让我们开始SDXL之旅。
UI的选择
社区上一直关注的都是web UI和comfyUI的比较,我也一样,但我也希望能找到一个结合二者优势的工具,很碰巧,我发现了Fooocus。
然而实际学习过程中我发现很多人误解了fooocus,它的目标好像更大更宏伟,它视为对手的是Stable diffusion和minjourney。
FOOOCUS的自我介绍
Fooocus是一款图像生成软件。
Fooocus是对Stable Diffusion和Midjourney的设计的重新思考:
- 从Stable Diffusion中学到的,该软件是离线的、开源的,而且免费的。
- 从Midjourney中学到的,不需要手动调整,用户只需专注于提示和图像。
Fooocus包含并自动化了许多内部优化和质量改进。用户可以忘记所有那些复杂的技术参数,只需享受人与计算机之间的互动,以“探索思维的新媒体并拓展人类的想象力”[1]。
Fooocus简化了安装过程。在点击“下载”和生成第一张图像之间,所需的鼠标点击次数严格限制在不到3次以内。最低的GPU内存要求是4GB(Nvidia)。
Fooocus还为高级用户开发了许多“Fooocus专属”功能,以获得完美的结果。点击这里浏览高级功能。、
Fooocus的实践
Fooocus的安装
软件的安装非常简单,首先下载对应操作系统的安装文件,软件包大概1.6G,
软件下载 :
https://github.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_2-0-0.7zgithub.com/lllyasviel/Fooocus/releases/download/release/Fooocus_win64_2-0-0.7z
Fooocus的启动
直接在解压路径下运行run.bat就行,但是启动时会自动下载几个SDXL的模型文件。因为默认是从huggingface下载,速度较慢,所以建议各位下载好了直接拷贝到.\Fooocus\models\checkpoints的路径下。通过启动下载不仅慢,而且没有断点续传,用下载工具则方便的多。
另外需要注意一点,有些同学之前下载过更新版本的SDXL的base和refiner模型,不想用0.9的模型,那可以直接修改launch.py文件,改成自己版本的就行。找到下面这个代码段,修改就可以了。
model_filenames = [
('sd_xl_base_1.0_0.9vae.safetensors',
'https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors'),
('sd_xl_refiner_1.0_0.9vae.safetensors',
'https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors')
]
Fooocus的自动更新
Fooocus会自动更新,这点大家要注意了。它的run.bat里面首先就是检查自己git是否发布了最新版本,然后更新代码,如果大家不想更新那么快,可以通过修改源码绕过更新。
Fooocus的远程访问
默认情况下,只能本机访问,但是可以修改webui.py来共享你本机的实例,最简单就是修改最后一句话
shared.gradio_root.launch(inbrowser=True, server_name="0.0.0.0", server_port=7880, share=True)
Fooocus的使用
启动完成,会自动弹出访问页面,
为什么这么简洁,看惯了SD的复杂界面,看这个简直有点不知所措。试着来一个,a tiger in the forest.
直观感受,画质非常清晰,理解语义也很准确,不需要反向提示词。再来试试人物的,a chinese girl riding a tiger in ancient myth story
感觉人物面部还是不够精细。来个人像的吧。raw photo, masterpiece, chinese girl , wearing high-class business/working suit, simple background, high-class pure color background, solo, medium shot, high detail face, looking straight into the camera with shoulders parallel to the frame, slim body, photorealistic, best quality
从单独的人物面部效果来看SDXL确实更胜一筹
感觉人物刻画的还不错,但是背景没有达到我们想要的效果。打开高级选项,
发现所有的高级选项都在这里,也看到了fooocus设计的良苦用心。为什么给的是图片尺寸固定模型,从SDXL的官方信息可知,SDXL训练的数据包含以下尺寸,都是1024*1024像素训练的,所以最好还是要和这个像素匹配的分辨率。
改变自己 改变人生:为什么使用SDXL-学习笔记0 赞同 · 0 评论文章编辑
官方建议分辨率,Fooocus其实是做了扩展。2048*512这种太少人用了。
如果你想增加其它的尺寸,也没什么难的,只需要修改\Fooocus\modules\sdxl_styles.py里面943行,这段定义就可以了。
SD_XL_BASE_RATIOS = {
"0.5": (704, 1408),
"0.52": (704, 1344),
"0.57": (768, 1344),
"0.6": (768, 1280),
"0.68": (832, 1216),
......
"4.0": (2048,512) # 我们增加的尺寸
}
setting菜单,设置。
performance性能:速度(优先);质量(优先)
Aspect Ratios (width × height):图片尺寸
Image Number:出图数量
Negative Prompt:反向提示词
Random:随机种子,选中后,可以固定seed值
Style风格
这里面的风格我统计了一下,大概有184个风格可以选择,这里面fooocus的目的是让用户不需要再为风格的关键词来费脑筋,看看几个风格的出图,我们还是老虎为题,只是风格不同,提示词只有个tiger
SAI-3D art
sai-line art
sai-neonpunk
futuristic-biomechanical 未来生物机械
ads-advertising
artstyle-pop art:以大众文化和消费为主题,通过大胆的颜色、图案和扁平化的造型来表现
Macro Photography(摄影技术,主要用于拍摄极小物体的特写照片。这种摄影风格的目标是在高度放大的情况下捕捉物体的微小细节,使观众能够看到平常情况下肉眼无法察觉的细节和纹理)
misc-lovecraftian(恐怖、神秘,科幻元素)
赛博朋克风格的机器
"artstyle-impressionist" 法国印象派艺术风格,如莫奈
game-bubble bobble 泡泡游戏
格斗游戏风格
马里奥游戏风
Terragen(一种专业的3D环境生成和渲染软件。它主要用于创建和渲染高质量的自然环境和风景)
Paper-cut
风格页面的设计我倒觉得Foocus更希望专业美术人可以利用,因为像我这样的技术人员,对于风格的理解都需要通过chatglm这样对话类AI才行。
关于Style的内置prompts
这块是以后SDXL都会通用的模式,利用内置prompts来表示style,这也是基于stable diffusion的AIGC一个发展趋势,大家可以通过学习他们的prompts来提示自己的prompts水平。这个文件是Fooocus\modules\sdxl_styles.py,大家用python编辑器或者其它编辑器可以看一下,是json格式。我给大家展示一部分style的prompts
{
"name": "cinematic-default",
"prompt": "cinematic still {prompt} . emotional, harmonious, vignette, highly detailed, high budget, bokeh, cinemascope, moody, epic, gorgeous, film grain, grainy",
"negative_prompt": "anime, cartoon, graphic, text, painting, crayon, graphite, abstract, glitch, deformed, mutated, ugly, disfigured"
},
{
"name": "sai-3d-model",
"prompt": "professional 3d model {prompt} . octane render, highly detailed, volumetric, dramatic lighting",
"negative_prompt": "ugly, deformed, noisy, low poly, blurry, painting"
},
{
"name": "sai-analog film",
"prompt": "analog film photo {prompt} . faded film, desaturated, 35mm photo, grainy, vignette, vintage, Kodachrome, Lomography, stained, highly detailed, found footage",
"negative_prompt": "painting, drawing, illustration, glitch, deformed, mutated, cross-eyed, ugly, disfigured"
},
{
"name": "sai-anime",
"prompt": "anime artwork {prompt} . anime style, key visual, vibrant, studio anime, highly detailed",
"negative_prompt": "photo, deformed, black and white, realism, disfigured, low contrast"
},
{
"name": "sai-cinematic",
"prompt": "cinematic film still {prompt} . shallow depth of field, vignette, highly detailed, high budget, bokeh, cinemascope, moody, epic, gorgeous, film grain, grainy",
"negative_prompt": "anime, cartoon, graphic, text, painting, crayon, graphite, abstract, glitch, deformed, mutated, ugly, disfigured"
},
{
"name": "sai-comic book",
"prompt": "comic {prompt} . graphic illustration, comic art, graphic novel art, vibrant, highly detailed",
"negative_prompt": "photograph, deformed, glitch, noisy, realistic, stock photo"
},
{
"name": "sai-craft clay",
"prompt": "play-doh style {prompt} . sculpture, clay art, centered composition, Claymation",
"negative_prompt": "sloppy, messy, grainy, highly detailed, ultra textured, photo"
},
学到了吧,这些prompts拿到sd1.5里面也可以用。这就是所谓的前人栽树后人乘凉。
高级选项
基础模型和refiner模型,可选Loras,有五个。
我在C站找了一个卡通化人物的Lora,文件下载后拷贝到\Fooocus\models\loras目录,点击刷新(Refresh all files)按钮,就可以选择下载的Lora了。
SDXL-Caricaturized-Lora.safetensors出图效果如下。按照给的prompts出图,
无Lora的效果
增加漫画风格Lora的效果
增加了写实照片风格Lora的效果
注意:在C站下载模型,Lora的时候一定要找XL版本的。
最后一个sampling sharpness,作者还在github网站上做了专门的讲解。通过这个数值可以调节图片的细节。
我们来看看对比一下效果,
这是sampling sharpness 分别是6, 10,20的区别,越大细节越多。文章来源:https://www.toymoban.com/news/detail-774476.html
总结
今天对于Fooocus的只是粗浅的了解。后面会继续深入学习和了解。从目前直观的感受,Fooocus是比较忠于SDXL的思想的,通过风格化的设定,控制出图预期,减少出图的不可预知性。文章来源地址https://www.toymoban.com/news/detail-774476.html
到了这里,关于Fooocus入坑指南-对SDXL支持最棒的UI工具的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!