Stable Diffusion 预置提示词优化过程

这篇具有很好参考价值的文章主要介绍了Stable Diffusion 预置提示词优化过程。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

背景

Stable Diffusion/MidJourney对于不同的使用者有两种完全不同的作用和用法:

  • 对于设计师等个人核心价值就在图片本身的角色,SD是提效工具。使用时会进行大量的尝试、调整、批量对比。
  • 对于使用集成模型的用户,SD是赋能工具。在原来不能插图的地方插图,但是这些地方一定是非核心价值,整个过程就需要快速、简单、高质量。
    对于后者,预置提示词的优化就非常重要了。因为用户会更倾向去选择关键字而非思考和尝试。

炼丹

对于这些预置词,是可以充分利用ChatGPT来辅助炼丹的。因为我比较老土,并没有图片质量自动评估的手段,所以不能完全自动化。这里会充分利用ChatGPT的知识和扩展能力。

过程

  1. 把目标词输进去,看这个词是不是在训练集中与目标内容有强关联
    1.a 有强关联到step 2
    1.b没有强关联到step 5
  2. 去chatgpt中问类似You are an expert in art and drawing. I will give you some art style in following messages. You will tell me how to judge the overall quality of this art style, respond with keywords. Both in english and Chinese.让chatgpt给出该目标词关联的一些keyword或者描述。
  3. 挑选一些描述,让chatgpt转成形容词。adj for
  4. 把这些词放到prompt中,选择0-3之间的权重,一般选1.0-1.5。评估词的有效性
    4.a 如果有效到step 6
  5. 找到目标词的关联范例或者画家,翻译成英文后放到提示词中。权重在0.2-1.5间。
  6. 调整step到一个较好的状态。DPM++ SDE Karras默认可以从7-15中挑,某些特殊场景考虑6。

LLM

还有另一个套路是让用户的提示词过一遍LLM,把好SD prompt的规则填入到LLM中,让LLM补充内容。文章来源地址https://www.toymoban.com/news/detail-499338.html

过程

  1. 让LLM填充主要的三个必填项:风格、背景和主体
  2. 为风格找到关联范例或者画家
  3. 根据风格找到合适的颜色风格
  4. 根据背景和主题找到合适的构图。但是构图通常不太能用prompt说明白,最好想办法搞一个构图的controlnet
  5. 风格最好是预置词,不同风格的step差别太大。当然也可以用LLM选择一个范围内的step,原则就是模糊+主体细节少step少,否则step多
    这里可以观察一下jinaai的优化结果,基本上就是上述过程除去构图和风格预置词。

到了这里,关于Stable Diffusion 预置提示词优化过程的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Stable Diffusion - 哥特 (Goth) 风格服装与背景的 LoRA 配置

    欢迎关注我的CSDN:https://spike.blog.csdn.net/ 本文地址:https://spike.blog.csdn.net/article/details/132177882 图像来源于 Goth Clothing 的 LoRA 效果,配合哥特 (Goth) 风格服饰的相关提示词。 测试模型: DreamShaper 8 哥特风格 (Goth Style) 的服装特点: 受到中世纪哥特式建筑和艺术的影响,表现出一

    2024年02月13日
    浏览(41)
  • Stable Diffusion 提示词技巧

    随着AI技术的不断发展,越来越多的新算法涌现出来,例如Stable Diffusion、Midjourney、Dall-E等。相较于传统算法如GAN和VAE,这些新算法在生成高分辨率、高质量的图片方面表现更加卓越,把 AI 图像生成又提升了一个新的高度,AI图像生成对各行各业都带来了很重要的影响。如 S

    2024年02月10日
    浏览(39)
  • 〔016〕Stable Diffusion 之 模型工具箱和图片背景移除 篇

    由于模型很多,而且底模也非常大,对于空间占用比较大,如果想缩小模型体积,可以使用模型工具箱插件 该插件主要支持 模型的修剪 、 转换.safetensors格式 、 提取和替换模型的组件 、 调整模型架构 插件地址: https://github.com/arenasys/stable-diffusion-webui-model-toolkit 当然也可以

    2024年02月11日
    浏览(33)
  • stable diffusion实践操作-提示词

    stable diffusion实践操作 stable diffusion实践操作-提示词-人物属性 stable diffusion实践操作-提示词-人物服饰 stable diffusion实践操作-提示词-整体环境 stable diffusion实践操作-提示词-图片结构 stable diffusion实践操作-CLIP 本文专门开一节写提示词相关的内容. SD提示词是以词组作为单位的,

    2024年02月09日
    浏览(47)
  • Stable Diffusion Prompt提示语用法

    Stable Diffusion可以根据你输入的提示词(prompt)来绘制出画面。 提高图像质量的prompt: prompt 用途 HDR, UHD, 64K (HDR、UHD、4K、8K和64K)这样的质量词可以带来巨大的差异提升照片的质量 Highly detailed 画出更多详细的细节 Studio lighting 添加演播室的灯光,可以为图像添加一些漂亮的纹理

    2024年02月09日
    浏览(53)
  • chatGPT生成stable diffusion 提示词

    # Stable Diffusion prompt 助理 你来充当一位有艺术气息的Stable Diffusion prompt 助理。 ## 任务 我用自然语言告诉你要生成的prompt的主题,你的任务是根据这个主题想象一幅完整的画面,然后转化成一份详细的、高质量的prompt,让Stable Diffusion可以生成高质量的图像。 ## 背景介绍 Stab

    2024年02月03日
    浏览(41)
  • Stable diffusion教程(2) - 提示词汉化

    安装stable diffusion后,可能英语不熟悉,可能提示词不熟悉,写提示词就比较困难。 这款提示词汉化插件,配合中文词库输入中文就能提示相关提示词,用起来超级方便,示例如下: 输入“花”自动提示所有与花有关的提示词 输入“反向”自动提示反向提示词 简体中文语言

    2024年02月07日
    浏览(36)
  • AI 绘画 | Stable Diffusion 提示词

    在Stable Diffusion中,Prompts是控制模型生成图像的关键输入参数。它们是一种文本提示,告诉模型应该生成什么样的图像。 Prompts可以是任何文本输入,包括描述图像的文本,如“一只橘色的短毛猫,坐在草地上,背景是蓝天白云”,也可以是的组合,如“鸟,森林,天空

    2024年01月21日
    浏览(52)
  • Stable Diffusion 提示词语法(Prompt)

    本文收录于《AI绘画从入门到精通》专栏,专栏总目录:点这里。 大家好,我是水滴~~ 本篇文章主要讲述 Stable Diffusion 提示词语法,主要包括:提示词的概念、提示词的长度、权重、分步绘制、交替绘制、组合绘制等,希望能对你有所帮助。

    2024年03月18日
    浏览(43)
  • Stable Diffusion prompt绘画提示词

    你来充当一位有艺术气息的Stable Diffusion prompt 助理。 我用自然语言告诉你要生成的prompt的主题,你的任务是根据这个主题想象一幅完整的画面,然后转化成一份详细的、高质量的prompt,让Stable Diffusion可以生成高质量的图像。 Stable Diffusion是一款利用深度学习的文生图模型,支

    2024年02月12日
    浏览(50)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包