基于Stable Diffusion的2D游戏关卡生成【实战】

这篇具有很好参考价值的文章主要介绍了基于Stable Diffusion的2D游戏关卡生成【实战】。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

接下来的几篇文章将与常规主题有所不同(这是在从事通用机器人技术的职业中吸取的教训)。 相反,我决定利用我的一些新空闲时间 1 边做边学,并使用所有酷孩子都在谈论的一些很酷的新 ML。

基于Stable Diffusion的2D游戏关卡生成【实战】

推荐:用 NSDT设计器 快速搭建可编程3D场景。

1、项目简介

我的项目是制作一个 2D 平台游戏,玩家可以在其中设计自己的关卡,然后生成式 AI 将创建漂亮的渲染图像来表示关卡。 我想做一些没有 AI 就不可能实现的事情:让玩家参与艺术创作。 我们将跳到最后,您可以看到游戏现在的样子:
基于Stable Diffusion的2D游戏关卡生成【实战】

这里有一些不同的主题,但你也可以创建自己的主题。
基于Stable Diffusion的2D游戏关卡生成【实战】

你可以在这里尝试游戏:dimensionhopper.com

我建议查看随机级别或画廊,看看那里有什么。

但是让我们谈谈实现的过程。

2、概念验证

我以前玩过 Stable Diffusion,它是一个非常有趣的玩具,可以拍出很酷的照片,但我总觉得我的控制力不够。 对我来说,创作的乐趣来自于我所做的和我得到的之间的互动,我希望有更多的投入。 这就是为什么当我读到 control-net 时我如此兴奋,它提供了更多的旋钮来控制输出。 我立即想用它来制作 2D 游戏。

3、立刻行动

我在我的笔记本电脑上安装了 Stable-Diffusion,启动了 webui3 让控制网络工作并将这个深度图像输入到 Stable Diffusion:

基于Stable Diffusion的2D游戏关卡生成【实战】

这将平台近处的像素标为白色,黑色背景意味着该部分很远。 我使用的是像素艺术模型,在 CIVAI 页面上有这张令人惊叹的演示图片:
基于Stable Diffusion的2D游戏关卡生成【实战】

所以我从中复制提示和设置,稍微调整一下并点击生成………然后得到这个
基于Stable Diffusion的2D游戏关卡生成【实战】

不完全是我所希望的……我尝试让深度模式工作一段时间但没能成功。
基于Stable Diffusion的2D游戏关卡生成【实战】

并切换到控制网的“涂鸦”模式。 涂鸦模式采用形状轮廓并让它们引导图像(而不是深度)。

基于Stable Diffusion的2D游戏关卡生成【实战】

更有趣但仍然不好。

更改提示:

“pixelart 视频游戏环境,平台游戏级别。 在丛林中创造一个神秘的石庙形象。 阳光,戏剧性的灯光。 棕色石头上的藤蔓和裂缝”

更接近了! 我有一张照片。 它有点与关卡相互作用。 仍然不好但更好。
基于Stable Diffusion的2D游戏关卡生成【实战】

哦,我现在让关卡投下了一些阴影。
基于Stable Diffusion的2D游戏关卡生成【实战】

“pixelart 视频游戏环境,创建一个废弃空间站的图像,系统损坏,灯光闪烁,充满危险感。 展示残骸、废弃的房间和挥之不去的未知威胁。”

最终,随着更多设置的尝试,我得到了这样的关卡:
基于Stable Diffusion的2D游戏关卡生成【实战】

与开始相比,这是一个很大的改进,但是 (1) 关卡看起来不像是美术的一部分,充其量只是粘贴而已,并且 (2) 关卡纹理看起来像是重复的图块集。 人类视频游戏开发者这样做是为了他们不必为平台的每个方块绘制不同的草,但我没有那个限制。 嗯。

4、放弃像素艺术

我认为我的部分问题是使用在像素艺术上训练的模型。 它忠实地复制了重复 tileset 的类型,这正是我不想要的。 所以我换了另一个模型,这个模型是围绕儿童插画构建的,我的第一张图片是这样的:

基于Stable Diffusion的2D游戏关卡生成【实战】

哇! 好多了! 平台上有阴影,前后都有物体,这实际上是一幅漂亮的图画。 我正在做某事!

新模型拍出了漂亮的照片,但我很快意识到我在两种故障模式之间徘徊。

要么我有一张漂亮的图片,其中大部分绘制在它上面:
基于Stable Diffusion的2D游戏关卡生成【实战】

或者我得到一张漂亮的综合图片,其中真的不清楚你可以站在哪里:

基于Stable Diffusion的2D游戏关卡生成【实战】
基于Stable Diffusion的2D游戏关卡生成【实战】

最后一个特别有问题,因为你可以站立的“水平”部分被渲染为一个窗口,完全颠倒了语义。 这是使用“涂鸦模式”的一个基本问题,因为我让 Stable Diffusion 无法知道什么是近的,什么是远的,只是勾勒出形状。

5、突破:平台上的嘴唇

我回到深度,但有一个想法:如果我暗示平台的顶部有一个小唇怎么办? 我没有在我的游戏渲染引擎中编写代码,而是在 Gimp 中绘制它们。

基于Stable Diffusion的2D游戏关卡生成【实战】
基于Stable Diffusion的2D游戏关卡生成【实战】

快乐的小平台排行榜

天哪,它起作用了!

更重要的是:它几乎每次都能正常工作。 大多数 Stable-Diffusion 工作流程包括生成比实际需要多 4-10 倍的图像,并选择好的图像。 为了让我的想法奏效,我们需要所有关卡都可以玩(你可以知道平台在哪里)并且其中大部分都很好(漂亮的插图),因为不会有人工策划步骤。

6、控制图像很重要

我了解到深度图像的外观确实会改变输出的质量。 我在丛林废墟上工作,不断得到这样的图像:

基于Stable Diffusion的2D游戏关卡生成【实战】

(旁注:标准上升的速度令人惊讶。早期那张照片让我大吃一惊,但现在看起来没什么)。

问题 4 是,实际上并没有任何合理的带有该深度图的丛林图片。 丛林(实际上是一切)看起来不是那样的。 东西不会漂浮在空中,它下面有东西支撑着它。 这导致突破 2:添加支持。
基于Stable Diffusion的2D游戏关卡生成【实战】

每个平台块都将一个深灰色的盒子投射到它下面的地板上,这为世界提供了结构。 深灰色没有游戏目的,它只是向 Stable Diffusion 提示图片的内容。 我们得到了更好的图像。

基于Stable Diffusion的2D游戏关卡生成【实战】

一切都很好,但我仍然遇到洞穴问题,我想知道是不是因为它试图匹配深度图的笔直、锐利的边缘并且很难让它看起来有机,所以我添加了可调节的粗糙度 到图像(以及可调节的背景深度,这样天空对于室外场景可以很远,而对于室内/丛林场景则可以更近。
基于Stable Diffusion的2D游戏关卡生成【实战】

基于Stable Diffusion的2D游戏关卡生成【实战】

请注意,平台的底部真的很直,它发明了一堆光柱/瀑布,它们可以有完美的直垂直线。 这个其实挺好的,就是方角不太理想。
基于Stable Diffusion的2D游戏关卡生成【实战】

现在一切都在地下,而且在崎岖不平的岩石上的光线看起来很不错。

7、宝石和角色

稳定扩散不会产生任何透明度。

基于Stable Diffusion的2D游戏关卡生成【实战】

但是可以用关卡图像作弊,因为我有我输入的深度信息和基于此的掩码,所以角色可以在需要时进入平台“后面”。 对于宝石,如果我要求“<blue gem/ruby jewel> floating videogame object on a black background”然后在 python中减去背景
基于Stable Diffusion的2D游戏关卡生成【实战】

对于角色,我发现这个模型经过微调,可以制作 4 帧的行走动画。 创作者真的想要左/右/上/下动画,因此将这个模型与主题是谁的 lora 结合起来,创建描绘同一角色的所有 4 个方向。 因此,我认为它经过训练,因此所有“向右走”都只会得到提示“PixelartRSS”。

基于Stable Diffusion的2D游戏关卡生成【实战】

我希望能够提示有关我想要的角色的一些信息,这有时有点管用,但远没有我想要的那么可靠。 我怀疑如果我有训练数据,将其限制在侧身行走并用角色的实际描述标记它,它对我来说会更好。 但它确实能让人走路。 所以只要你不挑剔,全天都能拿到新的玩家角色精灵。

8、结束语

现在只需要让它在我自己的应用程序中工作。 我使用优秀的diffusers库来包装生成器并制作我的小服务器。 一切都进展得如此之快,以至于我确信我在我的 image_generation.py 中以非常愚蠢的方式做了一些事情,如果正确配置它可能会获得 2-3 倍的加速,但现在一切正常,而且它是 玩起来很有趣。


原文链接:用稳定扩散生成游戏关卡 — BimAnt文章来源地址https://www.toymoban.com/news/detail-501874.html

到了这里,关于基于Stable Diffusion的2D游戏关卡生成【实战】的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • AI绘图实战(八):制作游戏人物原稿三视图 | Stable Diffusion成为设计师生产力工具

    S:AI能取代设计师么? I :至少在设计行业,目前AI扮演的主要角色还是超级工具,要顶替?除非甲方对设计效果无所畏惧~~ 预先学习 : 安装及其问题解决参考:《Windows安装Stable Diffusion WebUI及问题解决记录》; 运行使用时问题《Windows使用Stable Diffusion时遇到的各种问题整理

    2024年02月06日
    浏览(45)
  • AnimateDiff论文解读-基于Stable Diffusion文生图模型生成动画

    论文: 《AnimateDiff: Animate Your Personalized Text-to-Image Diffusion Models without Specific Tuning》 github: https://github.com/guoyww/animatediff/ 随着文生图模型Stable Diffusion及个性化finetune方法:DreamBooth、LoRA发展,人们可以用较低成本生成自己所需的高质量图像,这导致对于图像动画的需求越来越多

    2024年02月14日
    浏览(38)
  • Stable Diffusion复现——基于 Amazon SageMaker 搭建文本生成图像模型

    众所周知, Stable Diffusion扩散模型的训练和推理非常消耗显卡资源 ,我之前也是因为资源原因一直没有复现成功。 而最近我在网上搜索发现,亚马逊云科技最近推出了一个 【云上探索实验室】 刚好有复现Stable Diffusion的活动,其使用 亚马逊AWS提供的Amazon SageMaker机器学习平台

    2023年04月09日
    浏览(40)
  • 视觉族: 基于Stable Diffusion的免费AI绘画图片生成器工具

    视觉族是一款基于Stable Diffusion文生图模型的免费在线AI绘画图片生成器工具,可以使用提示快速生成精美的艺术图片,支持中文提示。无论你是想要创作自己的原创作品,还是想要为你的文字增添一些视觉效果,视觉族都可以帮助你实现你的想象。 网址链接:https://

    2024年02月09日
    浏览(60)
  • 借助 ControlNet 生成艺术二维码 – 基于 Stable Diffusion 的 AI 绘画方案

    背景介绍 在过去的数月中,亚马逊云科技已经推出了多篇博文,来介绍如何在亚马逊云科技上部署 Stable Diffusion,或是如何结合 Amazon SageMaker 与 Stable Diffusion 进行模型训练和推理任务。 为了帮助客户快速、安全地在亚马逊云科技上构建、部署和管理应用程序,众多合作伙伴与

    2024年02月08日
    浏览(47)
  • 利用stable diffusion制作2D转3D

    第一步,将图片拖入Tagger界面。 用反推命令推出图片的大致提示词,然后卸载模型(避免占用过多显存),最后复制提示词粘贴到文生图界面。 第二步,来到文生图界面。 选择 Rev Animated 模型,首先粘贴上2D转3D起手式,然后粘贴Tagger反推得到的提示词,选择你喜欢的采样器

    2024年02月06日
    浏览(35)
  • Stable Diffusion 用2D图片制作3D动态壁纸

    如果想让我们的2D图片动起来可以使用 stable-diffusion-webui-depthmap-script 插件在SD中进行加工让图片动起来。 这是一个可以从单个图像创建深度图,现在也可以生成3D立体图像对的插件,无论是并排还是浮雕。生成的结果可在3D或全息设备(如VR耳机或Looking Glass显示器)上查看,也

    2024年02月16日
    浏览(43)
  • 基于 Stable Diffusion免费快速无代码生成自己AI虚拟主播,并根据内容实现多语言播报

    如何免费快速无代码生成自己AI虚拟主播? Stable Diffusion 是一种文本到图像模型。它主要用于根据文本描述生成详细的图像。Stable Diffusion 是 midjourney 和 DALLE-2 等工具的绝佳替代品。这个工具的伟大之处在于您可以在您的计算机上本地运行它或使用 Dream Studio 或 Hugging Face 等服

    2024年02月10日
    浏览(50)
  • AI创作教程之从 Youtube平台视频剪辑生成新闻文章 基于OpenAI Whisper、OpenAI GPT3 和 Stable Diffusion

    在这篇文章中,我想展示如何借助不同的软件工具从 Youtube 上发布的新闻剪辑中全自动生成包含文本和图像的新闻文章。使用当前用于处理媒体数据的 AI 模型,例如 OpenAI Whisper、OpenAI GPT3 和 Stable Diffusion。 OpenAI Whisper 是最近发布的模型,用于将音频数据转换为具有前所未有质

    2024年02月11日
    浏览(166)
  • 从零开始入门创作游戏——2D沙盘类随机地图的生成

    如果想做类似于泰拉瑞亚的沙盘游戏,首先需要生成随机的地图。 首先需要确定地图大小和砖块元素 1、地图所需基本参数 因为只有第一次开始时会生成地图,所以可以删除update函数 2、砖块元素 为了简单,直接创建方块元素来代替游戏砖块。在资源栏右键创建即可。默认白

    2024年02月05日
    浏览(41)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包