使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像-Toy模板网

这篇具有很好参考价值的文章主要介绍了使用Unity 接入 Stable-Diffusion-WebUI 文生图生成图像。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

参考：stable diffusion 远端跑图—— Api基础知识掌握 - 知乎 (zhihu.com)

1、准备工作(下载启动器)

这一部分就不多赘诉了，我使用的是B站秋叶大佬的整合包，要启用API。

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

网上蛮多自己配置的，可能需要设密码之类的。经自己测试，使用整合包的话就不配置这个API账号密码了，不然会出现客户端出错，连接不上等问题(可能是我操作不当，我也还没研究透)

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

附带：可以下一个Postman来测试接口

2、接口测试

FastAPI - Swagger UI 这里面有很多接口，暂时只研究了一下文生图的接口，关于文生图的这些请求体参数还没摸透目前。

找到文生图的 Post 接口

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

打开，里头有个Try it out，点击之后会出现一个请求体，然后底下会有一个Execute的执行按钮，然后在底下就能直接复制这个接口的地址了。这个接口其实在上面图片就有了，就是你的本机ip加上/sdapi/v1/txt2img
测试接口。可以在这个网站上直接测试接口。我这用的是Postman，其实没什么区别。在Postman中创建一个Post请求，填入地址。

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

添加请求体，选择json数据，输入请求体内容(如上所说，调试参数还没搞明白)，然后发送等待返回数据即可。

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

解析数据。如果没出错的话，会返回一些信息，其中images是一个base64的字符串数组(后面在Unity会用到)，就是图片信息(是的，贼长一串)，然后parameters就是你的请求体了(调试的参数)，关于info(我不知道哈哈哈)，

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

查看图片。可以复制这一长串字符串(images里面的。上面提到了这是数组，你的请求体如果写了出图是几张，如果你出的是两张图，那你直接复制进去肯定是解析不出来的，自己找到其中一张的信息拿出来用)。然后打开 Base64 to Image Decoder / Converter (codebeautify.org) 这个网站，将你的字符串输入进去(去掉首位的双引号啊中括号之类的)，你就可以得到你生成的图片咯。

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

ps：额...有点抽象。关于调试参数这些的，网上有挺多内容的，大家可以自行查阅一下。

3、Unity 接入

发下疯，亚雷**，我以前写post接口测试的时候，都是传的json字符串，直接将数据序列化传输即可。测这玩意的时候，测了半天跑不通，就是422，读取不了我的数据。网上看了很多几乎都是python，官方文档也是用的python案例，好像也就是传个地址，然后不也是直接传的json字符串。有够绝望，误打误撞将数据转成byte字节流数据上传，成了....

在场景里搞个RawImage用来等下接收生成的图片，然后准备个dll文件，放在Plugins下。这是一个序列化和反序列化的库文件。也可以直接在VS里装，但我不知道咋回事，装好了之后重新打开脚本，引用直接报错了，索性直接下一个dll丢到里头。

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

代码的话，思路无非就是创建结构体或者来，表示你要上传的数据，然后序列化成json字符串，在转byte字节流，发送请求，然后收到请求，然后解析数据啊这样。
需要注意的几点就是：

1、json 数据常会有空值，但是值类型是没有空值的，所以我定义接收数据的时候更常用一些引用类型来接收，避免出现错误。

2、构建请求体的结构体或类时，字段名要对应Api接口的请求参数名。如api接口 prompt提示词和steps迭代次数，那我定义的时候就对应上。这个具体还是得看他所接收得字段名是啥，还有他得数据类型是啥。(传错的话似乎协程似乎会陷入无法释放的状态，然后就是重启大法....)
```
public class txt2imgMes
{
    public int steps;
    public string prompt;
    public int batch_size;
   
}
```

stable diffusion的comfy ui版本保存的json代码可以接入unity吗,stable diffusion,unity

请求的方法的话，UnityWebRequest 和 WWW 类我都试了一下，都行得通。之前做Post测试的时候，有时接口只能用其中一种方法，很奇怪我也不知道啥问题。另外需要加上请求头，试了一下不加请求头也会出错。

#region UnityWebRequest 请求
//  创建Post请求
UnityWebRequest requestPost = new UnityWebRequest(URL, UnityWebRequest.kHttpVerbPOST);
//  实例请求体
txt2img_Mes txt2imgMes = new txt2img_Mes();
txt2imgMes.prompt = "puppy dog";
txt2imgMes.steps = 15;
txt2imgMes.batch_size = 2;
string str = JsonConvert.SerializeObject(txt2imgMes);
// 将Json字符串转换为byte[]
byte[] postData = Encoding.UTF8.GetBytes(str);

//  添加请求头
requestPost.SetRequestHeader("Accept", "application/json");
requestPost.SetRequestHeader("Content-Type", "application/json");
//  实例上传处理器，并将 postData 设置为上传的数据
requestPost.uploadHandler = new UploadHandlerRaw(postData);
//  使用构造函数创建 Post 请求，需要实例下载器存储数据及上传处理器
//  通过静态方法 UnityWebRequest.Post() 创建Post请求，会自动实例分配下载处理器和上传处理器。
requestPost.downloadHandler = new DownloadHandlerBuffer();

yield return requestPost.SendWebRequest();
if (requestPost.isHttpError || requestPost.isNetworkError)
{
    Debug.Log(requestPost.error);
}
else
{
    Debug.Log("图片生成中");
    string text = requestPost.downloadHandler.text;
    action.Invoke(text);
}
#endregion

定义接收返回数据的对象。之前提到过，返回的图片信息是一个base64字符串数组，然后试了一下用List列表去接收，也是可以的(毕竟列表也是通过数组实现的)。刚刚Postman测试的时候可以看到，返回的数据不止图片的信息一个，但只需要用到 images 这一个信息，所以只定义了这个对象用于接收

public class txt2imgReturnMes
{
    //  返回的图片信息是一个string字符串
    //  使用 List ，Json数据有的值是空值，对于接收的数据类型个人更常用引用类型
    public List<string> images;
    //  public string[] images;
}

解析数据获取图片，反序列化获取的数据，然后将字符串转为byte字节流数据，生成图片，然后就可以了。

 StartCoroutine(PostRequest(Url, (string str) =>
 {
     Debug.Log(str);
     txt2img_ReturnMes byteMes = JsonConvert.DeserializeObject<txt2img_ReturnMes>(str);
     Debug.Log("获取返回数据");
     Debug.Log(byteMes.images.Count);
    
     byte[] bytes = Convert.FromBase64String(byteMes.images[0]);
     Texture2D texture = new Texture2D(1, 1);
     texture.LoadImage(bytes);
     image.texture = texture;

     byte[] bytes2 = Convert.FromBase64String(byteMes.images[1]);
     Texture2D texture2 = new Texture2D(1, 1);
     texture2.LoadImage(bytes2);
     image2.texture = texture2;
 }));