AI绘画中VAE压缩图像

这篇具有很好参考价值的文章主要介绍了AI绘画中VAE压缩图像。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

介绍

在Stable Diffusion中,所有的去噪和加噪过程并非在图像空间直接进行,而是通过VAE模块将图像编码到一个低维空间。

这个低维空间的“分辨率”低于原始图像空间,有利于快速地完成加噪和去噪过程。

最后再将编码空间中的噪声表示解码恢复为图像空间,完成去噪或加噪操作。

采用这种编码-解码的流程,可以避免在高维图像空间直接操作带来的计算资源消耗,也更容易控制和操作噪声信号。

VAE模块承担了编码图像到隐空间然后操作的功能,是Stable Diffusion实现高效噪声增减的关键。

概念

变分自编码器(Variational Autoencoder, VAE)中的潜在空间(latent space)是一个核心概念,对理解 VAE 的工作原理至关重要。

潜在空间指的是一个较低维度的表示空间,在该空间中,数据的高维特性被编码为更为简洁的形式。在 VAE 框架中,潜在空间充当着数据的内部、抽象表示,通常捕获了数据的基本特征和结构。

AI绘画中VAE压缩图像,gpt,AI作画,人工智能,gpt,chatgpt,vae,stable diffusion,ai
在这个示例中:

  • “输入数据”是模型的输入,比如一张图像。
  • “编码器”将输入数据映射到潜在空间的分布参数,通常是均值(μ)和方差(σ)。
  • 在“潜在空间参数”步骤,从分布中“抽样”以产生潜在空间的样本点。
  • “解码器”接收潜在空间中的样本点,并尝试重构与原始输入类似的数据。
  • “重构数据”是模型的最终输出,是对输入数据的重构或生成版本。

潜在空间的重要性

  • 特征提取:在潜在空间中,数据的关键特征被提取和压缩,去除了冗余信息。
  • 数据生成:由于其连续性,潜在空间允许我们通过在其内进行抽样来生成新的数据实例,这些数据实例在某种程度上类似于原始数据集中的样本。
  • 数据表示:潜在空间提供了一种更加有效的方式来表示复杂数据,为数据的进一步分析和处理提供了可能。

历史

变分自编码器(Variational Autoencoder, VAE)的历史和演变可以概述为以下几个关键阶段:

  1. 初始发展(2013年左右)

    • VAE 的概念最初由 Kingma 和 Welling 在 2013 年的论文《Auto-Encoding Variational Bayes》中提出。https://arxiv.org/abs/1312.6114
    • 这一阶段的创新在于引入了一种新的生成模型框架,结合了深度学习与贝叶斯推断方法。VAE 提供了一种有效的方式来学习和推断复杂数据的潜在表示。
  2. 理论和应用的发展(2014-2016年)

    • 在这一时期,研究者开始深入探讨 VAE 的理论基础,包括其与传统自编码器的区别、潜在空间的属性以及优化技术。
    • 应用上,VAE 被用于图像生成、语音处理和推荐系统等多个领域,其能力在处理复杂数据分布时展现出显著优势。
  3. 结构和算法的创新(2017-2019年)

    • 随着深度学习技术的发展,VAE 的结构和算法得到了显著改进,如引入卷积神经网络(CNN)来处理图像数据,改善了模型的生成质量和效率。
    • 也出现了一些变体,如条件 VAE(CVAE)和序列变分自编码器(SVAE),这些变体扩展了 VAE 在特定场景下的应用。
  4. 集成和多模态学习(2020年至今)

    • VAE 开始与其他深度学习模型(如 GAN、Transformer)结合,形成更加复杂和强大的混合模型。
    • 在多模态学习领域,VAE 被用来融合不同类型的数据,如图像和文本,从而在生成任务中实现更丰富的表达能力。

架构

https://arxiv.org/abs/1312.6114

VAE 的核心是通过一个编码器将数据映射到潜在空间,然后通过一个解码器重构数据。在潜在空间中,数据的表示是基于随机分布的,通常是高斯分布。这种表示允许模型在生成新数据时捕捉输入数据的关键特征。

关于 VAE 的数学公式表达,它们主要围绕以下几个方面构建:

  1. 编码器的输出(Encoder Output)

    • 编码器将输入数据 ( x ) 映射到潜在空间中的一个分布,通常这个分布被假设为高斯分布,其参数是均值 ( μ ) ( \mu ) (μ) 和方差 ( σ 2 ) ( \sigma^2 ) (σ2)
    • 数学上表达为 q ϕ ( z ∣ x ) = N ( z ; μ , σ 2 I ) q_\phi(z|x) = \mathcal{N}(z; \mu, \sigma^2 I) qϕ(zx)=N(z;μ,σ2I),其中 ( ϕ ) ( \phi ) (ϕ) 是编码器的参数。
  2. 重构误差(Reconstruction Loss)

    • 这部分是通过解码器从潜在空间重构输入数据 ( x ) ( x ) (x) 时产生的误差。
    • 常用的度量方法是均方误差或交叉熵,具体取决于数据的性质。
  3. KL 散度(Kullback-Leibler Divergence)

    • KL 散度用于衡量编码器输出的分布 ( q ϕ ( z ∣ x ) ) ( q_\phi(z|x) ) (qϕ(zx)) 与先验分布 ( p ( z ) ) ( p(z) ) (p(z))(通常是标准高斯分布)之间的差异。
    • 公式为 KL [ q ϕ ( z ∣ x ) ∣ ∣ p ( z ) ] \text{KL}[q_\phi(z|x) || p(z)] KL[qϕ(zx)∣∣p(z)],这项帮助正则化潜在空间,防止过拟合。
  4. 变分下界(Variational Lower Bound, ELBO)

    • VAE 的目标是最大化每个输入 ( x ) ( x ) (x) 的证据下界(ELBO),其表达为: ELBO = E q ϕ ( z ∣ x ) [ log ⁡ p θ ( x ∣ z ) ] − KL [ q ϕ ( z ∣ x ) ∣ ∣ p ( z ) ] \text{ELBO} = \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] - \text{KL}[q_\phi(z|x) || p(z)] ELBO=Eqϕ(zx)[logpθ(xz)]KL[qϕ(zx)∣∣p(z)]
    • 这里 E q ϕ ( z ∣ x ) [ log ⁡ p θ ( x ∣ z ) ] \mathbb{E}_{q_\phi(z|x)}[\log p_\theta(x|z)] Eqϕ(zx)[logpθ(xz)] 是重构误差的期望, KL [ q ϕ ( z ∣ x ) ∣ ∣ p ( z ) ] \text{KL}[q_\phi(z|x) || p(z)] KL[qϕ(zx)∣∣p(z)] 是正则化项。

这些公式和原理共同构成了 VAE 的数学框架,使其成为一种强大的生成模型。在训练过程中,VAE 通过调整编码器和解码器的参数 ( ϕ ) ( \phi ) (ϕ) ( θ ) ( \theta ) (θ) 来最大化 ELBO,从而学习到有效的数据表示。

  • 优化目标:ELBO 是 VAE 训练过程中的优化目标,模型通过最大化 ELBO 来训练。

  • 平衡重构与正则化:ELBO 结合了两个重要部分——重构误差(数据的重构质量)和 KL 散度(潜在空间的正则化)。这种结合使模型在学习有效的数据表示的同时,避免了过拟合。

  • 提升数据生成质量:通过最大化 ELBO,VAE 能够更好地学习潜在空间中数据的分布,从而提高生成新数据样本的质量。
    AI绘画中VAE压缩图像,gpt,AI作画,人工智能,gpt,chatgpt,vae,stable diffusion,ai

import torch
import torch.nn as nn
import torch.nn.functional as F

class Encoder(nn.Module):
    # 编码器定义
    def __init__(self, input_dim, hidden_dim, latent_dim):
        super(Encoder, self).__init__()
        self.linear1 = nn.Linear(input_dim, hidden_dim)
        self.mean = nn.Linear(hidden_dim, latent_dim)
        self.logvar = nn.Linear(hidden_dim, latent_dim)

    def forward(self, x):
        # 前向传播过程
        hidden = F.relu(self.linear1(x))
        mean = self.mean(hidden)
        logvar = self.logvar(hidden)
        return mean, logvar

class Decoder(nn.Module):
    # 解码器定义
    def __init__(self, latent_dim, hidden_dim, output_dim):
        super(Decoder, self).__init__()
        self.linear1 = nn.Linear(latent_dim, hidden_dim)
        self.linear2 = nn.Linear(hidden_dim, output_dim)

    def forward(self, z):
        # 前向传播过程
        hidden = F.relu(self.linear1(z))
        recon_x = torch.sigmoid(self.linear2(hidden))
        return recon_x

class VAE(nn.Module):
    # VAE模型定义
    def __init__(self, input_dim, hidden_dim, latent_dim):
        super(VAE, self).__init__()
        self.encoder = Encoder(input_dim, hidden_dim, latent_dim)
        self.decoder = Decoder(latent_dim, hidden_dim, input_dim)

    def reparameterize(self, mean, logvar):
        # 重参数化技巧
        std = torch.exp(0.5*logvar)
        eps = torch.randn_like(std)
        return mean + eps*std

    def forward(self, x):
        # 定义模型的前向传播
        mean, logvar = self.encoder(x)
        z = self.reparameterize(mean, logvar)
        recon_x = self.decoder(z)
        return recon_x, mean, logvar

    def loss_function(self, recon_x, x, mean, logvar):
        # 定义损失函数
        BCE = F.binary_cross_entropy(recon_x, x, reduction='sum')
        KLD = -0.5 * torch.sum(1 + logvar - mean.pow(2) - logvar.exp())
        return BCE + KLD

# 参数设定
input_dim = 784  # 例如MNIST数据的维度
hidden_dim = 400
latent_dim = 20

# 初始化模型、优化器等
model = VAE(input_dim, hidden_dim, latent_dim)
optimizer = torch.optim.Adam(model.parameters(), lr=1e-3)

# 训练过程
for epoch in range(num_epochs):
    model.train()
    train_loss = 0
    for batch_idx, (data, _) in enumerate(dataloader):
        optimizer.zero_grad()
        recon_batch, mean, logvar = model(data)
        loss = model.loss_function(recon_batch, data, mean, logvar)
        loss.backward()
        train_loss += loss.item()
        optimizer.step()
    print(f"Epoch {epoch}, Loss: {train_loss / len(dataloader.dataset)}")

使用

AI绘画中VAE压缩图像,gpt,AI作画,人工智能,gpt,chatgpt,vae,stable diffusion,ai
https://civitai.com/models/70248/color101-vae

from PIL import Image
import numpy as np
import torch
from diffusers import AutoencoderKL
import requests
from io import BytesIO

# 设置设备并加载模型
device = 'cuda'
vae = AutoencoderKL.from_pretrained('runwayml/stable-diffusion-v1-5', subfolder='vae')
vae = vae.to(device)

# 定义编码函数
def encode_img_latents(imgs):
    if not isinstance(imgs, list):
        imgs = [imgs]
    img_arr = np.stack([np.array(img) for img in imgs], axis=0)
    img_arr = img_arr / 255.0
    img_arr = torch.from_numpy(img_arr).float().permute(0, 3, 1, 2)
    img_arr = 2 * (img_arr - 0.5)
    latent_dists = vae.encode(img_arr.to(device))
    latent_samples = latent_dists.latent_dist.sample()
    latent_samples *= 0.18215
    return latent_samples

# 定义解码函数
def decode_img_latents(latents):
    latents = 1 / 0.18215 * latents
    with torch.no_grad():
        imgs = vae.decode(latents)
    imgs = (imgs.sample / 2 + 0.5).clamp(0, 1)
    imgs = imgs.detach().cpu().permute(0, 2, 3, 1).numpy()
    imgs = (imgs * 255).round().astype('uint8')
    pil_images = [Image.fromarray(image) for image in imgs]
    return pil_images

# 拼接图像函数
def concat_image(im_list):
    img_number = len(im_list)
    if img_number == 0:
        return None
    dst = Image.new('RGB', (img_number * im_list[0].width, im_list[0].height))
    for idx, im in enumerate(im_list, 0):
        dst.paste(im, (idx * im.width, 0))
    return dst

# 测试用例
pths = ["", ""]  # 替换为实际图像 URL
for pth in pths:
    response = requests.get(pth)
    img = Image.open(BytesIO(response.content)).convert('RGB')
    img = img.resize((256, 256))
    img_latents = encode_img_latents(img)
    dec_img = decode_img_latents(img_latents)[0]
    concat_image([img, dec_img]).show()  # 显示拼接的图像

VAE 与扩散模型

AI绘画中VAE压缩图像,gpt,AI作画,人工智能,gpt,chatgpt,vae,stable diffusion,ai

  • 原始图像通过VAE编码器编码到Latent空间
  • 在Latent空间添加噪声或去噪
  • Stable Diffusion模型接受去噪的隐变量和文本提示作为输入
  • 经过扩散过程生成新图像

VAE模块将图像表示到隐空间编码,以方便Stable Diffusion控制噪声过程。

  • 增强数据表示能力:VAE 的潜在空间提供了一种紧凑的数据表示,但可能不足以捕捉所有复杂的数据变化。通过扩散模型,可以在这个空间中进一步加入细节和多样性。

  • 改善生成质量:扩散模型能够生成极其逼真的图像。将这种能力应用于 VAE 的潜在空间,可以改善最终生成图像的质量。

  • 降低计算复杂性:在潜在空间上进行操作相比于直接在高维图像空间上处理,可以降低计算复杂性和提高效率。

  • 灵活性和创新:这种组合使用的方法展示了在深度学习和生成模型领域的创新和灵活性,通过不同技术的结合打开了新的可能性。文章来源地址https://www.toymoban.com/news/detail-781494.html

到了这里,关于AI绘画中VAE压缩图像的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 人工智能的优势:使用 GPT 和扩散模型生成图像

    推荐:使用 NSDT场景编辑器快速搭建3D应用场景 世界被人工智能 (AI) 所吸引,尤其是自然语言处理 (NLP) 和生成 AI 的最新进展,这是有充分理由的。这些突破性技术有可能提高各种任务的日常生产力。例如,GitHub Copilot帮助开发人员快速编写整个算法,OtterPilot自动生成高

    2024年02月09日
    浏览(59)
  • 人工智能AI绘画接入使用文档

    AI作画,用户可以在平台上输入各种与风格、主题、氛围有关的,AI根据这些在互联网巨量的资源和素材中搜索、学习,最后糅合与拼接成一些符合要求的画作. 重要提示:建议使用https协议,当https协议无法使用时再尝试使用http协议 请求方式: POST 序号 参数 是否必须

    2024年02月11日
    浏览(70)
  • 【AI人工智能】AI绘画能取代设计师?

     图来自:https://www.nytimes.com/2022/09/02/technology/ai-artificial-intelligence-artists.html 近期智能AI话题爆火,前有ChatGpt,现又出现了一个AI绘图工具Midjourney,号称没有美术基础的人也能快速上手制作出漂亮的图像。也有不少声音表示设计师都要失业了。AI绘图工具能取代设计师吗?你可

    2024年02月12日
    浏览(54)
  • AI眼中的世界 ——人工智能绘画入门

    目录 什么是Disco Diffusion? 如何使用Disco Diffusion? 正文 准备工作 入门教程 开始行动  默认跑一个默认的描述A beautiful painting of a singular lighthouse, shining its light across a tumultuous sea of blood by greg rutkowski and thomas kinkade, Trending on artstation.​编辑  查看云端硬盘 ​编

    2023年04月16日
    浏览(66)
  • 人工智能ai绘画软件免费版哪个好?安利三个AI绘画生成器

    在一座安静的画室里,老艺术家杰克早已习惯了孤独的创作。然而,当他接触到ai绘画软件时,他的世界瞬间发生了变化。这种软件不仅可以模拟各种传统绘画技法,还可以根据我们的需求进行创意性的创作。那你们知道人工智能ai绘画软件免费版哪个好吗?本文将为大家分享

    2024年02月15日
    浏览(87)
  • 免费AI网站,AI人工智能写作+在线AI绘画midjourney

     大家可以通过收藏网页www.woka.chat 直接进行访问,也可通过关注新公众号实现微信端使用~ 注册赠送大量额度,可用于网站全部功能(问答和绘画)!每天签到也可领取充足使用额度! 废话不多说,我们现在来看看新系统到底有什么特点? 网页手机端同步使用 为便于用户多

    2024年02月19日
    浏览(77)
  • 人工智能AI绘画Midjourney绘画提示词Prompt大全【宝藏级收藏】

    SparkAi创作系统是基于ChatGPT进行开发的Ai智能问答系统和Midjourney绘画系统,支持OpenAI-GPT全模型+国内AI全模型。本期针对源码系统整体测试下来非常完美,那么如何搭建部署AI创作ChatGPT?小编这里写一个详细图文教程吧。已支持GPT语音对话、GPT-4-Turbo模型、DALL-E3文生图、GPT-4-

    2024年01月20日
    浏览(78)
  • 十个值得收藏的AI人工智能网站(AI绘画、AI插件)

    1、伯乐 AI 伯乐 AI(https://ai.bleai.cn)是一种基于文心大模型的知识增强大语言模型,专注于自然语言处理(NLP)领域的技术研发。它具备强大的语义理解和生成能力,能够处理各种复杂的自然语言任务。 伯乐 AI在NLP领域有着广泛的应用。它可以用于机器翻译、文本摘要、情感

    2024年02月03日
    浏览(67)
  • AI绘画爆火,人工智能会取代艺术吗

    我们都知道,人工智能正在给艺术领域带来一场革命。从AI自动绘画到AI插画,再到AI创作,越来越多的人在感受着人工智能技术的进步。但是我们也发现了一个问题,就是人们担心人工智能会取代人类的工作。那么,我们到底该如何看待这个问题呢? ​一、AI绘画技术的发展

    2024年02月11日
    浏览(56)
  • 人工智能时代,你知道ai绘画如何使用吗?

    在数字时代的今天,人工智能正逐渐渗透到我们生活的方方面面,艺术创作也不例外。ai绘画软件作为一种创新的工具,为艺术爱好者、设计师和创作者提供了崭新的创作方式。但是,对于初次接触这类软件的人来说,可能会感到一些困惑和不知所措。如果你对ai绘画软件感兴

    2024年02月15日
    浏览(68)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包