AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频

这篇具有很好参考价值的文章主要介绍了AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

在《AI作画,OpenVINO™助你在英特尔GPU上随心创作》中,我们介绍了OpenVINO Notebook运行环境搭建,并利用OpenVINO™优化和加速Stable Diffusion模型的推理,在英特尔®独立显卡上能够根据我们输入的指令(prompt),快速生成我们喜爱的AI画作。

今天,我们对这一应用场景再次升级,除了能够作画,利用OpenVINO对Stable Diffusion v2模型的支持及优化,我们还能够在在英特尔®独立显卡上快速生成带有无限缩放效果的视频,使得AI作画的效果更具动感,其效果也更加震撼。话不多说,接下来还是让我们来划划重点,看看具体是怎么实现的吧。

英特尔锐炫™ 显卡基于Xe-HPG 微架构,Xe HPG GPU 中的每个 Xe 内核都配置了一组 256 位矢量引擎,旨在加速传统图形和计算工作负载,以及新的 1024 位矩阵引擎或 Xe 矩阵扩展,旨在加速人工智能工作负载

AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频

本次无限缩放Stable Diffusion v2视频生成的全部代码请戳这里openvino_notebooks/236-stable-diffusion-v2-infinite-zoom.ipynb at main · openvinotoolkit/openvino_notebooks · GitHub 。OpenVINO Notebooks运行环境的安装请您参考我们的上一篇《AI作画竟如此简单!蝰蛇峡谷OpenVINO™开发者实战》。

此次我们应用的深度学习模型是Stable Diffusion v2模型,相比它的上一代v1模型,它具有一系列新特性,包括配备了一个新的鲁棒编码器OpenCLIP,由LAION创建,并得到了Stability AI的帮助,与V1版本相比,此版本显著增强了生成的照片。另外,v2模型在之前的模型基础上增加了一个更新的修复模块(inpainting)。这种文本引导的修复使切换图像中的部分比以前更容易。也正是基于这一新特性,我们可以利用stabilityai/stable-diffusion-2-inpainting模型,生成带有无限缩放效果的视频。

在图像编辑中,Inpainting是一个恢复图片缺失部分的过程。最常用于重建旧的退化图像,从照片中去除裂纹、划痕、灰尘斑点或红眼。但凭借AI和Stable Diffusion模型的力量,Inpainting可以实现更多的功能。例如,它可以用来在现有图片的任何部分渲染全新的东西,而不仅仅是恢复图像中缺失的部分。只要发挥你的想象力,你可以做出更多炫酷效果的作品来。

下面的工作流程图解释了用于Inpainting的Stable Diffusion inpainting流水线是如何工作的:

AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频

 在此次的代码示例中,我们将完成以下几个步骤:

  1. PyTorch 模型转换为ONNX格式。
  2. 利用Model Optimizer 工具,将ONNX 模型转换为OpenVINO IR 格式。
  3. 运行Stable Diffusion v2 inpainting 流水线,生成无限缩放效果视频。

现在,让我们来重点来看看如何配置推理流水线的代码。

这里主要分以下三个步骤:

  1. 在推理的硬件设备上加载模型Load models on device
  2. 配置分词器和调度器Configure tokenizer and scheduler
  3. 创建OvStableDiffusionInpaintingPipeline 类的示例

我们在配备英特尔锐炫™独立显卡A770m的蝰蛇峡谷上加载模型并运行推理,因此推理设备我们选择“GPU”。默认情况下,它使用“ AUTO”,并会自动切换至检测到的 GPU。代码如下:

from openvino.runtime import Core

core = Core()

tokenizer = CLIPTokenizer.from_pretrained('openai/clip-vit-large-patch14')

text_enc_inpaint = core.compile_model(TEXT_ENCODER_OV_PATH_INPAINT, "GPU")
unet_model_inpaint = core.compile_model(UNET_OV_PATH_INPAINT, " GPU ")
vae_decoder_inpaint = core.compile_model(VAE_DECODER_OV_PATH_INPAINT, "GPU")
vae_encoder_inpaint = core.compile_model(VAE_ENCODER_OV_PATH_INPAINT, "GPU")

ov_pipe_inpaint = OVStableDiffusionInpaintingPipeline(
    tokenizer=tokenizer,
    text_encoder=text_enc_inpaint,
    unet=unet_model_inpaint,
    vae_encoder=vae_encoder_inpaint,
    vae_decoder=vae_decoder_inpaint,
    scheduler=scheduler_inpaint,
)

AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频

接下来,我们输入文本提示,运行视频生成的代码吧。

import ipywidgets as widgets

zoom_prompt = widgets.Textarea(value="valley in the Alps at sunset, epic vista, beautiful landscape, 4k, 8k", description='positive prompt', layout=widgets.Layout(width="auto"))
zoom_negative_prompt = widgets.Textarea(value="lurry, bad art, blurred, text, watermark", description='negative prompt', layout=widgets.Layout(width="auto"))
zoom_num_steps = widgets.IntSlider(min=1, max=50, value=20, description='steps:')
zoom_num_frames = widgets.IntSlider(min=1, max=50, value=3, description='frames:')
mask_width = widgets.IntSlider(min=32, max=256, value=128, description='edge size:')
zoom_seed = widgets.IntSlider(min=0, max=10000000, description='seed: ', value=9999)
zoom_in = widgets.Checkbox(
    value=False,
    description='zoom in',
    disabled=False
)

widgets.VBox([zoom_prompt, zoom_negative_prompt, zoom_seed, zoom_num_steps, zoom_num_frames, mask_width, zoom_in])

 AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频

在这一步中,我把步骤设置为 20。理想情况下,我将使用 50,以提供最好看的结果。另外,这里还可以自行设置生成的图画数量,所有生成的图画将组合起来构成最后的无限缩放效果视频。当然,我们同样还生成了 GIF 文件,以便大家多种形式可视化展示生成结果。

最终结果。

AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生

结论

当下,如果您想了解“Stable Diffusion”的工作原理,以及英特尔硬件的加速方式,OpenVINO Notebooks 无疑是首选。如果您有任何疑问或想要展示您的一些最佳成果,请在这里或通过我们的 GitHub 讨论板发表评论! 祝您编码快乐。

openvinotoolkit/openvino_notebooks · Discussions · GitHub
#iamintel
文章来源地址https://www.toymoban.com/news/detail-435193.html

到了这里,关于AI作画升级,OpenVINO™ 和英特尔独立显卡助你快速生成视频的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 英特尔集成显卡+ChatGLM3大语言模型的企业本地AI知识库部署

    作者: 英特尔创新大使 刘力 英特尔开发者技术推广经理 李翊玮     在当今的企业环境中,信息的快速获取和处理对于企业的成功至关重要。为了满足这一需求,我们可以将RAG技术与企业本地知识库相结合,以提供实时的、自动生成的信息处理和决策支持。这将有助于企业

    2024年04月26日
    浏览(50)
  • Ubuntu Linux 22.04 快速安装英特尔显卡驱动(含Edge AI 包)

    英特尔 EIV (Edge insight Vision)具有一组预集成组件,专为边缘应用的计算机视觉和深度学习推理而设计,并针对英特尔®架构进行了优化。它作为容器化架构或独立运行时实现。 此软件包包含用于在英特尔处理器和英特尔显卡设备上安装英特尔®显卡驱动程序和为 OpenVINO™ 推理

    2024年02月08日
    浏览(53)
  • 【文末附gpt升级4.0方案】英特尔AI PC的局限性是什么

    英特尔AI PC的推出无疑为AIGC(生成式人工智能)的未来发展开启了一扇新的大门。这种新型的计算机平台,通过集成先进的硬件技术和优化的软件算法,为AIGC提供了更为强大和高效的支持,进一步推动了人工智能的落地和应用。 首先,英特尔AI PC的出色性能为AIGC提供了坚实

    2024年04月15日
    浏览(50)
  • Ubuntu 22.04安装英特尔显卡驱动玩转AIGC

    作者 : 英特尔网路与边缘计算事业部开发者关系经理 李翊玮 本文将介绍如何使用EIV 用5行指令在快速搭建含英特尔显卡及OpenVINO的AI开发环境, 并简洁说明如何使用OpenVINO 及英特尔显卡优化文生图模型Stable Diffusion 的速度。 EIV (Edge Insight Vision) 具有一组预集成组件,专为边缘

    2024年02月06日
    浏览(50)
  • Python 获取windows下硬件数据信息(CPU,内存,英特尔、英伟达、AMD显卡使用率及详细信息)

    前言:最近一直在做关于显卡数据采集的调研工作,也在github上看到了一些三方库比如Python和golang的psutil, python: gpustart,再或者通过wmi或者windowsApi等底层接口 但是都只能获取到显卡的名称以及厂家信息等 无法真正意义上获取到显卡占用率等数据 在或者只能获取到英伟达的显卡

    2024年02月16日
    浏览(53)
  • 英特尔:处理器王座不再,AI战溃不成军

    英特尔于北京时间2024年1月26日上午的美股盘后发布了2023年第四季度财报(截止2023年12月),要点如下: 1、核心数据:数据超预期,实际经营面符合预期。 英特尔在2023年第四季度 实现营收154亿美元,略超市场预期(152亿美元)。本季度收入环比继续提升,主要得益于PC客户

    2024年02月19日
    浏览(47)
  • 基于英特尔® Gaudi® 2 AI 加速器的文本生成流水线

    随着生成式人工智能 (Generative AI,GenAI) 革命的全面推进,使用 Llama 2 等开源 transformer 模型生成文本已成为新风尚。人工智能爱好者及开发人员正在寻求利用此类模型的生成能力来赋能不同的场景及应用。本文展示了如何基于 Optimum Habana 以及我们实现的流水线类轻松使用 Ll

    2024年03月14日
    浏览(48)
  • 基于英特尔开发套件的实时AI图像处理技术的茶叶病害监测物联网系统

    作者: 浙江大学 刘兆隆 文章指导:罗雯,李翊玮 随着茶叶产业的快速发展,茶叶的品质和安全性日益受到人们的关注。茶叶植株在生长过程中容易受到各种病虫害的侵害,这不仅会影响茶叶的产量,还会严重影响茶叶的品质。传统的茶叶病虫害诊断主要依赖于农民的经验判

    2024年04月28日
    浏览(50)
  • 微软首批AI电脑来了!一键Copilot带飞,英特尔酷睿Ultra加持,零售店买不到

    Surface Pro 10商用版和Surface Laptop 6商用版均起售1199美元。前者配酷睿Ultra U系列芯片,新增AI增强型摄像头,PC摄像头首次具有114度超宽视野,改进后13英寸LCD显示屏亮度提高33%;后者摄像头无超广角,但搭载的H系列芯片比U系列更强大,大尺寸15英寸版有两个USB-C接口。 微软首次

    2024年04月11日
    浏览(46)
  • 越小越好: Q8-Chat,在英特尔至强 CPU 上体验高效的生成式 AI

    大语言模型 (LLM) 正在席卷整个机器学习世界。得益于其 transformer 架构,LLM 拥有从大量非结构化数据 (如文本、图像、视频或音频) 中学习的不可思议的能力。它们在 多种任务类型 上表现非常出色,无论是文本分类之类的抽取任务 (extractive task) 还是文本摘要和文生图像之类的

    2024年02月06日
    浏览(100)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包