给数字人生成加上界面,基于ER-NeRF/RAD-NeRF/AD-NeRF,Gradio框架构建WEBUI,使用HLS流媒体,实现边推理边播放——之一:在WEBUI中实时输出服务器控制台日志

这篇具有很好参考价值的文章主要介绍了给数字人生成加上界面,基于ER-NeRF/RAD-NeRF/AD-NeRF,Gradio框架构建WEBUI,使用HLS流媒体,实现边推理边播放——之一:在WEBUI中实时输出服务器控制台日志。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前言

  • 目前数字人实现技术众多,我这里采用基于ER-NeRF,在这里可以看到其介绍:ICCV 2023 | ER-NeRF: 用于合成高保真Talking Portrait的高效区域感知神经辐射场-https://zhuanlan.zhihu.com/p/644520609
  • ER-NeRF的项目地址:https://github.com/Fictionarry/ER-NeRF
  • ER-NeRF,RAD-NeRF,他们都继承自AD-NeRF,都有一个基于dearpygui的GUI界面
  • 但是很遗憾,这个GUI很难跑起来,而且本地一般没有大GPU的机器,我们需要一个在云GPU服务器上能跑的webui
  • ER-NeRF训练很简单,所需素材也很少,训练的步骤不需要GUI
  • 推理时,需要一个推理界面,方便一般用户使用的同时,使用UI界面能实现一边推理一边播放视频,优化用户体验
  • 基于此,在调研一圈之后,计划使用Gradio来构建webui,改造推理代码,推理生成的帧图像直接存储为ts格式视频,web前端使用hls协议来加载m3u8文件,流式的播放推理出的结果

最终效果

  • 运行图
    给数字人生成加上界面,基于ER-NeRF/RAD-NeRF/AD-NeRF,Gradio框架构建WEBUI,使用HLS流媒体,实现边推理边播放——之一:在WEBUI中实时输出服务器控制台日志,数字人,ER-NeRF,数字人界面运行,gradio界面,webui实时输出日志
  • 推理图
    给数字人生成加上界面,基于ER-NeRF/RAD-NeRF/AD-NeRF,Gradio框架构建WEBUI,使用HLS流媒体,实现边推理边播放——之一:在WEBUI中实时输出服务器控制台日志,数字人,ER-NeRF,数字人界面运行,gradio界面,webui实时输出日志

实现步骤

Gradio

很常规的操作,一个左右分栏布局:

with gr.Blocks() as page:
    with gr.Row():
        with gr.Column():
            model = gr.Dropdown(
                choices=models, value=models[0], label="选择模型", elem_id="modelSelectDom"
            )
            audType = gr.Dropdown(
                choices=['deepspeech', 'hubert', 'esperanto'], value='deepspeech', label="模型音频处理方式"
            )
            with gr.Tab('录音'):
                audio1 = gr.Audio(source="microphone", label='如果不能正常录音请直接上传音频文件!')
            with gr.Tab('上传录音'):
                audio2 = gr.File(label='上传录音文件', file_types=['audio'])
            btn = gr.Button("提交", variant="primary", elem_id="submitBtn")
        with gr.Column():
            msg = gr.Label(label='运行状态', elem_id="logShowDiv", value='')
            gr.Label(label='推理视频', elem_id="resultVideoDiv", value='')

    btn.click(
        action,
        inputs=[
            model, audType, audio1, audio2
        ],
        outputs=[msg],
    )

可以看到,output配置了一个msg的label组件,就是用来显示服务器现在运行的日志信息的。
那么本项目第一个问题就是:如何实时的显示服务器运行日志呢?
看代码:

def log_out(new_log):
    print(new_log)
    return new_log
    
def action(model, audType, audio1, audio2):
    # 存储音频文件
    yield log_out('存储音频文件...')
    wavFilePath = os.path.join(modelBasePath, model, str(time.time()).replace('.', '') + '.wav')
    if audio1:
        rate, data = audio1
        write(wavFilePath, rate, data.astype(np.int32))
    elif audio2:
        suffix = audio2.name.split('.')[-1]
        shutil.copy2(audio2.name, wavFilePath.replace('.wav', '.' + suffix))
    if not os.path.exists(wavFilePath):
        yield log_out('存储音频文件失败!')
    else:
        yield log_out('存储音频文件完成.')

    # 执行音频预处理
    yield log_out('音频预处理开始...')
    if audType == 'deepspeech':
        cmd = f'python data_utils/deepspeech_features/extract_ds_features.py --input {wavFilePath}'
    elif audType == 'hubert':
        cmd = f'python data_utils/hubert.py --wav {wavFilePath}'
    else:
        cmd = f'python data_utils/wav2vec.py --wav {wavFilePath} --save_feats'
    yield log_out(f'命令:{cmd}')
    process = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    while True:
        output = process.stdout.readline()
        if output == b'' and process.poll() is not None:
            break
        if output:
            yield log_out(output.strip().decode('utf-8'))
            time.sleep(0.5)
    process.wait()
    yield log_out(f'音频预处理完成.')

    # 确认音频预处理是否完成
    npyPath = '.'.join(wavFilePath.split('.')[:-1]) + '.npy'
    stop = False
    if not os.path.exists(npyPath):
        yield log_out(f'未找到音频预处理后的npy文件,程序将要退出!')
        stop = True
    if stop:
        return

    # 构建推理命令
    yield log_out(f'准备执行推理...')
    cmd = f'python main.py {os.path.join(modelBasePath, model)} --workspace trial_{model}_torso -O --torso --test --test_train --aud {npyPath} --smooth_path --fps 25'
    yield log_out(f'推理命令:{cmd}')
    process = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
    while True:
        output = process.stdout.readline()
        if output == b'' and process.poll() is not None:
            break
        if output:
            yield log_out(output.strip().decode('utf-8'))
            time.sleep(0.5)
    process.wait()

可以看到,直接使用yield关键字,就可以让服务器的输出多次响应。
但是这样操作最终看到的界面效果就是日志随着一次yield一次变化,历史的累计日志信息都被直接覆盖了。
为了让输出能够累计历史日志信息一起显示,我们需要将日志记录下来,这个也很简单,增加一个history_log即可:

history_log=''
def log_out(new_log):
	global history_log
	history_log += new_log+'<br>'
   print(new_log)
   return history_log 
   .......

现在看到,日志确实累计输出了,显示效果却不够好看,而且每次输出一次日志就会页面组件就会重绘,日志过多也影响服务器内存。

有没有办法做成shell命令窗那种类似效果呢,日志输出时,滚动条在底部,永远保持当前输出的日志能够可视?
一番艰苦的探寻,终于找到了解决办法。
核心思路是:yield持续输出,页面中用一个input元素接收,然后重写input的setvalue的方法,在方法中提取到本次输出的日志值,然后将值添加到一个div尾部,使用js让div的滚动条保持在底部。
核心代码:

_script = '''
   async()=>{
      .......
       //监控日志输出及显示
               let output = document.querySelector("#logDivText .border-none");
               if(!output){
                   return false;
               }
               let show = document.querySelector('#logShowDiv .container')
               show.style.height='200px'
               show.style.overflowY='scroll'
               show.innerHTML=""
               Object.defineProperty(output, "value", {
                   set:  function (log) {
                       if(log && log!=''){
                           	show.innerHTML = show.innerHTML+'<br>'+log
                               show.scrollTop=show.scrollHeight
                           }
                       }      
                       return this.textContent = log;
                   }
               });
               ......
   }
'''
#在page页面加载的时候,将自定义的js加载进去
page.load(_js=_script)

这样就实现了监控服务器日志输出的效果了,效果如下:
给数字人生成加上界面,基于ER-NeRF/RAD-NeRF/AD-NeRF,Gradio框架构建WEBUI,使用HLS流媒体,实现边推理边播放——之一:在WEBUI中实时输出服务器控制台日志,数字人,ER-NeRF,数字人界面运行,gradio界面,webui实时输出日志
代码已放在gitee,有不解的可私信。
下一篇讲解如何将内存中的序列图通过pipeline写成hls协议的ts文件保存。文章来源地址https://www.toymoban.com/news/detail-751494.html

到了这里,关于给数字人生成加上界面,基于ER-NeRF/RAD-NeRF/AD-NeRF,Gradio框架构建WEBUI,使用HLS流媒体,实现边推理边播放——之一:在WEBUI中实时输出服务器控制台日志的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • java代码实现自动生成数据库表er图

    最近有同事看到字节跳动产品设计文档里有数据库表er图。就想问问又没有现成的工具也给直接生成一个er图,经查找验证发现并没有。因为现在表关系都是用的逻辑外键而非物理外键约束的,所以像navicat等工具就算生成了也没有描述关系的连接线。那么为了满足需求,这边

    2024年02月19日
    浏览(38)
  • 利用代码生成工具快速生成基于SqlSugar框架的Winform界面项目

    我们接触一个新事物的时候,如果一个事物能够给我们带来非常直观的感官认识,那么我们就很容易接受,反之可能需要很长时间的潜移默化的了解认识才能接受。万物化繁为简,透过本质看表象,往往也是一个认知迭代深入的过程。在我介绍很多篇随笔《SqlSugar开发框架》

    2024年02月11日
    浏览(46)
  • 一个在线ER模型设计工具:支持数据库设计、生成、反向工程、优化和文档生成等操作

    ER模型,即实体关系模型,是数据库建模的一种重要方法。它可以帮助开发人员更好地理解数据库结构,并确定数据库的概念模型。在本文中,我们将详细介绍ER模型设计的基本概念和过程。 首先,我们需要了解ER模型中的两个基本概念:实体和关系。实体是数据库中存储的对

    2024年02月04日
    浏览(61)
  • 【3D生成与重建】SSDNeRF:单阶段Diffusion NeRF的三维生成和重建

    题目 :Single-Stage Diffusion NeRF: A Unified Approach to 3D Generation and Reconstruction 论文 :https://arxiv.org/pdf/2304.06714.pdf 任务 :无条件3D生成(如从噪音中,生成不同的车等)、单视图3D生成 机构 :Hansheng Chen,1,* Jiatao Gu,2 Anpei Chen, 同济、苹果、加利福尼亚大学 代码 :https://github.com/Lakon

    2024年02月02日
    浏览(44)
  • AI数字人:基于VITS模型的中文语音生成训练

            VITS(Variational Inference with adversarial learning for end-to-end Text-to-Speech)是一种结合变分推理(variational inference)、标准化流(normalizing flows)和对抗训练的高表现力语音合成模型。         VITS模型是韩国科学院在2021年6月提出的,VITS通过隐变量而非频谱串联起来语

    2024年02月11日
    浏览(38)
  • IDEA生成ER图、UML类图、时序图、流程图等的插件推荐或独立工具推荐

    以下是几个常用的IDEA插件和独立工具,可以用于生成ER图、UML类图、时序图、流程图等: Visual Paradigm (独立工具) Visual Paradigm是一个强大的建模工具,可以生成UML类图、时序图、流程图等。它支持多种语言和框架,包括Java、Spring等。可以将生成的图形导出为多种格式,例如图

    2024年02月04日
    浏览(52)
  • 开源CA搭建-基于openssl实现数字证书的生成与分发

    目录 一、前言 二、openssl介绍 三、openssl的常用用法 (一)单向加密 (二)生成随机数 (三)生成公钥,私钥 1.生成私钥 2.提取公钥 四、搭建CA (一)创建根CA私钥: (二)生成自签名证书 (三)创建数据库以及新颁发证书数字 (四)设置证书的起始编号 (五)创建文件

    2024年02月06日
    浏览(41)
  • 从0开始快速使用StarUml画ER图,生成SQL建表代码,附解决DDL常见报错方法

    遇到稍微复杂一些的业务,先整理需求在下手会使得开发过程中头发少掉一些,尤其是团队合作的项目效果尤为明显,在整理完业务需求后, 从数据库开始下手能让后端的头发掉少一些. 找个好的软件能在整理数据库的时候再少掉点头发, 并且减轻简单重复的打字工作. 如果图画好

    2023年04月16日
    浏览(33)
  • 【三维生成】Make-it-3D:diffusion+NeRF从单张图像生成高保真三维物体(上交&微软)

    题目 : Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior Paper : https://arxiv.org/pdf/2303.14184.pdf Code : https://make-it-3d.github.io/ 在本文中,研究者的目标是: 从一个真实或人工生成的单张图像中创建高保真度的3D内容 。这将为艺术表达和创意开辟新的途径,例如为像Stable

    2024年02月13日
    浏览(42)
  • 循序渐进介绍基于CommunityToolkit.Mvvm 和HandyControl的WPF应用端开发(12) -- 使用代码生成工具Database2Sharp生成WPF界面代码

    在经过基于SqlSugar框架的WPF应用端系统界面及模块的不断优化和重构后,视图界面及视图模型等代码已趋稳定,因此完成前面的介绍后,现在开始统一基于代码生成工具Database2Sharp进行WPF应用端界面代码的快速生成了,代码除了和WPF应用端的基类保持一致处理外,并添加一些注

    2024年02月08日
    浏览(46)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包