川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

这篇具有很好参考价值的文章主要介绍了川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

你能想到这种画面吗?霉霉在节目中用普通话接受采访,特朗普在老家用中文脱口秀,蔡明老师操着一口流利的英文调侃潘长江老师..

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

 文章来源地址https://www.toymoban.com/news/detail-776752.html

这听起来似乎很魔幻,可如今全部由VideoReTalking实现了

你只需要传入一个视频文件和音频文件,它会生成一个新的视频,在这个视频里,不仅人物的嘴型会与音频同步,就连表情也会随着声音的起伏发生变化,而整个过程都在没有用户干预的情况下按顺序处理

 

工作流程

1、表情引导:给定一个会说话的头像视频,使用表情编辑网络根据相同的表情模板修改每一帧的表情,从而生成具有规范表情的视频

2、口型同步:将规范表情视频与给定的音频一起输入口型同步网络以生成口型同步视频

3、面部增强:通过身份感知面部增强网络和后期处理提高合成面部的照片真实感

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

 

VideoReTalking最新中文版下载

百度网盘:https://pan.baidu.com/s/1L_qScwf1Dmw52IBfLO_XmA?pwd=czgl

 

 

VideoReTalking使用起来非常简单,只需3

 

1、在下载资源的根目录找到examples\face文件夹,选择其中的视频文件

 

2、选择examples\audio文件夹下的音频文件

 

3、点击“开始”按钮

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

 

在控制台中,可以查看当前的处理进度,程序执行完毕会输出信息outfile: results/output.mp4

川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员

 

注意事项

①上传的视频中只能有一张人脸且每帧都要有人脸,人脸要求清晰可识别、不宜过大

FaceDet进度到100%,控制台不接着打印信息是正常现象,需要等待一段时间

③视频处理速度和GPU有关,这里推荐gtx1060以上显卡,不支持A

 

到了这里,关于川普真会说中文?连嘴型都同步,用VideoReTalking一键生成你的AI播报员的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于VideoReTalking+GFPGAN的AI数字人

    VideoReTalking 是一个新颖的系统,用于根据输入音频编辑真实世界中的说话头部视频,生成具有不同情感的高质量和唇部同步的输出视频。 该系统将此目标分解为三个顺序任务: 具有规范表情的人脸视频生成; 音频驱动的唇部同步; 用于提高照片真实感的人脸增强。 wav2lip和

    2024年02月13日
    浏览(19)
  • 最新嘴型融合模型SadTalker

    windows 10 64bit SadTalker torch 1.12.1+cu113 创建一个全新的 python 虚拟环境 然后,拉取源代码,并且安装对应的依赖 找一段音频 test.mp3 和视频 test.mp4 ,进行测试 其中, --source_image 参数可以是视频,也可以是图片, --result_dir 参数指定最后合成后的视频存放位置, --enhancer 指定视频

    2024年02月09日
    浏览(28)
  • AI数字人:最强声音驱动面部表情模型VideoReTalking

    目录 1 VideoReTalking论文解读 1.1 介绍 1.2 相关工作 1.2.1 视频编辑中的音频配音 1.2.2 基于音频的单图像面部动画 1.3 框架 1.3.1 语义引导重演网络 1.3.2 口型同步网络 1.3.3 身份感知增强网络 1.3.4 后期处理 1.4 训练 1.4.1 每个模块的训练 1.4.2 评估 1.5 结果 1.5.1 与最先进方法的比较 1.

    2024年02月06日
    浏览(26)
  • 真会玩:莫言用ChatGPT为余华写了一篇获奖词

    5月16日,《收获》杂志65周年庆典暨新书发布活动在上海舞蹈中心举行。   典礼现场,余华凭借《文城》获得收获文学榜2021年长篇小说榜榜首。   作为老友,莫言在颁奖时故意卖了个关子:“这次获奖的是一个了不起的人物,当然了,他也是我的好朋友,他不一般,所以我

    2024年02月06日
    浏览(30)
  • DevExpress WinForms Scheduler组件中文教程 - 如何与Office 365双向同步?

    随着DevExpress WinForms最近的更新,用户可以无缝同步DevExpress WinForms Scheduler与Office 365事件/日程的数据。您可以将用户日程从WinForms Scheduler中导出到Office 365日历,或将Office 365事件/日程导入到Scheduler控件。在同步钱修改用户事件/日程,将用户日程与Microsoft 365日历合并,解决合并

    2024年02月15日
    浏览(37)
  • 手把手教你搭建VideoReTalking的AI数字人项目

    提示:本文的安装包下载时间为2023-8-15日,项目还在更新中,可能会有出入,仅供大家参考。 提示:先下载好项目预先需要各种安装包与预训练模型 注意:如果你跟我一样家庭网速感人,可以考虑使用: https://ghproxy.com/ 加速代理 则可以加速下载包的速度 例如地址:https://ghp

    2024年02月06日
    浏览(49)
  • 现在的年轻人真会玩,开发界面都这么时尚,不服老都不行了

    不比不知道,一比吓一跳,都2023年了,你还在用Pycharm的默认背景写代码吗?已经过时了。 但看完现在年轻人的开发环境背景,看得我都汗颜了。 后面我再给大家介绍怎么更换背景。 我们先来看看现在年轻人的开发界面,最后那个我觉得很奇葩。 1.动漫型 听说是国内比较火

    2023年04月08日
    浏览(33)
  • 音频驱动嘴型的视频数字人虚拟主播工具motionface replay使用教程

    音频驱动嘴型的视频数字人虚拟主播工具motionface replay使用教程 软件运行支持32位/64位window 10/11系统,内存最低要求= 8Gb.无其他硬性要求。 打开百度网盘链接下载: 链接: 百度网盘 请输入提取码 提取码:5lht 软件为 绿色软件 ,下载 Replay.rar 解压,里面的replay.exe为软件运

    2024年01月22日
    浏览(28)
  • 各种手型都合适,功能高度可定制,雷柏VT9PRO mini和VT9PRO游戏鼠标上手

    去年雷柏推出了一系列支持4KHz回报率的鼠标,有着非常敏捷的反应速度,在游戏中操作体验十分出色。尤其是这系列4K鼠标不仅型号丰富,而且对玩家的操作习惯、手型适应也很好,像是VT9系列就主打轻巧,还有专门针对小手用户的VT9PRO mini,非常值得尝试。本次产品由ZEAL

    2024年02月22日
    浏览(35)
  • Unity C# 之 Azure 微软SSML语音合成TTS流式获取音频数据以及表情嘴型 Animation 的简单整理

    目录 Unity C# 之 Azure 微软SSML语音合成TTS流式获取音频数据以及表情嘴型 Animation 的简单整理 一、简单介绍 二、实现原理 三、注意事项 四、实现步骤 五、关键代码 Unity 工具类,自己整理的一些游戏开发可能用到的模块,单独独立使用,方便游戏开发。 本节介绍,这里在使用

    2024年02月12日
    浏览(47)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包