Unity实现文字转语音并且与人物模型口型同步

这篇具有很好参考价值的文章主要介绍了Unity实现文字转语音并且与人物模型口型同步。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。


前言

提示:这里可以添加本文要记录的大概内容:

今天我们用Unity实现文字转语音并且与人物模型口型同步,要实现这个功能,我们需要用到两个插件:语音口型同步“OVRLipSync”和文字转语音“RTVoice”。


一、插件介绍

RTVoice:
离线文字转语音
• 支持所有构建平台!
• 适合于 Windows、macOS、Android 和 iOS 的原生提供程序
将文本转换为语音
• 即时从文本转换到语音 — 在运行时即可生成!
• 连带作用:连续的音频生成可节省大量内存!
• 在游戏的测试阶段无需配音演员!
• 按姓名、文化和/或性别筛选语音
• 一次可以发出多种声音(例如,公共场所中很多人同时讲话的场景)
• 通过语速、音调和音量微调你的声音!
• 支持 SSML 和 EmotionML!
• 在 Windows 和 iOS 上提供最新的单词、唇形和音素 — 包括标记!
• 生成的音频可以存储为文件在 Unity 中反复使用!
• 单个 AudioSource 匹配 1-infinite 同步发音人!
• 简单的顺序和对话系统
• 不降低性能!
OVRLipSync:
语音来源,顾名思义就是语音的来源,一般有两种,一是真人配音,语音自由度最大,真实度最好。另一个是通过语音合成技术(Text To Speech,简称TTS),在时间、空间以及实现成本上有很大优势。在语音驱动人脸动画领域,有一个重要的步骤——获取基于时间轴的音素序列,真人配音很难直接获取准确的基于时间轴的音素序列,通过TTS技术产生语音序列的同时获得序列相对来说很容易。

识别与动画关键帧匹配。识别是指在语音波段中识别音素,所谓音素是构成音节的最小单位,又或者说是最小语音片段,以汉语为例,每个独立的声母,单韵母都是一个独立的音素,普通话中声母有23个,单韵母有10个,鼻辅音2个,在英文中有20个元音和28个辅音,地位同汉语中声韵母相当。识别出的音素之后调用人物模型中有对应的动画或者是面部参数

在虚拟人脸图像动画生成方面,主要存在两种技术,一是通过技术合成三维人物,其面部表情主要通过建模时制作好的渐变动画实现,通过动画参数来驱动,具有实时性和可操作性好的特点;第二种是通过从真人视频语料库中提取所需嘴形以及神态的片段,拼接成视频的合成技术,这种技术具有真实感强的特点。现有的唇同步技术多使用基于MPEG-4视频编码标准中的人脸动画参数。

二、导入RTVoice

1.插件传送门

RTVoice

2.组件配置

unity文字转语音插件,Unity 成长之路,unity,音频
添加RTVoice和SpeechText
unity文字转语音插件,Unity 成长之路,unity,音频
修改SpeechText组件得下面三个地方:
第一个是修改语言“zh”表示中文,“cn”表示英文;
第二个是修改男声和女生;
unity文字转语音插件,Unity 成长之路,unity,音频
第三个是在程序启动时运行,也可以根据自己得程序具体逻辑修改。
如果需要自己触发播放文本得语音,可以调用以下方法:

 private void OnSpeech(string arg0)
    {
        SpeechText.Text = arg0;
        SpeechText.Speak();
    }

三、导入OVRLipSync

1.插件传送门

OVRLipSync

2.组件配置

将示例工程中的模型拖入场景中
unity文字转语音插件,Unity 成长之路,unity,音频
创建AudioSource组件,并且添加LipSync组件
unity文字转语音插件,Unity 成长之路,unity,音频
将上述AudioSource组件给到SpeechText组件中AudioSource属性中
unity文字转语音插件,Unity 成长之路,unity,音频
点击运行,成功!!

总结

以上只是一个将文字转语音后使用人物模型进行口型同步的Demo,如果要用到具体下项目中,可以参考示例模型的Blendshap类型进行建模绑定,同步效果与表情变形器绑定的细腻程度有很大关系。文章来源地址https://www.toymoban.com/news/detail-751362.html

到了这里,关于Unity实现文字转语音并且与人物模型口型同步的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 让照片开口讲话,让视频人物对口型

    代码地址:https://github.com/Rudrabha/Wav2Lip 我用的python版本是3.10 1. 安装ffmpeg windows:https://www.gyan.dev/ffmpeg/builds/ffmpeg-git-full.7z解压后bin目录添加到环境变量。 Ubuntu: apt-get install ffmpeg 2. 安装依赖 直接安装,使用cpu处理音视频文件,处理速度较慢 或者(有显卡的)删除requirements

    2024年02月12日
    浏览(36)
  • unity3d人物碰撞提示文字

    设置碰撞体,例如cube 将脚本挂载在物体上,碰撞显示text 碰撞体的子物体,例如3dObject-legacy-text 绑定代码,使文字一直正对屏幕(相机)

    2024年02月11日
    浏览(55)
  • Unity 语音转文字

    参考官方手册:Windows.Speech.DictationRecognizer - Unity 脚本 API (unity3d.com) 这个中英识别都比较准确,不过应该只支持Win10以上。 需在设置里开启在线语音识别。  代码部分: 也可以考虑其他平台的SDK,我只测试了百度的,这个英文识别不大好(最起码Unity识别不出来,IPad可以识别

    2024年02月08日
    浏览(38)
  • Whisper 音频转文字模型体验;语音实时转录文字工具

    参考: https://github.com/openai/whisper https://blog.csdn.net/weixin_44011409/article/details/127507692 安装Whisper 和ffmpeg (# on Ubuntu or Debian sudo apt update sudo apt install ffmpeg on Windows using Chocolatey (https://chocolatey.org/) choco install ffmpeg on Windows using Scoop (https://scoop.sh/) scoop install ffmpeg)

    2024年02月11日
    浏览(46)
  • Unity文字转语音(使用RT-Voice)

    使用RTVoice预制体就可以了,可以转汉字和英文,标点符号不行。 自己写的测试代码:

    2024年02月07日
    浏览(37)
  • Unity 文字转语音 Microsoft Interop.SpeechLib使用

    Unity中需要设置: Editor - Project Settings - Player - Other Settings - Api Compatibility Level - 选择.Net 4.x 系统需要提前下载中文语音包 Win11可以在 设置 - 时间和语言 - 语音 中查看已下载的语音 其中Huihui Yaoyao Kangkang为中文语音,下面脚本也是这样判断的 如果没有安装语音的话,可以在设置

    2024年02月05日
    浏览(37)
  • 四、文字到语音模型库之Bark

    随着人工智能技术的发展,文本到音频(Text-to-Audio,简称 TTA)转换已经成为一个热门的研究领域,旨在通过深度学习模型将任意文本转换为逼真的音频,包括语音、音乐、声效等。近日,一家名为 Suno 的公司在 GitHub 上开源了一个名为 Bark 的 TTA 模型,引起了广泛关注。Bar

    2024年02月08日
    浏览(33)
  • Unity 导入原神人物模型

    原神人物模型官方下载地址: 一、https://ys.biligame.com/gczj/ 二、《原神》迫近的客星视频征集计划 三、《原神》「白垩与黑龙」1.2版本视频征集计划 四、 《原神》「明霄升海平」1.3版本视频征集计划 五、原神1.5版本UP主激励计划 六、原神1.6版本UP主激励计划 七、原神2.0版本

    2024年02月05日
    浏览(90)
  • Unity Animator人物模型动画移动偏移

    模型动画出现移动方向偏移 !修改Animation中的Root Transform Rotation(根变换位置)、Root Transform Rotation(x,y,z)(旋转),Bake Info Pose修改为Original。可以解决 !!但是,使用动画移动函数时将无法移动,原因是锁定根变换位置和循环位置 !!!所以只要修改依据为原始或者微调偏离值,

    2024年02月15日
    浏览(39)
  • unity 动画 人物模型下沉的可能情况

    为游戏对象加上动画状态机,运行后人物模型下沉 因为要选取人物站立的动画,我从美工给的动画中截取 strat end相等的动画 箭头指向这两个值相等,发现Anmiator执行到该状态时人物模型下沉(不是无休止的下坠),判断应该是strat end相等时 unity3d判空导致该动画在状态机中动

    2024年02月11日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包