前言
提示:这里可以添加本文要记录的大概内容:
今天我们用Unity实现文字转语音并且与人物模型口型同步,要实现这个功能,我们需要用到两个插件:语音口型同步“OVRLipSync”和文字转语音“RTVoice”。
一、插件介绍
RTVoice:
离线文字转语音
• 支持所有构建平台!
• 适合于 Windows、macOS、Android 和 iOS 的原生提供程序
将文本转换为语音
• 即时从文本转换到语音 — 在运行时即可生成!
• 连带作用:连续的音频生成可节省大量内存!
• 在游戏的测试阶段无需配音演员!
• 按姓名、文化和/或性别筛选语音
• 一次可以发出多种声音(例如,公共场所中很多人同时讲话的场景)
• 通过语速、音调和音量微调你的声音!
• 支持 SSML 和 EmotionML!
• 在 Windows 和 iOS 上提供最新的单词、唇形和音素 — 包括标记!
• 生成的音频可以存储为文件在 Unity 中反复使用!
• 单个 AudioSource 匹配 1-infinite 同步发音人!
• 简单的顺序和对话系统
• 不降低性能!
OVRLipSync:
语音来源,顾名思义就是语音的来源,一般有两种,一是真人配音,语音自由度最大,真实度最好。另一个是通过语音合成技术(Text To Speech,简称TTS),在时间、空间以及实现成本上有很大优势。在语音驱动人脸动画领域,有一个重要的步骤——获取基于时间轴的音素序列,真人配音很难直接获取准确的基于时间轴的音素序列,通过TTS技术产生语音序列的同时获得序列相对来说很容易。
识别与动画关键帧匹配。识别是指在语音波段中识别音素,所谓音素是构成音节的最小单位,又或者说是最小语音片段,以汉语为例,每个独立的声母,单韵母都是一个独立的音素,普通话中声母有23个,单韵母有10个,鼻辅音2个,在英文中有20个元音和28个辅音,地位同汉语中声韵母相当。识别出的音素之后调用人物模型中有对应的动画或者是面部参数
在虚拟人脸图像动画生成方面,主要存在两种技术,一是通过技术合成三维人物,其面部表情主要通过建模时制作好的渐变动画实现,通过动画参数来驱动,具有实时性和可操作性好的特点;第二种是通过从真人视频语料库中提取所需嘴形以及神态的片段,拼接成视频的合成技术,这种技术具有真实感强的特点。现有的唇同步技术多使用基于MPEG-4视频编码标准中的人脸动画参数。
二、导入RTVoice
1.插件传送门
RTVoice
2.组件配置
添加RTVoice和SpeechText
修改SpeechText组件得下面三个地方:
第一个是修改语言“zh”表示中文,“cn”表示英文;
第二个是修改男声和女生;
第三个是在程序启动时运行,也可以根据自己得程序具体逻辑修改。
如果需要自己触发播放文本得语音,可以调用以下方法:
private void OnSpeech(string arg0)
{
SpeechText.Text = arg0;
SpeechText.Speak();
}
三、导入OVRLipSync
1.插件传送门
OVRLipSync
2.组件配置
将示例工程中的模型拖入场景中
创建AudioSource组件,并且添加LipSync组件
将上述AudioSource组件给到SpeechText组件中AudioSource属性中
点击运行,成功!!文章来源:https://www.toymoban.com/news/detail-751362.html
总结
以上只是一个将文字转语音后使用人物模型进行口型同步的Demo,如果要用到具体下项目中,可以参考示例模型的Blendshap类型进行建模绑定,同步效果与表情变形器绑定的细腻程度有很大关系。文章来源地址https://www.toymoban.com/news/detail-751362.html
到了这里,关于Unity实现文字转语音并且与人物模型口型同步的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!