UE5+数字人+文心一言实现语音问答

这篇具有很好参考价值的文章主要介绍了UE5+数字人+文心一言实现语音问答。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

     此项目主要包含三个功能(讯飞语音识别、百度文心一言问答、metahumanSDK文字转语音合成口型),所有功能均使用蓝图实现,不含C++代码。

项目所需插件;

Http通信插件;VaRest,在UE5中用于与文心一言建立连接,在Epic虚幻商城可免费下载。

文字转语音及合成口型动画插件;Metahuman SDK,在Epic虚幻商城可免费下载。

语音识别插件;XunFeiSpeechToText,插件连接;🍞正在为您运送作品详情(该插件非本人所著,如需使用,需自行购买)

以下是该项目实现的全流程,仅供学习参考。

一、前期准备

1.导入人物模型;打开Quixel Bridge插件,如果没有这个插件就去商城下载一个,在其中选择一个合适的人物模型,将其下载下来。人物模型也可自己进行捏脸,需要上Metahuman官网进行操作,捏完脸后点击左下角按钮进行导出,然后在UE5中打开Quixel Bridge插件,登录后就可以看到自己捏脸的人物模型了,下载后在UE5的内容浏览器中就可看到一个MetaHumans的文件,打开文件,将人物模型的蓝图类拖至场景中即可使用。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

2、导入插件;在项目文件夹中新建Plugins目录,将下载的XunFeiSpeechToText插件解压到此目录下。另外2个插件直接在虚幻商城下载后安装到引擎即可,然后在插件中找到下载的插件,将其都打开,然后重启项目。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

二、实现讯飞语音识别功能

创建新关卡,然后保存关卡,再打开关卡蓝图进行编辑,图中红色款内是定义的全局变量,可以将语音识别的文字存入该字符串中,以便其他地方使用,如果不需要让语音识别的文字显示在UI则可删除该部分。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

三、实现文心一言问答功能

1、申请百度文心一言API,网址;百度智能云-登录 (baidu.com)

注册好账号后,进入计费管理界面,开通所需服务,最好是都勾选,下面费用高的可以不用勾选,只有你使用了才能计费。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

随后点击应用接入,进入此界面后点击创建应用按钮,创建完成后就可以得到API Key和Secret Key。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

2、编辑蓝图,将UE5与文心一言进行通信连接

继续在关卡蓝图中进行编辑,创建四个变量,第一个Message变量的类型为Va Rest Json Object数组、第二个为模型编号、第三个第四个为申请的API Key和Secret Key(将上面申请的2串代码对应赋给所创建的字符变量)红色框内的Content为需要输入的问题,将此与上一步语音识别的文字连接。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

图中红色框内的字符串就是文心一言返回的答案,这里同样创建了一个全局变量,用来存储文心一言回复的答案,方便其他地方调用。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

四、metahumanSDK实现文字转语音及口型合成

图中红色框为metahumanSDK文字转语音的目标文字,将上面文心一言传回的答案与这个Text连接,图中绿色框为所需要制作口型的人物模型,在场景的大纲视口中将人物拖进蓝图即可得到。

UE5+数字人+文心一言实现语音问答,UE,ue5,文心一言,人工智能

以上就是此项目的全部实现流程了,最终效果还行,就是速度太慢,第一个点是文心一言,它是将所有答案一起传回,字数越多则等待的时间越长。第二个点是metahumanSDK的文字转语音和语音转口型,同样也是受字数影响,字数越多耗时越长,同时也要受网速的影响。文章来源地址https://www.toymoban.com/news/detail-752539.html

到了这里,关于UE5+数字人+文心一言实现语音问答的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【UE5】数字孪生智慧城市全流程程序开发教程

    本套课程介绍了数字孪生智慧城市项目中用到的一些功能和模块,如何从头搭建UMG、设置相机、请求后端数据、播放视频流、动态的添加数据、标签的显示隐藏、3DPOI的创建等内容,从开始搭建到最后打包测试,一步步的教大家如何去布局和写逻辑。 课程介绍视频如下 【UE

    2024年01月23日
    浏览(86)
  • 【UE 模型描边】UE5中给模型描边 数字孪生 智慧城市领域 提供资源下载

    🙋‍♂️ 作者:海码007 📜 专栏:UE虚幻引擎专栏 💥 标题:【UE 模型描边】UE5给模型描边 附带多个后处理解决方案 ❣️ 寄语:书到用时方恨少,事非经过不知难。 🎈 最后: 文章作者技术和水平有限,如果文中出现错误,希望大家能指正,同时有问题的话,欢迎大家留

    2024年02月07日
    浏览(30)
  • 【UE5】交互式展厅数字博物馆交互是开发实战课程

    长久以来,我们总是不断被初学者问到类似这样的问题:如何从头到尾做一个交互式程序开发项目?本套课程尝试对这个问题进行解答。 课程介绍视频如下 【UE5】数字展厅交互式开发全流程 【谁适合学习这门课】 本套课程面向初学者,满足学习需求包括但不仅限于以下:

    2024年01月18日
    浏览(41)
  • UE5 MetaHuman SDK插件的使用【一、编辑器创建音波与蓝图创建获取音波,语音与嘴唇口型的同步】

    目录 打开插件 创建音频 编辑器这直接创建音频: 蓝图中创建和获取音频: 唇语: 声音与嘴唇同步: 方法一【效果不是很好】: 方法二【效果很好,但有一段时间延迟在处理】: 逻辑: MetaHuman SDK插件 目前只支持 ue5 和 ue5.1 版本。 首先第一步 创建音频 : 这样音频就创建

    2024年02月09日
    浏览(37)
  • [虚幻引擎 UE5] EditableText(可编辑文本) 限制只能输入数字并且设置最小值和最大值

    本蓝图函数可以格式化 EditableText 控件输入的数据,让其只能输入一定范围内的整数。 蓝图函数 调用方法 下载蓝图(5.2.1版本) https://dt.cq.cn/archives/618

    2024年02月10日
    浏览(39)
  • 初学UE5,UE4的教程适用UE5吗?

    UE5是最近推出的一款游戏引擎,相较于UE4而言,它有着更好的性能和灵活的工作流程,同时也引入了一些新的功能。对于一些游戏开发初学者来说,他们可能会想知道,是否可以通过UE4的教程来学习UE5。在这里,我们将介绍一下这个问题。 首先,UE5和UE4之间确实存在一些相通

    2024年02月06日
    浏览(41)
  • UE5 UDP通信 UE4.21-UE5.1

    目录 客户端,发送数据 1.建立字符串变量UDPConnection,绑定连接事件  2.连接初始化  3.发送数据  4.关闭UDP服务  服务器,接收数据 1.绑定连接事件  2.绑定数据接收事件  3.开启UDP服务  4.返回数据  5.关闭UDP服务   需要提供远程端IP地址和端口号 0.0.0.0表示监听所有ip,端口

    2024年02月15日
    浏览(35)
  • 【UE5】vsCode 调试 UE5 PuerTs

    配置PuerTs的步骤这里不赘述。 2.1 打开项目 正常来说,直接打开项目可以看到如下画面 如果直接点击运行,可以发现下方的 Output Log 窗口已经开始 Print 了很多案例。 是因为该项目默认执行的是QuickStart.ts。 2.2 打开TsGameInstance.cpp 3.1 在VsCode找到QuickStart.ts,随便断一个点 (这里

    2023年04月09日
    浏览(28)
  • 【UE5】解决UE5无法播放mp4视频

    最近接手的项目需要把项目从UE4中迁移至UE5.0,其中遇到了一个mp4视频无法播放的bug,这里做一下记录。 在官方论中有提到过这个bug,https://forums.unrealengine.com/t/media-textures-wont-display-video-in-ue5-preview-1-while-using-directx-12/503980/2 按照常规的方法播放视频在MediaPlay的Play节点会返回

    2024年01月17日
    浏览(47)
  • UE5学习笔记(1)——从源码开始编译安装UE5

    0.1 在windows的话,建议装一个Git bash,同时还要有自己的github账号,注册github账号这里就不再赘述了,安装git bash后,设置自己的github账号。或者在windows装一个WSL。 0.2 把自己的github账号关联Epic官方,必须关联之后才能下载Unreal的源码。关联方式见官方教程 0.3 安装VS 2022,这里

    2024年02月08日
    浏览(31)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包