AIGC + RTE,一个实时互动的应用实践

这篇具有很好参考价值的文章主要介绍了AIGC + RTE,一个实时互动的应用实践。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

一夜之间,区块链、元宇宙、Web3、VR等风口似乎都消散了,似乎只有 AI 才是C位。声网 RTC + 云市场各类插件 + AIGC,会迸发出什么样的火花呢?

最近,声网内部组织了一次黑客松,经过激烈的角逐,我们团队荣获冠军。接下来,我们来介绍下我们的项目:Infinite Lego(无限乐高)和我们如何实现的。废话不多说,先看下我们的宣传片 Trailer:点击查看视频

设计构思

近期,随着 ChatGPT 和 AIGC 的爆火,我们非常想探索下,声网 RTE API + 声网云市场各类型插件 + AIGC 一起能实现什么有趣的场景。

AIGC + RTE,一个实时互动的应用实践
在从前车马慢的时候,传统的互动方式是书信,受制于地理和时间的因素,非常不方便。在过去 100 多年中,随着电话、邮件、手机、短信、VoIP、微信等社交网络的发明,人类的互动已经接近实时。但是依然受制于文化差异、语种、专业、语境的差别,让人们在理解彼此上依然有困难。我们坚信,有了AIGC,从此,实时互动进入了智能实时互动的时代,可以克服文化、语种、专业、语境等限制。

AIGC 引发的交互革新

这是我们整个项目实现的不同场景:

AIGC + RTE,一个实时互动的应用实践

AIGC 的引入使云市场插件的交互方式发生了革新。通过 AIGC 技术,声网云市场插件可以实现更加智能化的交互,例如,在和 AIGC 交互时通过转写类插件进行语音识别和自然语言处理,使得用户可以通过语音直接与应用进行交互。这种新的交互方式大大提升了用户的使用体验,从而在众多应用中脱颖而出。

除此之外,还可以在语音输出的时候选择方言,配合提示词使用,创造出各式各样的应用场景。

我们是怎么实现的?

声网云市场的各类型插件给我们构建这样的方案提供了极大便利,我们想到了 RTC + 实时转写 + ChatGPT + 文字转语音 + 文字驱动虚拟人 + 实时变声的功能组合,于是从构思到设计、从开发到调试用了 2 天就保质保量地完成了整个项目。

AIGC + RTE,一个实时互动的应用实践

为什么会这么快?

在传统的集成 RTC 业务的时候,我们需要确保链路如下:

AIGC + RTE,一个实时互动的应用实践

如果需要接入一些其他厂家提供的特效处理,需要在前处理和后处理用裸数据接入,费时费力。

而云市场插件可以作为一个不错的解决方案,来实现在实时的音频和视频通信的基础上添加许多新功能,满足了各种业务需求。开发者可以轻松地将诸如视频特效、音频特效等功能集成到他们的应用中,为用户带来更丰富的交互体验。

AIGC + RTE,一个实时互动的应用实践

欢迎尝试我们的项目(目前只支持安卓端):

蒲公英链接: https://www.pgyer.com/rZPz文章来源地址https://www.toymoban.com/news/detail-486771.html

到了这里,关于AIGC + RTE,一个实时互动的应用实践的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 【精华】AIGC之文生视频及实践应用

    AIGC之文生视频及实践应用 (一)序言 从 Stable Diffusion 到 Midjourney,再到 DALL·E-2,文生图模型已经变得非常流行,并被更广泛的受众使用。随着对多模态模型的不断拓展以及生成式 AI 的研究,业内近期的工作试图通过在视频领域重用文本到图像的扩散模型,将其成功扩展到文

    2024年02月12日
    浏览(34)
  • 【精华】AIGC之文生音乐及实践应用

    AIGC之文生音乐及实践应用 (一)序言 近期 AIGC 如同上了热搜一般,火热程度居高不下,当然除了名头格外响亮,突破也是绝对斐然:输入自然语言就可自动生成图像、视频甚至是 3D 模型,你说意不意外? 但在音频音效的领域,AIGC 的福利似乎还差了一些。主要由于高自由度

    2024年02月09日
    浏览(33)
  • 【精华】AIGC之大语言模型及实践应用

    AIGC之大语言模型及实践应用 (一)大语言模型(LLM) IDEA-CCNL/Taiyi-Stable-Diffusion-1B-Chinese-v0.1 · Hugging Face 首个开源的中文Stable Diffusion模型,基于0.2亿筛选过的中文图文对训练。 LianjiaTech/BELLE: BELLE: Be Everyone’s Large Language model Engine BELLE: BE Large Language model Engine[知乎] 开源中文对

    2024年02月09日
    浏览(34)
  • 【精华】AIGC之文生图及实践应用

    AIGC之文生图及实践应用 (一)Stable Diffusion (1)算法库 https://github.com/AUTOMATIC1111/stable-diffusion-webui https://github.com/Mikubill/sd-webui-controlnet https://github.com/kohya-ss/sd-webui-additional-networks (2)使用说明 1)使用教程 从零开始,手把手教你Window本地化部署stable diffusion AI绘图 从零开始

    2024年02月10日
    浏览(38)
  • 行业前沿 | 畅想AIGC技术研究与应用实践(一)

    AIGC的火热之势已经蔓延到各行各业,技术浪潮冲击下,关于AIGC创业、AIGC未来发展方向以及AIGC的应用实践等,企业、投资者以及技术产品专家们有着不一样的思考。 近日,数美科技联合AMD举办的AIGC沙龙活动,邀请了 经纬创投投资董事王冰醒、启元世界战略总监王思捷、AM

    2024年02月09日
    浏览(44)
  • 如何处理ChatGPT与用户之间的互动和反馈?

    处理ChatGPT与用户之间的互动和反馈是关于改进和优化用户体验的关键方面。这涉及到在聊天、对话和交互中建立积极的用户关系,同时利用用户的反馈来不断改进ChatGPT的性能和功能。本文将探讨如何有效地处理ChatGPT与用户之间的互动和反馈,以提供更好的用户体验。 ### 1

    2024年02月10日
    浏览(50)
  • 【开源项目】AI Vtuber 一个由多LLM驱动的虚拟主播,可以在Bilibili/抖音 直播中与观众实时互动或本地聊天。使用多种TTS技术并可进行AI变声。通过特定指令协同SD绘图。并有循环文案

    AI Vtuber是一个由 ChatterBot / GPT / Claude / langchain 本地 or 云端 / chatglm / text-generation-webui / 讯飞星火 / 智谱AI / 谷歌Bard / 文心一言 做为 大脑 驱动的虚拟主播 Live2D / Vtube Studio / UE5 + Audio2Face ,可以在 Bilibili / 抖音 / 快手 / 斗鱼 直播中与观众实时互动 或者 直接在本地和您进行聊天

    2024年02月08日
    浏览(46)
  • 蚂蚁实时低代码研发和流批一体的应用实践

    摘要:本文整理自蚂蚁实时数仓架构师马年圣,在 Flink Forward Asia 2022 流批一体专场的分享。本篇内容主要分为四个部分: 实时应用场景与研发体系 低代码研发 流批一体 规划展望 点击查看原文视频 演讲PPT 蚂蚁实时的数据应用主要包括报表监控、实时标签和实时特征三部分

    2024年02月16日
    浏览(25)
  • 2023,谁在引领实时互动进入高清时代?

    实践是检验真理的唯一标准,技术是行业进步的核心动能。在实时互动的新时代里,不断进化的声网已然完成自证。  作者|斗斗  出品|产业家  “一个医疗行业的客户,曾向我们提出一个需求,希望在120急救场景下,可以远程看清楚病人的实时状况,使得其做出最恰当的急

    2024年02月14日
    浏览(38)
  • 玖章算术CEO叶正盛受邀AIGC论坛,分享NineData 在 AIGC 的应用实践

    2023年3月24日下午,由人工智能关键技术与应用评测实验室、中国信通院云计算与大数据研究所、中国信通院(浙江)创新中心人工智能分中心主办,杭州市余杭区信通人工智能研究院、浙江菜根科技产业发展有限公司承办的生成式 AI 技术沙龙顺利召开。  邀请了信通院、玖

    2024年02月12日
    浏览(35)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包