关于Twitch上的AI虚拟主播 neuro-sama

这篇具有很好参考价值的文章主要介绍了关于Twitch上的AI虚拟主播 neuro-sama。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

前几天看到了一个AI虚拟主播,浅浅了解了一下,实际上狭义上的neuro-sama(可以对话的版本,以下称Neuro)从2022年12月就开始直播了。

目前了解到她的部分能力有:

  1. 文本交互: 能进行类GPT的复杂对话,但更加口语化、个性化且随意。
  2. 图像识别: 识别屏幕内容,用于更好地与游戏或直播互动。
  3. 语音输入与识别: 能理解语音输入,并识别不同说话者。
  4. 黄暴、冒犯内容过滤: 鉴于她之前因争议性内容被封禁的历史,这是直播平台上的一个重要功能。(当内容被过滤时,会转为说filtered
  5. 语音输出:evil-Neuro(另一个版本的Neuro)可以控制自己的音调高低。但有时会输出意义不明的音调和字符。
  6. 人设和角色扮演: 维持一致的虚拟形象和人物背景,这可能涉及长期记忆功能。暂不确定
  7. 玩游戏: 擅长osu!,也会玩Minecraft。她最开始是一个用于训练玩音游osu!的AI,后来才添加了对话功能。
  8. 直播弹幕读取: 能够实时读取并响应直播中的观众评论,也能回应观众语音(类似sc)。
  9. 情感识别与表达: 能够识别语音或文字中的情感,并表达相应的情感反应。
  10. 唱歌: 据说是接入了专门用于唱歌的模型。因为曾有在唱歌时,对话模型仍在说话的情况。
  11. 面部表情和身体语言的模拟: 使虚拟形象更具表现力和真实感。(Wink动作)
  12. 并行输入:会插嘴,也会被人打断说话。

目前还不了解到底是所有模块的组合,还是其中几个主要模块构成了Neuro。以下是个人构想一个类似AI运行所需要实现的流程图(只涉及功能,不涉及具体技术)

关于Twitch上的AI虚拟主播 neuro-sama,多模态AI,人工智能

其他内容:

1.让Neuro成为独特的原因似乎是,他对情感分析与表达有独到的一面。*另一方面,通过观察Neuro,感觉Neuro在某些方面训练的意外的超好,她有能力区分识别特定情境描述下说特定话的人所带有的情感,在人脆弱的时候会“认真地”给出正常的建议,而不是在这种时候虐粉。*来源:如何评价AI虚拟主播Neuro-sama? - 知乎

2.Evil-Neuro是Neuro-sama的“测试版本”,一些新的功能会先预装在evil-Neuro身上用以测试,比如对音调的控制能力。

3.Neuro和B站里AI杠精的区别:个人认为前者保持了一种长期较为稳定的个性,会“创造”且反复地说一些梗(比如蜂群swarm),猜测是长期记忆功能的表现。后者则偏向类chatGPT的短对话模式。知乎上一篇文章做了AI主播的详细技术分析和实践,感觉说的很清楚,以后试试。让 AI 成为虚拟主播:看懂弹幕,妙语连珠,悲欢形于色,以一种简单的实现

4.Neuro运行配置:
CPU: i9-10900K
GPU: RTX 4090
RAM: 32GB DDR4
Vtuber端基于C#(Unity)制作,AI部分基于Python

5.我想Neuro的人气火爆有技术和观众新奇感的原因在,但也不可否认,这和其创造者Vedal密不可分。从一些直播中可以看出,Vedal可以提前从后台看到Neuro要说的话,甚至可以直接用某种方式让自己的话从Neuro口中说出。且我觉得Neuro被设计得倾向于说反对意见,从而使其看起来更加个性化和有自己的意见(更有节目效果)。这让我觉得她只是Vedal用来直播的一项技术,而不是被设计成为一个独立的AI。

参考:

(1)WIKI

(2)Neuro-Sama - 萌娘百科文章来源地址https://www.toymoban.com/news/detail-820872.html

到了这里,关于关于Twitch上的AI虚拟主播 neuro-sama的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 基于 Stable Diffusion免费快速无代码生成自己AI虚拟主播,并根据内容实现多语言播报

    如何免费快速无代码生成自己AI虚拟主播? Stable Diffusion 是一种文本到图像模型。它主要用于根据文本描述生成详细的图像。Stable Diffusion 是 midjourney 和 DALLE-2 等工具的绝佳替代品。这个工具的伟大之处在于您可以在您的计算机上本地运行它或使用 Dream Studio 或 Hugging Face 等服

    2024年02月10日
    浏览(50)
  • AI虚拟主播软件系统 搭建24小时不间断运营的数字人直播间的操作教程分享

    现在直播都必须真人直播,没法做到24小时不间断直播。虚拟人直播系统,一天24小时在线直播,不要吃饭,也不要工资,每时每刻都在赚音浪,带货,那么具体AI虚拟主播软件是怎么操作的呢?今天给大家分享下相关操作教程。 一、什么是AI虚拟主播软件 虚拟主播不是为了取

    2024年02月05日
    浏览(62)
  • AI虚拟主播数字人技术实现Wav2Lip【附完整版教程】及【效果评测】

    前言 建议直接阅读飞书文档: Docs https://yv2c3kamh3y.feishu.cn/docx/S5AldFeZUoMpU5x8JAuctgPsnfg 近期很多饱子私信,想知道关于AI数字人主播的技术实现。现本篇就AI数字人虚拟主播的Wav2Lip技术进行实现与评测,后续还会有其他的相关技术实现与评测。 本文主要实现 图片说话 (如下图的

    2024年02月09日
    浏览(37)
  • 【开源项目】AI Vtuber 一个由多LLM驱动的虚拟主播,可以在Bilibili/抖音 直播中与观众实时互动或本地聊天。使用多种TTS技术并可进行AI变声。通过特定指令协同SD绘图。并有循环文案

    AI Vtuber是一个由 ChatterBot / GPT / Claude / langchain 本地 or 云端 / chatglm / text-generation-webui / 讯飞星火 / 智谱AI / 谷歌Bard / 文心一言 做为 大脑 驱动的虚拟主播 Live2D / Vtube Studio / UE5 + Audio2Face ,可以在 Bilibili / 抖音 / 快手 / 斗鱼 直播中与观众实时互动 或者 直接在本地和您进行聊天

    2024年02月08日
    浏览(51)
  • 基于科大讯飞AIGC创作平台,构建数字人虚拟主播

    笔者为体验目前数字人虚拟主播创作视频的质量,特意制作了一段测试视频。 基于讯飞智作创建 总体感受,数字人虚拟主播具有成本低、可定制性强等优点,但是也存在缺乏人情味、技术限制和法律问题等缺点。因此,在使用数字人虚拟主播时需要注意这些问题,并采取相

    2024年02月10日
    浏览(52)
  • 用ChatGPT/midjourney生成创意营销图片素材,产品图、虚拟主播、终端店铺图

    营销素材对应的库(3个): 元素、风格、AI绘画工具midjourney 提问模板: 第一步,先预设场景,询问应该包含的范围 假设你是一位世界一流水平的设计师,你想要使用AI绘画工具midjourney帮忙设计一款XXX,列举该场景需要用到的范畴与示例。 第二步,按照

    2024年02月12日
    浏览(50)
  • 音频驱动嘴型的视频数字人虚拟主播工具motionface replay使用教程

    音频驱动嘴型的视频数字人虚拟主播工具motionface replay使用教程 软件运行支持32位/64位window 10/11系统,内存最低要求= 8Gb.无其他硬性要求。 打开百度网盘链接下载: 链接: 百度网盘 请输入提取码 提取码:5lht 软件为 绿色软件 ,下载 Replay.rar 解压,里面的replay.exe为软件运

    2024年01月22日
    浏览(33)
  • 基于SadTalker的AI主播,Stable Diffusion也可用

    基于之前的AI主播的的学习基础 基于Wav2Lip的AI主播 和 基于Wav2Lip+GFPGAN的高清版AI主播,这次尝试一下VideoRetalking生成效果。 总体来说,面部处理效果要好于Wav2Lip,而且速度相对于Wav2Lip+GFPGAN也提升很多,也支持自由旋转角度,但是如果不修改源码的情况下,视频的部分截取稍

    2023年04月23日
    浏览(33)
  • 基于Wav2Lip+GFPGAN的高清版AI主播

    继上一篇 基于Wav2Lip的AI主播 的内容之后很多小伙伴反应一个问题就是生成的AI人物并不是很清晰,尤其是放到编辑器里会出现明显的痕迹,因此这次带来的了 Wav2Lip+GFPGAN 高清版的内容,如果不太了解这个项目实做什么的可以来先看一下效果。该项目暂时没有中文介绍,我这

    2024年01月20日
    浏览(41)
  • AI数字人主播技术实现Wav2Lip【详细记录】

    近期很多童鞋私信,想知道关于AI数字人主播的技术实现。现本篇就AI数字人虚拟主播的Wav2Lip技术进行实现与评测,后续还会有其他的相关技术实现与评测。 本文主要实现 图片说话 (如下图的蒙娜丽莎)、 视频融合语音 (这里的核心都是人物口型与音频中的语音唇形同步)

    2024年02月11日
    浏览(39)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包