思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波

这篇具有很好参考价值的文章主要介绍了思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

【导读】在最近举办的NeurIPS大会上,研究人员展示了当代AI更震撼的AI场景——AI读心术!

我们今天的人工智能 (AI) 已经取得了哪些显著的进展呢?

从AI绘图、AI作曲、AI视频生成、AI写小说、AI主播等等,我们似乎已经见识了许多令人惊叹的应用。

然而,在最近的NeurIPS大会上,来自GrapheneX-UTS的研究人员带来了一项更加引人瞩目的技术——AI读心术BrainGPT!

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

论文地址:https://arxiv.org/pdf/2309.14030v2.pdf

如果AI能够洞悉你的内心想法,将会发生什么呢?这是一个让人不敢想象的问题。

Sign-up (braingpt.org)https://braingpt.org/news.html

参与测试的人们默念一段文字,通过一套脑电波传感器采集数据,然后通过名为DeWave的AI模型,将脑电波翻译成语言,并投影到屏幕上。

整个过程有点科幻的味道了,尤其是背景音乐,让人莫名想到了《星际穿越》。

这项研究被选为今年NeurIPS会议的焦点论文(Spotlight ),研究团队来自悉尼科技大学的GrapheneX-UTS(以人为本的人工智能中心)。

悉尼科技大学计算机科学学院杰出教授,同时也是GrapheneX-UTS HAI中心主任的Chin-Teng Lin教授表示,这项研究代表了将原始脑电波直接翻译成语言的开创性尝试,标志着该领域的重大突破。

“这是第一个将离散编码技术引入脑到文本翻译过程的方法,引入了一种创新的神经解码方法,并与大型语言模型整合,为神经科学和人工智能开辟了新的领域。”

幸好需要戴上一个头套,AI才能“听见”人类的内心想法,如果能够隔空读取思想,那将会带来一系列问题。

如果是笔者参与这个测试,压力应该会相当大,毕竟不知道默念的文字和内心想法是否一致,担心AI是否会读取到其他想法

笔者不禁联想到了霍金先生,或许在某个平行世界中,他可以使用类似BrainGPT的技术。

那么,笔者自己呢?是不是不再需要面对电脑屏幕敲击键盘?不需要了!只需躺在床上,动动脑子,就能完成工作。

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

在这项工作中,模型把脑电波信号分割成不同的单元,从中捕获特定的特征和模式。

DeWave模型通过从大量脑电数据中学习,获得了将脑电图信号转换为单词和句子的能力。

除了可以帮助因疾病或受伤(中风、瘫痪等)而无法说话的人进行交流,BrainGPT还可以实现人与机器之间的无缝通信,例如仿生手臂或机器人的操作。

相比之前将大脑信号转换为语言的技术,要么需要手术植入电极(例如马斯克的Neuralink),要么需要在MRI机器中扫描。

前者为侵入性,而后者体积大,价格昂贵,且难以在日常生活中使用。

此外,这些方法通常需要眼动追踪等额外辅助工具,来帮助将大脑信号转换为单词级片段,而BrainGPT则没有这个限制。

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

这项研究测试了29名参与者。因为脑电波因人而异,所以BrainGPT所表现出的解码技术更强大、适应性也更强。

当然,比起向大脑植入电极,通过这种外部设备接收到的脑电图信号会更嘈杂,——不过从翻译结果来看,准确率也很不错。

BrainGPT在BLEU-1的翻译准确率得分,目前约为40%。

(BLEU分数是一个介于0和1之间的数字,用于衡量机器翻译文本与一组高质量参考翻译的相似性。)

研究人员认为这套系统将来有望把准确率做到接近90%,——这将是与传统语言翻译,或语音识别程序相当的水平。

论文作者认为,目前的模型更擅长匹配动词,而涉及到名词时可能不够精确。这是因为当大脑处理这些单词时,语义上相似的单词可能会产生相似的脑电波模式。

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

论文细节

论文引入了一个新的框架——DeWave,它将离散编码序列集成到开放词汇的脑电图到文本的翻译任务中。

DeWave使用量化变分编码器来派生离散的编码,并将其与预先训练的语言模型对齐。

这种离散表示有两个优点:1)通过引入文本-脑电对比对齐训练,实现了无标记原始波的平移;2)通过不变的离散编码,减轻了脑电波个体差异引起的干扰。

利用离散编码,DeWave是第一个实现原始脑电波到文本翻译的工作,同时引入了自监督波编码模型,和基于对比学习的脑电到文本对齐,以提高编码能力。

DeWave模型在使用ZuCo数据集的测试中,BLEU-1分数达到了41.35,Rouge-F分数达到了33.71,比之前的基线分别高出了3.06%和6.34%

另外,论文首次在没有单词级顺序标记(例如,眼睛注视)的情况下,进行了整个脑电图信号周期的翻译测试,分别获得了20.5(BLEU-1)和29.5(Rouge-1)。

研究方法

DeWave的整个过程如下图所示,原始EEG特征被矢量化为嵌入的序列,并送到离散的编码中,语言模型基于离散的编码表示形式生成翻译输出。

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

DeWave模型结构涉及将词级脑电图特征,或原始脑电图波矢量化为嵌入,然后将矢量化的特征编码为一个潜在变量,该变量通过索引转换为离散的编码。最后,预先训练的BART模型将这种离散的编码表示转换为文本。

给定一系列单词级脑电图特征E,目的是解码相应的开放词汇文本标记W。这些脑电图文本对(E、W)是在自然阅读期间收集的,

这里设置两个训练任务:(1)单词级脑电图到文本翻译,其中脑电图特征序列E被分割,并根据序列W中的每个单词的标记,进行重新排序;

(2)原始脑电波到文本翻译,其中脑电特征序列E直接矢量化为嵌入序列进行翻译,没有任何事件标记。

离散编码

DeWave是第一个将离散编码引入EEG信号表示的工作。

离散表示有利于词级脑电图特征和原始脑电波转换。将离散编码引入脑电波可以带来两个方面的优势:

第一点,脑电图特征在不同人类受试者之间具有很强的数据分布差异。同时,由于数据收集的费用,数据集只能包含来自少数人类受试者的样本,这严重削弱了基于脑电图的深度学习模型的泛化能力。

而通过引入离散编码,可以在很大程度上缓解输入方差。

第二点,编码包含较少的时间属性,可以缓解事件标记(如眼睛注视)和语言输出之间的顺序不匹配问题。

脑电图矢量化

为了得到带有事件标记的单词级脑电图特征,首先根据注释中给出的单词序列的眼动追踪标记,将脑电波切片。

这里计算了4个频段滤波器的统计结果(Theta波段(5-7Hz)、Alpha波段(8-13Hz)、Beta波段(12-30Hz)和Gamma波段(30Hz-)),得到每个片段的统计频率特征。

需要注意的是,尽管不同的片段可能具有不同的脑电图窗口大小,但统计结果是相同的(嵌入大小840)。

应用多头Transformer层将嵌入投影到大小为512的特征序列中。

使用自监督脑电波编码器,将原始脑电信号转换为一系列嵌入:

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

上图展示了原始波的自监督预训练过程。左边的子图详细介绍了通过对比学习,利用自我重建和文本对齐来引导编码器的策略。

这里有两个指导原则:一个是自我重建,训练编码器能力的同时,也从离散编码中重建原始波形;

另一个是文本对齐,编码在语义上与词向量对齐。

在结构方面,采用了基于一致性的多层编码器,这个编码器具有专门设计的超参数。

一维卷积层用来处理脑电波以生成嵌入序列,然后将脑电通道融合为每个周期的唯一嵌入。这里将双向Transformer注意力层应用于序列以捕获时间关系。

通过这种方式,该模型不仅可以学习重建脑电图信号,还可以学习与相应文本嵌入一致的信号的鲁棒表示。

这种跨模态学习可以弥合脑电图信号和文本语义内容之间的差距,并改善翻译系统。

实验结果

DeWave利用ZuCo 1.0和2.0进行实验。该数据集同时记录了正常阅读(NR)和特定任务阅读(TSR)任务期间的文本和脑电图语料库。

脑电波是用128通道系统,在500Hz的采样率下通过0.1Hz至100Hz的频带滤波器收集的。不过在降噪之后,只有105个通道用于翻译。

实验中根据眼睛注视对脑电波进行切片,并计算频率特征。对于原始脑电波,信号被归一化为0-1的值范围以进行解码。

阅读任务的数据分别分为训练(80%)、发展(10%)和测试(10%),句子数量分别为10874、1387和1387个,没有交集。

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

这里使用NLP指标BLEU和ROUGE评估翻译性能,如上表所示。

对于单词级脑电图特征,将结果与脑电图转文本进行比较,以保持一致的语言模型。

在缺乏原始脑电波的方法的情况下,通过使用200毫秒的时间窗口和100毫秒的重叠,将整个脑电波分割成序列嵌入,来建立基线(脑电图到文本)。

实验中将最初为语音识别开发的Wave2Vec改编为脑电波,并将其与DeWave进行比较。

此外,实验还采用无监督的原始脑电波分类方法BENDR和SCL,使用SSL预训练和特征提取进行比较,强调了离散编码的影响。

因为跨学科性能对于实际应用至关重要,所以这里进一步提供了与基线方法,和具有代表性的元学习方法MAML的比较。

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

上表展示了18 名人类受试者的平均表现,指标越低越好。我们可以看出DeWave模型在两种设置(直接测试和使用MAML)中都显示出卓越的性能

思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波,AI资讯,人工智能,知识图谱,AIGC,gpt,AI-native,大数据,健康医疗

为了进一步说明不同受试者的表现差异,这里仅使用受试者YAG的数据来训练模型,并测试所有其他受试者的指标。

结果如上图所示,我们可以从雷达图中看出,对于不同受试者,模型的表现比较稳定。

参考资料:

https://www.uts.edu.au/news/tech-design/portable-non-invasive-mind-reading-ai-turns-thoughts-text文章来源地址https://www.toymoban.com/news/detail-767884.html

到了这里,关于思维映像化:AI读心术惊艳亮相NeurIPS大会!模型精准翻译脑电波的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • QECon大会亮相产品,支持UI自动化测试?RunnerGo

    最近在gitee上看见一款获得GVP(最有价值开源项目)的测试平台RunnerGo,看他们官网介绍包含了接口测试、性能测试、自动化测试。知道他们有saas版可以试用,果断使用了一下,对其中场景管理和性能测试印象深刻,之后也在公司自己安装使用,接下来和大家介绍一下RunnerG

    2024年02月08日
    浏览(40)
  • Project Babel通天塔计划亮相2022全球元宇宙大会

    2022年8月18-19日,由中国移动通信联合会主办、上海市通信管理局联合主办、众视Tech、中移联会展部、元宇宙产业委承办、BIC EURONOVA(欧盟创新中心)和GSMA 5G IN 作为国际合作伙伴与上海区块链技术协会产业联合主办支持的2022全球元宇宙大会于中国上海首站启动。大会秉承“先国

    2024年02月13日
    浏览(50)
  • 数字驱动、智能发展|众享宇联亮相2022世界数字经济大会

    2022年9月2日至4日, 2022世界数字经济大会暨第十二届智慧城市与智能经济博览会 在浙江宁波举行。 宁波众享宇联科技有限公司 携Web3.0前沿创新成果亮相本次重量级行业盛会。 2022世界数字经济大会暨第十二届智博会以“ 数字驱动、智能发展 ”为主题,以推动“数字产业化、

    2023年04月08日
    浏览(82)
  • “体验家”亮相第六届IAIC成都国际医美产业大会

      6月23日-25日, 第六届IAIC成都国际医美产业大会暨“医美之都”高峰会议 在成都世纪城国际会议中心成功举行。本次大会邀请了来自国家药品监督管理局、部分省市地区的相关领导莅临指导,以及来自全国100+医美行业头部平台,近2000位医美产业领军代表人物,“体验家”

    2024年02月17日
    浏览(50)
  • Meta的Llama 3惊艳亮相,8B量化版本仅有4.7G,你也能像我一样马上部署到本地

         ChatGPT狂飙160天,世界已经不是之前的样子。 新建了免费的人工智能中文站https://ai.weoknow.com 新建了收费的人工智能中文站ai人工智能工具 每天给大家更新可用的国内可用chatGPT资源 ​  发布在https://it.weoknow.com 更多资源欢迎关注 图片来自Meta官网 在AI领域,语言模型无

    2024年04月25日
    浏览(32)
  • 海信聚好看将携新品DBdoctor,亮相中国数据库技术大会(DTCC2023)

    海信聚好看将携新品DBdoctor,亮相中国数据库技术大会 8月16日—18日,第14届中国数据库技术大会(DTCC-2023)将在北京国际会议中心隆重召开。作为国内数据库领域规模最大的技术交流盛会,吸引了众多业内知名企业和数百名行业专家参加。届时,聚好看科技将携数据库内核级

    2024年02月13日
    浏览(48)
  • 【NeurIPS 2023】多模态联合视频生成大模型CoDi

    Diffusion Models视频生成-博客汇总 前言: 目前视频生成的大部分工作都是只能生成无声音的视频,距离真正可用的视频还有不小的差距。CoDi提出了一种并行多模态生成的大模型,可以同时生成带有音频的视频,距离真正的视频生成更近了一步。相信在不远的将来,可以AI生成的

    2024年02月07日
    浏览(36)
  • 【AI人工智能】 最强大的语言模型镜像 使用起来真的太方便了! 真的要解放代码思维了吗?

    🚀 个人主页 极客小俊 ✍🏻 作者简介:web开发者、设计师、技术分享博主 🐋 希望大家多多支持一下, 我们一起进步!😄 🏅 如果文章对你有帮助的话,欢迎评论 💬点赞👍🏻 收藏 📂加关注 前言 🍉 AI 在某些基础应用领域可以帮助你减少很多工作量,很强大哦! 嘿嘿 优

    2024年02月10日
    浏览(61)
  • NeurIPS 2022|DeepMind最新研究:大模型背后的ICL可能与数据分布密切相关

    大模型 自然语言处理 机器学习 传统的文本语言模型 倾向于 两阶段的训练模式 ,即首先在 大规模语料库上进行预训练 ,然后在目标 下游任务上进行微调 , 这种方式会 受数据标注质量 和 过拟合 等多方面的影响 。最近兴起并流行的大型语言模型(large language models,LLMs)

    2024年02月09日
    浏览(49)
  • 惊艳的AI图像处理工具:IOPaint

    IOPaint :功能超全的AI图像工具,免费且开源的绘图工具,由SOTA-AI模型驱动。 -  精选真开源 释放新价值 Meta公司(原Facebook)在 GitHub 开源 Segment Anything Model(SAM)以后,图像领域真正做到了「万物皆可分割」,开发者处理图像分割任务的流程进一步简化,成本大幅下降

    2024年04月15日
    浏览(36)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包