多模态 | 基于GNN的多模态情感识别技术COGMEN项目复现

这篇具有很好参考价值的文章主要介绍了多模态 | 基于GNN的多模态情感识别技术COGMEN项目复现。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

COGMEN: COntextualized GNN based Multimodal Emotion recognitioN

COGMEN: 基于GNN的多模态情感识别技术

Paper:  https://arxiv.org/abs/2205.02455 

源代码GitHub - Exploration-Lab/COGMEN

论文翻译及总结可参考我另外一篇博文:多模态 |COGMEN: COntextualized GNN based Multimodal Emotion recognitioN论文详解_夏天|여름이다的博客-CSDN博客

环境设置

  • Pytorch
  • python3.7版本及以上

如果安装GPU版本,cuda版本需要11.7及以上

  • pytorch_geometric

Installation — pytorch_geometric documentation (pytorch-geometric.readthedocs.io)

conmet.ml

  •  SBERT

Install SBERT

 对于已经有pytorch的情况,我只安装了以下命令

pip install comet_ml --upgrade #使用默认的 Python,comet_ml升级到最新版本
pip install torch_geometric
pip install -U sentence-transformers

数据预处理(第一次运行)

数据集:iemocap_4

对数据集进行处理,运行

python preprocess.py --dataset="iemocap_4"

运行后,结果如图

多模态 | 基于GNN的多模态情感识别技术COGMEN项目复现

开始训练

python train.py --dataset="iemocap_4" --modalities="atv" --from_begin --epochs=55

训练效果如图

多模态 | 基于GNN的多模态情感识别技术COGMEN项目复现

训练后,生成model_checkpoints目录,如下文章来源地址https://www.toymoban.com/news/detail-406604.html

到了这里,关于多模态 | 基于GNN的多模态情感识别技术COGMEN项目复现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • 多模态情感识别-MISA: baseline解读

    多模态情感分析是一个活跃的研究领域,它利用多模态信号对用户生成的视频进行情感理解。解决这一任务的主要方法是开发复杂的融合技术。 (1)然而,信号的异质性造成了分布模式的差距,这带来了重大挑战。 https://blog.csdn.net/qq_40943760 (1)进行互注意力的特征表示学

    2024年02月05日
    浏览(25)
  • [方案实操|数据技术]数据要素十大创新模式(1):基于区块链的多模态数据交易服务平台

    “  区块链以其公开共享、去中心化、不可篡改、可追溯和不可抵赖等优势,吸引了包括金融业、医疗业和政府部门等众多利益相关方的极大兴趣,被认为是解决数据安全交换问题的合适方案。 ” 武汉东湖大数据科技股份有限公司凭借 基于区块链的多模态数据交易服务平台

    2024年04月17日
    浏览(30)
  • 目标检测YOLO实战应用案例100讲-面向恶劣环境下的多模态 行人识别

    目录 前言 国内外研究现状  可见光行人目标识别  红外行人目标识别 

    2024年02月07日
    浏览(25)
  • 情感分析的技术:图像与视频情感识别

    情感分析,也被称为情感检测或情感识别,是一种自然语言处理技术,旨在分析人类的情感态度,以便更好地理解人类的心理和行为。情感分析通常用于社交媒体、评论、文本、图像和视频等多种场景中。在这篇文章中,我们将深入探讨图像和视频情感识别的技术,包括其核

    2024年02月22日
    浏览(27)
  • 基于上下文折扣的多模态医学图像分割证据融合

    由于信息源通常是不完美的,因此在多源信息融合任务中有必要考虑其可靠性。 本文方法 提出了一个新的深度框架,使用Dempster-Shafer理论的形式合并多MR图像分割结果,同时考虑不同模态相对于不同类别的可靠性。 该框架由编码器-解码器特征提取模块、证据分割模块和多模

    2024年02月06日
    浏览(35)
  • 陈巍:LLaMA-2的多模态版本架构与训练详解(收录于GPT-4/ChatGPT技术与产业分析)

    陈巍 :2023年9月,Meta的研究人员推出了AnyMAL(任意模态增强语言模型,Any-Modality Augmented Language Model)。该模型能够理解多种模态信号并生成文本回应,即多模态输入,单模态输出。输入的模态可包括图像、视频、音频和IMU(惯性测量单元,Inertial Measurement Unit)传感器数据。

    2024年04月10日
    浏览(49)
  • [论文阅读]MVX-Net——基于3D目标检测的多模态VoxelNet

    MVX-Net: Multimodal VoxelNet for 3D Object Detection 基于3D目标检测的多模态VoxelNet 论文网址:MVX-Net 这篇论文主要提出了两种多模态融合方法,PointFusion和VoxelFusion,用于将RGB图像特征与点云特征结合,从而提高3D目标检测的性能。论文的主要内容和贡献总结如下: 提出了两种简单有效的多模

    2024年02月07日
    浏览(30)
  • 基于LLMs的多模态大模型(Flamingo, BLIP-2,KOSMOS-1,ScienceQA)

    前一篇博客已经整理了不训练视觉模型的文章们: 基于LLMs的多模态大模型(Visual ChatGPT,PICa,MM-REACT,MAGIC) 本篇文章将介绍一些需要训练视觉编码器来适配多模态大模型的工作们,这也是目前最为流行的研究思路。 其实早在2021年DeepMind发表Frozen的时候就已经有了few-shot甚至

    2024年02月06日
    浏览(33)
  • CoFSM基于共现尺度空间的多模态遥感图像匹配方法--论文阅读记录

    目录 论文 Multi-Modal Remote Sensing Image Matching Considering Co-Occurrence Filter 参考论文:SIFT系列论文, SIFT    Distinctive Image Features from Scale-Invariant Keypoints,作者:David G. Lowe 快速样本共识算法FSC:A Novel Point-Matching Algorithm Based on Fast Sample Consensus for Image Registration ,Digital Object Ident

    2024年04月24日
    浏览(40)
  • 基于Pytorch的语音情感识别系统

    大家好,我是阿光。 本专栏整理了《PyTorch深度学习项目实战100例》,内包含了各种不同的深度学习项目,包含项目原理以及源码,每一个项目实例都附带有完整的代码+数据集。 正在更新中~ ✨ 🚨 我的项目环境: 平台:Windows10 语言环境:python3.7 编译器:PyCharm PyTorch版本:

    2024年02月06日
    浏览(34)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包