COGMEN: COntextualized GNN based Multimodal Emotion recognitioN
COGMEN: 基于GNN的多模态情感识别技术
Paper: https://arxiv.org/abs/2205.02455
源代码GitHub - Exploration-Lab/COGMEN
论文翻译及总结可参考我另外一篇博文:多模态 |COGMEN: COntextualized GNN based Multimodal Emotion recognitioN论文详解_夏天|여름이다的博客-CSDN博客
环境设置
- Pytorch
- python3.7版本及以上
如果安装GPU版本,cuda版本需要11.7及以上
- pytorch_geometric
Installation — pytorch_geometric documentation (pytorch-geometric.readthedocs.io)
conmet.ml
- SBERT
Install SBERT
对于已经有pytorch的情况,我只安装了以下命令
pip install comet_ml --upgrade #使用默认的 Python,comet_ml升级到最新版本
pip install torch_geometric
pip install -U sentence-transformers
数据预处理(第一次运行)
数据集:iemocap_4
对数据集进行处理,运行
python preprocess.py --dataset="iemocap_4"
运行后,结果如图
开始训练
python train.py --dataset="iemocap_4" --modalities="atv" --from_begin --epochs=55
训练效果如图
文章来源:https://www.toymoban.com/news/detail-406604.html
训练后,生成model_checkpoints目录,如下文章来源地址https://www.toymoban.com/news/detail-406604.html
到了这里,关于多模态 | 基于GNN的多模态情感识别技术COGMEN项目复现的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!