简介
标题：Multimodal Deep Learning
网址：https://arxiv.org/abs/2301.04856
收录于：arxiv 2023
与其说这是一篇论文，倒不如说这是一本“书”。全文共 239 页，这其中还不包括封面、目录、参考文献等等的篇幅。
本书是一个研讨会的成果，在这个研讨会中，我们回顾了多模态方法，并试图创建一个坚实的领域概述，从深度学习的两个子领域的 SOTA 方法开始。 此外，还讨论了将一种模态转换为另一种模态的建模框架，以及利用一种模态增强另一种模态的表示学习的模型。 为了总结第二部分，介绍了同时处理这两种模态的体系结构。 最后，我们还讨论了其他模态以及通用的多模态模型，它们能够在一个统一的体系结构中处理不同模式下的不同任务。 最后以一个有趣的应用（Generative Art）结束了这本小册子。文章来源：https://www.toymoban.com/news/detail-425374.html
本文对 多模态、CV 和 NLP 领域中一些任务的 数据集、模型、评价指标等等 都做了较详细的介绍和总结。主要还是以多模态方面的内容为主，但对于 CV 和 NLP 方面的阐述也不少。总的来说，是个非常不错的综述，内容较全面且详细。文章来源地址https://www.toymoban.com/news/detail-425374.html
文章结构
1 Introduction
1.1 Introduction to Multimodal Deep Learning
1.2 Outline of the Booklet
2 Introducing the modalities
2.1 State-of-the-art in NLP
2.2 State-of-the-art in Computer Vision
2.3 Resources and Benchmarks for NLP, CV and multimodal tasks
3 Multimodal architectures
3.1 Image2Text
3.2 Text2Image
3.3 Images supporting Language Models
3.4 Text supporting Vision Models
3.5 Models for both modalities
4 Further Topics
4.1 Including Further Modalities
4.2 Structured + Unstructured Data
4.3 Multipurpose Models
4.4 Generative Art
5 Conclusion
6 Epilogue
6.1 New influential architectures
6.2 Creating videos
7 Acknowledgements
到了这里，关于推荐一个最近刚出的比较全面的多模态综述：Multimodal Deep Learning的文章就介绍完了。如果您还想了解更多内容，请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章，希望大家以后多多支持TOY模板网！
