多模态论文阅读之VLMo-Toy模板网

这篇具有很好参考价值的文章主要介绍了多模态论文阅读之VLMo。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

Title

VLMo:Unified Vision_Langugae Pre-Training with Mixture-of-Modality-Experts

CLIP和ALIGN都采用dual-encoder的方式分别编码图像和文本，模态之间的交互采用cosine similarity ，这种方法对retrieval tasks(检索任务)及其有效；但是如此shallow intersection between images and text is not enough to handle complex VL classfication tasks. In ViLT, find that CLIP gives a relatively low accuracy on visual resaoning(VR) task; 后来一系列的tasks，采用的fusion encoder 的方式，即一开始分来images and text 然后采用transformer的encoder 做cross-modal 的intersection，这样的architecture 弥补了dual encoder architecture的drawback，But it requires to jointly encode all possible image-text pairs to compute similarity scores for retrieval tasks. The quadratic time complexity leads to a much slower inference speed than the dual-encoder models models whos time complexity is linear. So, 有没**有一种融合上述两种架构的方法呢？**做检索任务的时候用 dual-encoder架构，做classfication的时候用fusion encoder，所以本文提出了Mixture-of-Modality-Experts
VLMo的训练loss是image-text contrastive(ITC), image-text matching(ITM), masked Language modeling(MLM)和ALBEF是一样的。提出了一个stagewise的预训练方法分别vision 和NLP中的large-scale corpus：首先在vision上训练好，再预训练language experts on text-only data，最后将模型用于vision-language pre-training。