文章摘要:随着多模态数据的急剧增长，带来了跨模态检索的应用需求，促进了对跨模态检索方法的研究。本文追溯了该领域最新进展，跟踪并深入研究国内外基于表示学习的跨模态检索方法，对跨模态检索问题进行定义并梳理了该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。本文主要分别从统计相关分析、图正则化和度量学习三方面介绍了基于表示学习跨模态检索方法，并分析其优缺点。为了分析上述方法的优劣性，实验分别在四个数据集上复现14种方法进行对比评价。实验结果表明，基于统计相关分析方法训练效率较高且易于实施；基于图正则化方法通过挖掘模态内和模态间的相似性，实现语义关联；基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。综上所述，本文介绍了基于表示学习的跨模态检索方法的研究现状，为跨模态检索方法研究提供参考。

文章关键词:

项目基金:《信息记录材料》 网址: http://www.xxjlcl.cn/qikandaodu/2022/0127/2489.html