【多模态缺失】IF-MMIN：EXPLOITING MODALITY-INVARIANT FEATURE FOR ROBUST MULTIMODAL EMOTION RECOGNITION

最新推荐文章于 2025-03-14 19:05:41 发布

原创

最新推荐文章于 2025-03-14 19:05:41 发布 · 2.2k 阅读

文章探讨了在多模态情绪识别中，如何通过不变特征和缺失模态想象网络IF-MMIN来提高鲁棒性。

EXPLOITING MODALITY-INVARIANT FEATURE FOR ROBUST MULTIMODAL EMOTION RECOGNITION WITH MISSING MODALITIES

CCF-B：ICASSP 2023

摘要

IF-MMIN：使用不变特征来弥补缺失的模态想象网络，包含两个新机制：①全模态场景下基于中心矩差异（CMD）距离的不变特征学习策略；②基于不变特征的想象模块（IF-IM）可以缓解缺失模态预测期间的模态间隙，从而提高多模态联合表示的鲁棒性。

关键词：多模态情绪识别、缺失模态想象、CMD、不变特征

引言

主要的两种模态缺失解决方法：①缺失数据生成②多模态联合表示学习。在[3]中，提出了一种编码器-解码器网络根据可用模态的高质量来生成缺失模态图像，在[7]中，研究了一种具有循环一致性损失的基于翻译的方法来学习模态之间的联合表示。在[1]中，研究了缺失模态想象网络（Missing Modality Imagination Network，简称MMIN），结合了上述两种方法，通过预测缺失模态来学习联合表示。

模态之间存在相同的信息，将模态不变特征引入到具有全模态数据的多模态情感识别中，表现出了显着的性能。[8]提出共享子空间来学习模态之间潜在的共性，以减少模态差距的影响。 [11]提出了离散共享空间来捕获细粒度的表示，以提高跨模式检索的准确性。所有研究都表明模态不变特征有效地弥合了模态差距。我们注意到，在缺失模态条件下，还没有相关的情感识别工作。

本篇提出具有不变特征的缺失模态想象网络（IF-MMIN）。首先通过使用基于中心矩差异（CMD）距离[12]的约束训练策略来学习各种模态之间的模态不变特征。然后设计 IF-MMIN 神经架构来根据可用模态预测缺失模态的不变特征。通过这种方式，充分探索可用的模态来缓解跨模态想象中的模态间隙问题，从而提高多模态联合表示的鲁棒性。在基准数据集 IEMOCAP 上的实验结果表明，所提出的方法在所有缺失模态条件下均优于最先进的基线模型。

主要贡献：

提出基于CMD距离限制的训练策略来学习全模态中的模态不变特征。
将不变特征加入跨模态想象过程来减少模态间隙的影响并增强多模态联合表示的鲁棒性
实验表示IF-MMIN性能更好

IF-MMIN理论

IF-MMIN 方案首先在全模态信号下采用基于中心矩差异（CMD）距离的不变特征学习策略来学习模态特定和模态不变特征。在 IF-MMIN 训练期间，IF-IM 读取这两个特征，通过缺失的模态想象来学习鲁棒的联合表示。

1 基于CMD距离的不变特征学习

在这里插入图片描述

不变特征学习流水线包含三个模块：①特定encoder②不变encoder③分类器。特定encoder旨在从原特征 $x^a,x^v,x^t)$ 中抽取高层次特征 $h^a,h^v,h^t)$ ；不变encoder采用特定模态特征为输入来抽取模态不变量 $H=(H^a,H^v,H^t)$ ；最后分类器基于H和h的拼接来预测情绪类别。经过预训练得到预训练的特定encoder和不边encoder。