近日，我院2023级硕士研究生孟静同学在朱振方教授的指导下，以第一作者身份在人工智能领域国际知名期刊《Knowledge-Based Systems》上发表了题为《A Prompt-Driven Framework for Compensation and Fusion in Multimodal Sentiment Analysis with Missing Modalities》的学术论文。

多模态情感分析通过融合文本、语音和视觉等信息识别人的情感，在社交媒体分析、人机交互和智能客服等领域具有广泛应用。然而，受设备故障、隐私保护、数据采集困难及环境噪声等因素影响，实际应用中常出现部分模态信息缺失的问题，导致模型性能和泛化能力下降。现有提示学习方法大多采用固定提示，难以适应不同样本和模态缺失情况；同时，对不同缺失组合之间结构关系的建模不足，也影响了模型在复杂场景下的稳定性。针对上述问题，研究团队提出提示驱动的多模态情感分析框架DPMSA。通过动态提示加权，根据可用模态的上下文信息自适应调节提示权重，实现对缺失信息的精准补偿；同时利用缺失结构感知融合机制建模不同模态缺失组合，增强多模态信息融合的语义一致性与互补性。实验结果表明，该框架在不同模态组合和缺失比例下均具有良好的稳定性与泛化能力，尤其在高缺失率场景下表现出较强的鲁棒性。本研究为复杂环境下多模态智能系统的稳定运行提供了新的研究思路。

《Knowledge-Based Systems》是由Elsevier出版的人工智能领域国际性、跨学科学术期刊，主要刊载知识工程、机器学习、智能决策支持、预测系统及知识驱动人工智能系统等方面的创新研究成果。该期刊为中科院一区TOP期刊，最新影响因子为7.6。

论文链接：https://doi.org/10.1016/j.knosys.2026.115438

(文图/孟静）