欢迎来到优发表,发表咨询:400-888-9411 订阅咨询:400-888-1571股权代码(211862)

SCI投稿辅导 SCI发表咨询

基于情感信息辅助的多模态情绪识别

作者:吴良庆; 刘启元; 张栋; 王建成; 李寿山; 周国栋 苏州大学计算机科学与技术学院; 苏州215006

摘要:不同于纯文本的情绪分析,本文面向多模态数据(文本和语音)进行情绪识别研究。为了同时考虑多模态数据特征,提出一种新颖的联合学习框架,将多模态情绪分类作为主任务,多模态情感分类作为辅助任务,通过情感信息来辅助提升情绪识别任务的性能。首先,通过私有网络层对主任务中的文本和语音模态信息分别进行编码,以学习单个模态内部的情绪独立特征表示。接着,通过辅助任务中的共享网络层来获取主任务的辅助情绪表示以及辅助任务的单模态完整情感表示。在得到主任务的文本和语音辅助情绪表示之后,分别与主任务中的单模态独立特征表示相结合,得到主任务中单模态情绪信息的完整表示。最后,通过自注意力机制捕捉每个任务上的多模态交互特征,得到最终的多模态情绪表示和情感表示。实验结果表明,本文方法在多模态情感分析数据集上可以通过情感辅助信息大幅度地提升情绪分类任务的性能,同时情感分类任务的性能也得到一定程度的提升。

注:因版权方要求,不能公开全文,如需全文,请咨询杂志社

北京大学学报·自然科学版

北大期刊 下单

国际刊号:0479-8023

国内刊号:11-2442/N

杂志详情
相关热门期刊

服务介绍LITERATURE

正规发表流程 加急见刊

多年专注期刊服务,熟悉发表政策,投稿全程指导。因为专注所以专业。

保障正刊 双刊号

推荐期刊保障正刊,评职认可,企业资质合规可查。

用户信息严格保密

诚信服务,签订协议,严格保密用户信息,提供正规票据。

不成功可退款

如果发表不成功可退款或转刊。资金受第三方支付宝监管,安全放心。