基于CNN-BiLSTM的脑电与眼动数据深度时空融合鲁棒情感识别

邸银露 陈安宁（学） 张宏禹（学） 于心怡（学）

第一作者：邸银露

通讯作者：邸银露

第一单位：大连东软信息学院

论文链接：https://ieeexplore.ieee.org/document/11635677

成果简介：

近日，大连东软信息学院智能与电子工程学院邸银露等人在国际会议 2026 11th International Symposium on Advances in Electrical, Electronics and Computer Engineering (ISAEECE) 上发表了题为 Deep Spatio-Temporal Fusion of EEG and Eye-Tracking Data for Robust Emotion Recognition: A CNN-BiLSTM Approach 的论文。该研究针对单模态情感识别存在的固有不稳定性和信息匮乏问题，提出了一种整合脑电图（EEG）与眼动数据的时序对齐多模态融合框架。

引言：

情感计算作为连接人类认知与机器智能的核心桥梁，在心理健康监测、疲劳检测及安全驾驶辅助等领域具有关键作用。然而，传统的单模态方法存在明显局限：EEG 频谱特征不稳定且易受伪迹干扰，而独立的眼动数据难以准确区分复杂情感。为了克服多模态数据的异质性挑战并捕捉情感转换过程中的序列相关性，本文构建了一种混合 CNN-BiLSTM 深度时空融合架构。

成果介绍

本文的核心贡献主要体现在三个方面：  

1）进行多模态数据对齐与预处理，采用同步滑动窗口机制结合 Z-score 标准化，有效缓解了高频连续神经生理信号与离散眼动轨迹之间的跨模态异质性。  

2）模型利用一维卷积层（Conv1D）提取局部的空间-频谱交叉通道特征，通过双向长短期记忆网络（BiLSTM）对双向情感演化进行建模，并引入单头自注意力机制（Self-Attention）抑制无关噪声。  

3） 在公开的 SEED-IV 数据集上进行的四分类情感识别验证表明，该框架取得了 97.24% 的平均分类准确率，证明了中枢与外周生理动态深度耦合在情感计算中的强健性与稳定性。  

未来研究将进一步推进该系统向实际部署迈进，致力于消除离线预处理约束，并在真实的智能驾驶座舱环境中验证其实际抗干扰能力，同时通过模型剪枝与量化压缩以适应资源受限的车载边缘平台。