作者: Jin Cui, Xuanyu Jin, Hua Hu, Li Zhu, Kenji Ozawa, Gang Pan, Wanzeng Kong*
指导教师：孔万增教授
论文状态：IEEE Transactions on Cognitive and Developmental Systems 在线发表
链接：https://ieeexplore.ieee.org/document/9659817
【研究背景】
个体脑电（EEG）特征的显著差异是研究人-机情感交互的主要阻碍。目前，已有大量研究使用无监督域自适应方法来实现跨被试认知和情感状态识别，但源域和目标域个体的跨被试迁移映射问题至今仍是一个重大挑战。具体来说，在基于脑电的驾驶心理状态检测任务中，现有的无监督域自适应方法普遍存在两个问题：（1）它们忽略了源域和目标域在共享映射空间下的几何偏移；（2）它们通常采用固定权重分布来对齐边缘概率分布和条件概率分布。对此，本论文提出了双子空间映射和动态分布对齐（DDADSM）模型来检测驾驶员的疲劳状态，并针对该任务的领域可迁移性问题进行了分析与优化。在本实验室实验平台上采集的基于驾驶心理状态检测任务的数据集进行的大量实验结果表明，DDADSM的驾驶员疲劳监测能力超越了所有对比模型。
【主要研究内容】
1.提出一种双子空间映射方法（DSM）用来进行源域和目标域的子空间映射建模。通过提取源域和目标域脑电信号的几何特性和结构信息，将目标域和源域分别映射到两个耦合的源域和目标域子空间，因而改模型既能减少无关信息的投影损失，又能保留源和目标领域的原有特性。具体处理过程如下：（1）在源域映射子空间，通过最小化源域类内方差和最大化类间方差来处理源域迁移特征信息；（2）类似地，在目标域映射子空间，通过目标域的方差最大化来处理目标域统计性迁移特征；（3）最后，将源域与目标域双子空间的映射距离最小化，从而减少二者的映射几何偏移。通过上述过程得到映射后的双子空间。
2.采用动态的数据分布对齐方法（DDA）对源域分布（）和目标域分布（）中的边缘分布和条件分布自适应对齐。采用动态地分布对齐，而不是固定自适应权重，能够有效增强脑电信号跨被试个体化迁移特征分布对齐的普适性。具体来说，在源域和目标域的领域对齐阶段，采用A-distance度量评判领域间的和，得到二者的自适应权重，然后用统一的MMD（maximum mean discrepancy）距离来对齐和。最终，跨被试迁移分类器由源域迁移成分最小化结构风险项、源域和目标域的动态分布对齐项、和正则化项三部分组成。上述流程的示意见图1.1。
图1.1 DDADSM示意图
3.针对本实验场景，DDADSM探究了跨被试迁移成分的组成和源域选择问题，从而实现更高效的跨被试迁移学习。具体来说，通过使用DTE（Domain transferability estimation）度量结合二阶统计量来排序源域可迁移成分贡献度，并探究了不同源被试构成对实验结果的影响。最终，该模型仅通过少量被试即可完成跨被试迁移，从而节约训练样本和训练时间。
【实验简要介绍】
为了模拟真实驾驶中的场景，获取驾驶过程中的EEG数据，本实验室构建了一个仿真平台，如图1.2所示。
图1.2模拟驾驶平台
该实验平台包括驾驶设备，EEG信号采集设备，模拟驾驶任务刺激材料播放设备和摄像头、传感器等采集驾驶员辅助生理信号设备采集设备。实验招募了19位健康被试，其年龄在23-25之间。整个实验分为有刺激和无刺激两个阶段，根据实验各阶段驾驶任务的差异，进一步细分为8个阶段：WUP，PERFO，TAV3，TAV1，TAV5，TAV2，TAV4，以及DOWNS阶段。实验流程和驾驶员心理状态示意如图1.3所示。
图1.3 实验流程示意
其中，根据实验流程设置和驾驶员实验过程中所有被试的每分钟眨眼次数和心跳数据统计，本实验选择TAV3阶段中的脑电数据为“清醒”状态数据，DROWS阶段中的数据为“疲劳”状态数据。脑电信号预处理包括，常规去除伪迹操作和独立成分分析（ICA），并通过共空间模式（CSP）来有效预处理初级脑电特征。
【实验结果与分析】
本文以5名被试作为源域，1名被试作为目标域进行跨被试迁移训练和学习，取得95.43%的最终平均分类准确率，优于现有的所有对比方法。另外，为了分析所提出模型的有效性，针对模型的构建和跨被试迁移探究分别设置了如下实验：
1.双子空间映射和动态分布对齐的消融实验，验证模型的整体有效性。如表1.1所示，实验数据表明DDADSM整体性能优于局部性能，证明了整体框架的有效性，另外单组件DDA和DSM的最终分类效果均优于baseline方法，并且DSM的训练时间仅次于SVM方法却能提升接近10%的精度，这证明了所提出双子空间映射策略的有效性。
2.源域构成对跨被试迁移效果对比实验，验证跨被试迁移可用少量被试实现。首先，本文通过DTE度量等手段评估出不同源被试的贡献度，如图1.4示例所示，记录了目标域与源被试的可迁移性估值，后续通过排序得到当前统计最优源域的组成。表1.2统计了源域可迁移性估值排序后的源域构成数量对跨被试迁移效果的影响，分别对比了样本数量，计算时间和最终分类准确率项。实验结果表明，在本实验任务下仅使用5个被试作为源域就能取得理想的实验效果而不需要使用更多的被试，并且能有效节约计算成本。
图1.4 不同源被试的可迁移性估计（以被试1为例）
3.可视化效果分析。本文使用了T-SNE工具进行数据分布的可视化。图1.5展示了EEG信号处理过程中的可视化效果，其中红色为源域数据分布，蓝色为目标域的数据分布的可视化呈现。可以观察到，如图1.5（a），原始信号分布杂乱无序。而经CSP处理之后能达到去除噪音的效果，数据分布更集中，如图1.5（b）所示，而此时数据分布的类可分离性尚不明显。而经过1.5（c）处理，源域和目标域分布能够更好地对齐，从而可以实现高质量的特征迁移。
图1.5 T-SNE可视化效果
4.算法收敛性和参数敏感性分析。图1.6展示了数据集中序号前6位被试作为目标域的实验结果。图1.6（a）中的结果表明，对于绝大多数被试来说，能在第5次迭代内完成实验，可见DDADSM能够实现较快收敛。另外，本文探究了参数 的敏感性。如图1.6（b）-（c）所示，本文所提出模型具有较好的鲁棒性。
【作者简介】
基本情况：
崔瑾，女，2019级计算机科学与技术专业
教育经历:
2015-2019，河北大学，计算机科学与技术专业
2019-2022，杭州电子科技大学，计算机科学与技术专业
2020-2021，日本山梨大学，计算机理工学（与杭电合作项目，双硕士学位）
主要成果：
学术论文：
Dynamic Distribution Alignment with Dual-Subspace Mapping for Cross-Subject Driver Mental State Detection. IEEE Transactions on Cognitive and Developmental Systems, DOI:10.1109/TCDS.2021.3137530，2021.12.（SCI，第一作者，影响因子: 3.379 (2021)）
A Review of Transfer Learning for EEG-Based Driving Fatigue Detection. Human Brain and Artificial Intelligence, vol.1369CCIS, P149-162, DOI: 10.1007/978-981-16-1288-6_11, 2020.1. （CCF A类 workshop，第一作者）
专利：
基于DDADSM跨被试迁移学习脑电精神状态检测方法, 编号: CN112488081A. 2020.12，（学生第一作者）
荣誉和奖励：
2022届浙江省优秀毕业生，浙江省，2022
2022届杭州电子科技大学优秀毕业生，杭州电子科技大学，2022
Master’s Thesis Best Presentation Award，日本山梨大学，2021
海外留学支援制度(JASSO)留学生奖学金，日本，10 ~ 2021.09
研究生学业奖学金二等奖，杭州电子科技大学，2020