近日，计算机学院浙江省脑机协同智能重点实验室硕士研究生刘栋军和戴玮辰副研究员（共同一作）在人工智能领域的国际顶级学术期刊《IEEE Transactions on Pattern Analysis and Machine Intelligence》（简称TPAMI）上发表了一篇题为“Brain-Machine Coupled Learning Method for Facial Emotion Recognition”的论文，该论文提出了一种基于脑机耦合学习（BMCL）的方法，实现了跨智能体模态之间的信息交互，有效解决了传统机器学习中情感特征表征困难的问题。论文的作者还包括章杭奎（硕士研究生）、金宣妤（博士研究生）、日本埼玉工业大学曹建庭教授，通讯作者是浙江省脑机协同智能重点实验室主任即该文研究生导师孔万增教授。
文章链接：
https://ieeexplore.ieee.org/document/10073607。
BMCL算法主要思路
BMCL
脑机耦合学习（BMCL）利用视觉图像和脑电图（EEG）信号来耦合训练视觉和认知领域的模型。每个领域的模型由公共和私有两类交互通道组成。因为EEG信号可以反映大脑的活动，所以大脑的认知过程由模型按照逆向工程进行解码。通过解码面部表情图像诱发的EEG信号，视觉领域的公共通道可以接近认知领域的认知过程。此外，每个私有通道使用对抗性策略提取每个领域特有的知识。
学习之后，BMCL无需脑电信号参与，通过将视觉域的两个通道进行串联，融合机器的视觉知识和从大脑学到的认知知识来对面部表情图像进行分类。经过实验验证，BMCL在几个公共数据集上都具有出色的性能。从脑电信号中训练出来的BMCL方法在新的数据集上也具有良好的泛化能力，并且可以应用于其他网络模型，展示了其应用潜力。
TPAMI
TPAMI 是IEEE模式分析与机器智能汇刊，也是中国计算机学会（CCF）和中国自动化学会（CAA）等多个学会共同推荐的人工智能领域国际顶尖期刊，其2021年影响因子为24.314。近年来计算机学院研究生陆续在国际顶级期刊和顶级会议上作为第一作者发表学术成果，体现了学院研究生培养质量的不断提升。
该项研究成果得到了国家重点研发计划国际合作重点专项，国家自然科学基金企业创新联合基金重点项目、区域创新联合基金重点项目、浙江省脑机协同智能重点实验室等项目的支持。