本文是一篇医学论文，本文从脑电信号的拓扑关系出发，围绕如何更有效建模脑电电极之间的依赖关系，以及如何适配大脑不同层次的情感差异，开展基于GCN的脑电情感识别方法研究，并搭建了脑电情感识别原型系统。
第一章 绪论
1.1 研究背景及意义
情感一般指对于涉及认知评估、主观体验、目标导向行为和表达性运动行为的适当唤醒刺激的反应[1]。在人类社会生活中，情感在认知、沟通和决策等方面发挥着重要作用。在人际交往中，正确理解他人的情感并作出合适的回应，有利于促进人际关系发展；在处理事务时，积极的情感有利于做出科学的决策和完成任务；在个人健康层面，愉悦的情感往往可以减轻病痛，甚至延长寿命。
1997年，Picard R.教授首次提出了“情感计算”的概念[2]，旨在通过与情感相关的计算，让机器拥有识别和表达情感的能力。理论上，对机器进行情感赋能大致分为两步：（1）情感识别，指机器对外部的情感状态进行抓取和感知，并进行识别。例如，脑电情感识别、表情识别等；（2）情感表达，即机器通过综合感知到的情感信息及情景语境等因素，进行拟人化的处理，生成适当的情感反馈。例如，带情感的语音合成、脑电合成等。作为情感计算的关键环节，情感识别在诸多领域都有着巨大的应用前景。例如，在医疗领域可对抑郁症、孤独症患者的情感状态的准确识别，辅助医生进行病情分析和诊断。在远程教育方面，可通过检测学生上课时情感和注意力的变化，让教师及时跟进学生的学习状态，并对教学方法做出针对性调整，从而提升教学质量。在交通领域，可通过车载设备对驾驶员的情感状态进行分析，可以有效减少由于驾驶员疲劳、伤心、愤怒等情绪所导致的交通事故的发生。
1.2 脑电情感识别研究内容
通常情况下，脑电情感识别过程包括以下五个步骤：（1）脑电情感信号的获取；（2）脑电情感信号的预处理；（3）脑电情感特征的提取；（4）脑电情感特征的选择及情感分类。下面分别针对上述步骤进行介绍。
1.2.1 脑电情感信号的获取
脑电数据获取是脑电情感识别研究的基础。在采集脑电数据时，被试的情感诱发方式一般包括情境诱发、情感刺激材料诱发等方式。其中，情感刺激材料诱发方式较为常见，该方式通过带有情感色彩的图片、视频等刺激材料诱发被试产生较为稳定、可靠的情感。情感刺激材料的时长从几十秒到几百秒不等，在播放完一个刺激材料后一般会给被试提供一段休息时间。被试可以在休息期间或全部实验完毕后对刺激材料的情感类别打分，避免数据集中的情感刺激材料标签和被试的真实情感状态相去甚远。
对于诱发出的被试的情感类型，目前有两种评估模型：离散情感模型[11] [12] [17]和连续情感模型[13]。离散情感模型由Ekman教授于1971年提出[12]，该模型定义了伤心、生气、厌恶、害怕、高兴和惊奇六种离散情感。连续情感模型由Russell教授于1974年提出[13]，该模型通过唤醒度（arousal，表征被试在情感上的兴奋程度）、效价（valence，表征被试的愉悦程度）、优势度（dominance，表征被试由刺激材料所诱发出的控制支配情绪的强度）、喜好度（liking，表征被试由刺激材料所诱发出的喜好情绪的强度）、熟悉度（familiarity，表征被试对刺激材料的熟悉程度）表征情感状态。
第二章 基于自注意力时空图卷积神经网络的脑电情感识别
2.1 引言
情感识别在医疗、远程教育、交通、舆情分析等领域有着广泛的应用前景，已成为当下的研究热点。而脑电信号的真实、不可伪装、能够直观地反映大脑的情感活动状态等特性，吸引了大量学者关注脑电的情感识别研究。基于GCN的脑电建模方法综合考虑脑电的特征和脑电电极的拓扑结构，通过特征的传播和聚合来学习更好的图表示，能够提取到更具判别性的情感信息，已在脑电情感识别中得到初步应用。在基于图的脑电情感识别中，图的邻接矩阵构建至关重要。然而，目前有关情感神经活动的机理认识尚不完全明晰，很难利用现有的先验知识来构建脑电电极之间的邻接关系。在文献[68]中，Zhong等人根据电极的物理距离，通过指数衰减的方式模拟脑电通道之间的连接关系。虽然这种方法取得了可喜的效果，但尚不清楚头皮表面的距离是否能反映大脑深层区域与情感有关的连接关系。Song等人通过对脑电信号进行左右矩阵投影，构造了多个与样本自适应的图[73]。但这种投影方式缺乏生理意义，可能无法聚焦于与情感的表达最密切的大脑区域。此外，脑电情感信息不仅存在于一个时间切片内的空间区域中，还存在于时间切片之间的上下文中，而上述研究只关注到单个时间切片上电极之间的连接关系，忽略了不同时间切片之间的脑电信号的依赖关系。
Vaswani等人于2017年提出了自注意力[78]神经网络方法，该方法最初被应用在了自然语言处理任务中[79][80]。受自注意力启发，本文通过对图上的顶点求取相似度，来构建顶点的邻接关系，以建模脑电信号的时空依赖关系。具体地，本文提出了自注意力时空图卷积神经网络（AST-GCN）模型来进行脑电情感识别。AST-GCN模型的两个模块：自注意力时间图卷积（Self-Attention Temporal Graph Convolution，ATGC）模块和自注意力空间图卷积（Self-Attention Spatial Graph Convolution，ASGC）模块，分别从时间和空间两个维度提取脑电情感特征。ATGC模块利用自注意力构建脑电信号在时序上的依赖关系，之后使用时间图卷积提取脑电信号在时序上的情感信息。ASGC模块利用自注意力构建单个时间切片内的脑电电极之间的连接关系，之后使用空间图卷积提取脑电信号在空间上的情感信息。
2.3 基于自注意力时空图卷积神经网络的脑电情感识别
2.3.1 自注意力时空图卷积神经网络概述
AST-GCN模型如图2-1所示。AST-GCN模型从时间和空间两个维度挖掘脑电情感信息。。整个AST-GCN模型主要包括两个模块，即自注意力时间图卷积（Self-Attention Temporal Graph Convolution，ATGC）模块和自注意力空间图卷积（Self-Attention Spatial Graph Convolution，ASGC）模块。ATGC模块首先利用自注意力构建时间图邻接矩阵，以建模脑电信号在时序上的依赖关系，并使用时间图卷积提取脑电情感特征。类似地，ASGC模块利用自注意力构建空间图邻接矩阵，以建模单个时间切片内电极之间的依赖关系，之后使用空间图卷积提取脑电情感特征。最后将ASGC模块的输出送入到全连接层中，得到情感标签的预测。
第三章 基于空间多尺度图卷积神经网络的脑电情感识别 ......................... 33
3.1 引言 ...................... 33
3.2 基于空间多尺度图卷积神经网络的脑电情感识别 ........... 34
第四章 脑电情感识别原型系统 .................................... 47
4.1 引言 ........................................... 47
4.2 脑电情感识别系统开发方案 ........................... 47
4.3 脑电情感识别系统开发运行平台 .................................. 47
第五章 总结与展望 ................................. 51
5.1 本文工作总结 ................................ 51
5.2 未来研究展望 .................................. 52
第四章 脑电情感识别原型系统
4.2 脑电情感识别系统开发方案
本系统分为前端和后端两个部分，其中前端界面负责显示提取的脑电情感特征，并显示情感识别结果，后端负责加载脑电信号，对脑电信号进行频带划分，以及在不同频带上使用第二章提出的自注意力时空图卷积神经网络（AST-GCN）模型提取脑电情感特征。本系统的前端界面使用js和html进行构建，后端使用oracle进行数据管理。整个情感识别系统的流程如图4-1所示。具体地，系统包括以下几个关键部分：
（1）原始脑电信号的加载； （2）将脑电信号划分为不同的频段，并提取手工特征； （3）使用AST-GCN模型进行时空图建模； （4）脑电情感类别的预测。
第五章 总结与展望
5.1 本文工作总结
本文从脑电信号的拓扑关系出发，围绕如何更有效建模脑电电极之间的依赖关系，以及如何适配大脑不同层次的情感差异，开展基于GCN的脑电情感识别方法研究，并搭建了脑电情感识别原型系统。本文的主要研究工作如下：
（1）研究了基于自注意力来生成图邻接关系并用于脑电情感识别的方法。基本思路是：受自注意力启发，通过对输入脑电特征求相关，构建与脑电电极关联关系相适应的图邻接矩阵。另外，以往基于GCN的脑电建模方法一般只关注脑电信号的空间特性，而较少地考虑其时序特性，而这种时序特性可能有助于情感识别。本文提出的AST-GCN模型从时间和空间两个维度对脑电信号进行建模。其中，自注意力时间图卷积模块可以关注到不同时间切片之间脑电信号的依赖关系，并提取脑电信号在时序上的情感信息。而自注意力空间图卷积模块则可以关注到同一时间切片内不同电极之间的连接关系，并提取脑电信号在空间上的情感信息。AST-GCN模型在两个公开脑电数据集上取得了最先进的性能。另外，通过与其他图生成方法进行比较，证明了自注意力图生成方法的有效性。
（2）研究了基于多尺度图表示进行脑电建模的方法。在脑情感活动中，不同层次的大
