本文是一篇计算机软件论文，本文在Transformer网络框架的基础上提出了两种课堂行为检测方法，分别对教室中学生行为和课堂思政关键词进行了检测，并通过一系列实验证明了本文的改进方法确实可以有效提高复杂情况的教室场景下学生行为检测精度低、漏检率和误检率高的问题，对思政关键词的检测精度也有明显的提高，模型的检测效果均有提升。
1 绪论
1.1 课题背景及研究意义
随着数字化时代的兴起，数字化为教育带来了前所未有的机遇和挑战，教育领域越来越意识到讲技术融入教学中的重要性。智慧教室是借助互联网和人工智能[1]技术构建的新型教学模式，通过计算机、硬件以及人工智能技术来改善教学过程，实现智能化、便捷化的教室空间。智慧教室[2,3]作为技术融合教育的一部分，旨在提高现代化教学的效果，激发学生在课堂上的学习兴趣。
近年来，计算机的快速计算能力和存储容量的不断增加为深度学习[4]的算法和模型提供了坚实的基础，使得深度学习能够快速准确地进行数据分析和处理，也逐渐成为了人们关注的焦点，并广泛应用于各个领域，对人们的生活产生了深远影响。而智慧教室与深度学习的结合标志着教育领域的一次深刻变革，深度学习技术的不断发展为教育带来了全新的可能性，使得教学过程更加智能、高效。深度学习技术包含计算机视觉领域和自然语言处理[5]领域等多个子领域。
计算机视觉是一门研究如何使计算机“看”的技术领域，旨在让计算机像人类一样理解和解释图像和视频[6]。计算机视觉对摄像机或传感器等媒介获取到的视觉信息进行分析和理解，在人脸识别[7]、目标检测[8]、图像分类[9]、医学影像分析[10]等领域有广泛的应用。计算机视觉取得了巨大的进步，不断拓展应用范围，成为人工智能领域中备受关注的重要分支之一。
1.2 国内外研究现状
近年来，国家提出了推进教育信息化基础设施建设、强调加快教育信息化进程、推动教育现代化，我国政府对智慧教室建设高度重视，为智慧教室的发展提供了有力的政策支持。机器学习的不断创新和发展为智慧教室的搭建打下了强有力的技术支持。智慧教室涉及多个子功能，而目标检测和自然语言处理在智慧教室的这些子功能中起到发挥了关键的作用。针对教室学生行为检测，目标检测技术可以帮助本文处理教室中所采集的图像信息，对学生位置进行检测，以及学生抬头和低头行为进行分类；针对教师授课思政内容检测，自然语言处理技术可以帮助本文处理教师课堂音频数据，检测是否教师授课内容有无思政知识的融合，二者均可以减少教学过程中的人力消耗，从而提高智慧教室的智能化程度。
1.2.1 学生行为检测方法
学生的课堂行为[16]是教学分析的重要研究内容之一，以直观、动态的方法来观察这些行为是非常重要的。学生的课堂行为的多样的，例如：抬头、记笔记、玩手机、喝水、站立、低头、举手、睡觉、坐着等等。学生的课堂行为与教学之间存在密切的关系，学生在课堂中的行为举止和参与程度直接影响着教学的质量和效果。学生长时间抬头，并记笔记，这表明学生在积极地参与学习。学生有举手、站立等行为，说明学生通过这些动作表达自己的疑问，并在课堂上进行互动，与老师同学进行交流、分享自己的看法。通过观察学生的这些行为，能更好地了解他们的学习状态和需求，从而采取相应的教学策略，帮助学生更好地参与学习过程。
2相关理论与技术
2.1 相关方法
学生行为检测技术与目标检测技术具有相似的检测流程，学生行为检测算法通常都是在目标检测技术上进行改进的。学生行为检测的目的主要是检测出教室中各个学生的位置以及学生的行为类别。如图2-1所示，学生行为检测流程一般可以划分为三个部分：主干网络对输入图像进行特征提取，并将提取到的特征输入到颈部网络中进行特征融合，最后将融合后的特征输入到检测头中得到对应的检测结果和分类结果。在开始检测之前，需要在自制的数据集上进行标注，通过人工手段将多张图像中不同位置的学生进行标注，同时标注学生的具体行为：抬头或低头。在完成数据集的标注和扩充之后，将这些图像以及标签输入到神经网络中进行特征提取，之后将提取到的特征输入到颈部网络中进行特征融合，最后将融合后的特征输入到检测头，检测头负责给出各个目标物体的具体位置以及每个目标的具体类别。
本文使用关键词检测的方法来处理思政关键词检测任务。神经网络主要分为处理语音信号和神经网络检测两部分。首先，需要采集包含目标关键词的语音数据集，确保数据集中有多种说话人、口音和各种环境条件下的语音样本，再对数据进行数据增强，之后将处理后的数据输入到神经网络中进行学习。完整的关键词检测流程如图2-2所示，首先，将收集好的语音信号经过一系列预处理，然后输入到神经网络中进行学习，最后训练好的模型可以得到最终的检测结果。
2.2 常见算法及其原理
根据目前常见的学生行为检测算法的设计方案，可以将其分为两类，分别是以基于卷积的YOLO[45-48]、CNN[49-51]系列方法和基于Transformer模型[52,53]的自注意力检测方法。其中基于卷积的方法又可以分为一阶段和两阶段方法。两阶段的核心思想是使用两个独立的网络模型：生成候选框的网络和进行分类和定位的网络，前者先提出预选框，回归出目标框的大概位置、大小以及目标的概率，后者再利用这些信息进行目标的定位和类别。而一阶段方法只包含一个单独的网络模型，能够同时进行物体位置和类别的分类，直接在输入图像上密集地生成候选目标框，并利用分类器对候选框进行分类和定位。所以相比于一阶段方法，二阶段方法具有较高的检测精度。一阶段方法直接生成检测框，所以，一阶段方法检测速度较快，在实时性方面具有较好的表现。近年来基于Transformer模型方法在计算机视觉领域取得了一席之地，研究人员开始使用Transformer结构来替代或与CNN结合以实现更好的目标检测性能。Swin Transformer[43]是一种用于图像分类的Transformer架构，它采用分层的局部注意力机制，允许网络更好地处理大尺寸图像。同时，Transformer也被广泛应用于关键词检测技术，利用Transformer的多头注意力机制和前馈神经网络来处理长距离的依赖关系，通过获得输入的语音序列，并引入位置编码进行监督学习。基于Transformer的神经网络不仅有强大的学习能力和并行计算优势，在各个领域都取得了较好的效果，逐渐成为研究的热点之一。
本文提出的学生行为检测网络是基于Swin Transformer的方法，思政关键词检测研究是基于Transformer的方法。因此，下面将介绍Transformer和Swin Transformer算法及其相对应的原理。
3 基于特征感知注意力 Transformer 的学生行为检测算法 .............. 19
3.1 引言 ................................ 19
3.2 理论基础 ................................ 19
3.3 算法设计 ......................... 20
4 基于语音增强 Transformer 的思政关键词检测算法 ...................... 37
4.1 引言 .................................... 37
4.2 理论基础 .................................. 37
4.3 算法设计 ................................. 37
5 面向智慧教室课堂活动检测系统设计与实现 .................................. 51
5.1 引言 ................................ 51
5.2 系统概述 .............................. 51
5.3 开发环境设置 ................... 52
5 面向智慧教室课堂活动检测系统设计与实现
5.2 系统概述
如今，课堂行为检测在教学过程中发挥着非常关键的作用，良好的检测结果可以帮助学校和老师更好地了解学生的学习情况和调整教学进度。但是，理论阶段的算法通常脱离实际，并不能很好地将提出的方法用于实际情况，所以，为了把本文提出的方法更好地用于实际情况，需要设计一个用户友好形系统，更方便用户去使用训练好的模型，从而将理论与实际结合起来。
本系统的设计可以同时应用到本文提出的两个方法，所用的实验数据集为SAD数据集和思政关键词检测数据集，模型的大小为433MB。系统架构图如图5-1所示，本系统将系统前端与系统后端进行分离，采用Qt框架来搭建前端界面，后台的算法模型使用Pytorch来进行调用，上传文件显示和结果显示使用OpenCV库来可视化。界面显示层主要负责展示用户的输入与模型检测的输出，包括显示导入的源文件、检测结果和数据等功能。业务层主要对用户导入的视频数据进行处理，其中包括对视频中学生的抬头和低头行为进行检测，对视频中教师课堂思政关键词进行检测，最后将检测结果返回给界面显示曾进行显示。业务层所调用的模型是本文训练好的，整个系统功能的实现均是在业务层之上完成的，是整个系统中最为重要的模块。
6 总结与展望
6.1 当前工作总结
随着深度学习在各个领域的成功应用，智慧教室课堂活动检测已成为计算机视觉领域中一个热门研究方向。在智慧教室中，对课堂行为的研究对提高教学效果和学生参与至关重要。研究者们利用计算机视觉、语音识别等技术能够检测和分类学生行为、以及识别教师授课期间是否满足课改要求，对学生进行书本知识以外的思想教育。尽管现有方法在精度和速度上都有很大的提升，但是，由于教室场景中学生分布不均匀，遮挡以及教室收
