本文是一篇计算机专业论文，笔者认为首先本文主要是通过对学生行为的识别来判断课堂状态，虽然模型识别效果还可以，但是参考因素有点片面，以后可以结合人脸表情的识别判断共同完成课堂状态分析。其次本系统还有可扩展的空间，目前只是分析了某课程上课期间整体的情况，未来可以加上针对每个学生的状态分析功能，并且可以根据统计结果生成学生课堂状态分析报告。
第 1 章绪论
1.1 研究背景与意义
在科技的迅速发展的时代，高校教育也在不断的进步，主要体现在校园生活和课堂教学两个方面[1]。主要包括“智能图书馆”、“智慧校园一卡通”、“门禁管理”、“智慧宿舍”、“食堂消费”等方面。最常用的是移动智能卡，以前吃饭需要饭卡、借书需要借书卡、洗澡需要洗浴卡、进出宿舍需要门禁卡，而移动智能卡则将这些功能集成到一起，做到了校园一卡通。同时课堂教学方面的改革也在不断进行，出现了很多创新教育理论，如翻转课堂、授教理论、构建主义理论、主题教育理论等[2]，这些理论为教学改革注入了很大的动力。
但是传统的课堂教学中仍然存在很多问题。目前课堂考勤主要是点名的方式，这种方式在小班课中还可以，但是在有上百人的大课中就不太适用，如果想点完所有人名需要三十分钟左右。不仅费时费力，还会有人带答的现象。另一种点名方式是通过手机 APP 签到。这种方式虽然节省时间，但是在人比较多的情况下会出现网络卡顿，导致学生不能按时签到；另外也会有找人直接拿着手机代签的情况出现。学生作为课堂教学的主体，其课堂行为可以反映对知识的接受程度，也会将直接影响教师授课质量。传统的课堂教学中，老师只能通过自己观察来了解某个班级上课状态，这样无疑给老师增加了工作量，而且得到的结果也会比较片面，因此急需能提升课堂状态分析的效率的方法。
随着人工智能的发展，将其用于改善校园生活、提高教学质量，已经成为了未来教育界研究的重要方向。研究人工智能发展历程，可以发现其最早出现于1943 年，在 1956-1974 年达到了黄金时代，随后经历了两次低谷和一次繁荣。到现在经历了一个长足的发展后成为了一门交叉学科，渗透到了各行各业乃至日常生活，尤其是最近几年在教育领域发展尤为迅速。在熊媛和盛群力关于人工智能与教育融合的文章中指出，从 2017 年出现了人工智能在教育中应用的研究开始，到 2018 年起相关研究呈现爆发式增长，人工智能在教育中应用的研究正处于一个历史拐点[3]。在加快建设人才培养模式中运用了创新技术、改革了教学所用的方式、构造含有创新学习、交互形式的学习的全新教育体系，实现智能化教学是未来的发展趋势[4]。本文用到的目标检测和人脸识别算法属于人工智能应用中的一部分。
..............................
1.2 国内外现状
1.2.1 课堂状态识别
国内外现状关于学生课堂状态研究国外要开始的比我国早。通过在知网搜索“state ofstudents”等相关关键字时，大概可以找到 700 个左右的参考文献。其中最早的一篇关于学生课堂状态的文章发表于 1962 年。通过在知网搜索统计，发现国外关于学生课堂状态研究集中在 1998 年到 2017 年，其中在 2006 年到 2013 年这个期间关于学生专注度的研究达到了高潮。
我国在学生课堂状态方面研究要落后于国外。根据在知网统计分析发现，我国关于学生课堂状态研究的文章，大约只占国外的四分之一；时间也相对较晚，基本集中在 2012 年到 2019 年之间。而且这些文献中有很大一部分是研究关于如何培养学生好的课堂状态的方法，而不是对“课堂状态”进行研究。随着深度学习的发展，近几年逐渐出现了使用深度学习进行对学生课堂行为、状态、疲劳程度等方面的相关研究。如段巨力等人通过对人眼张合度变化、侧面脸算法、低头抬头算法等实现了对上课的学生专注程度的判别[5]。左国才等人通过基于深度学习的人脸识别模型，使用对于眼睛和鼻子的检测方法来判断学生课上时的专注程度[6]。尚伟艺则通过 Openpose 骨骼检测的方式进行学生课堂行为识别[7]。
1.2.2 目标检测国内外研究现状
目标检测包括识别和定位目标物体，是进一步对图像处理的基础。按发展时间分类，可以将其分成传统的和基于深度学习的。
(1)传统目标检测的国内外现状
传统的目标的检测算法可以用主要的三个步骤进行概括，首先在图像中选取候选区域，第二步提取所在候选区域中的特征，最后一步利用分类器对其进行识别。这个时期主要是人工设计特征。Papageorigiou 等人提出的用来描述人脸的Harr-like 特征也成为 Harr 特征，可分为线性的特征、边缘的特征、点的特征、对角线的特征[8]。2005 年 Navneet 等提出一方法为得到方向梯度直方图的特征，通过该方法得到特征的方式为统计和计算对图像某一个范围的梯度直方图[9]。人工设计特征的方法存在一些缺点，比如会出现图像特征不明显难以设置、设计的特征在某个条件下无法使用、鲁棒性不好等问题。
传统目标检测中常用的分类器有 Adaboost、SVM、Decision Tree、RandomForest 等。Adaboost 方法由 Yoav Freund 和 Robert Schapire 提出，Adaboost 会自动挑选一些识别精度不高的弱分类器组合起来，来增加判断精度[10]。支持向量机通过监督学习的方式实现对数据的二元分类，在线性可分的数据集上精度较高，常通过引入核函数将低纬映射到高纬从而使数据线性可分[11]。决策树是基于实例的归纳学习方法，在无序的数据中提炼出树型分类结构然后进行分类判断[12]。随机森林构成于许多决策树和分类器，所包含的所有树的众数决定其输出结果，该方法将提高分类精度[13]。
.....................................
第 2 章 课堂状态分析相关理论与技术
2.1 深度学习相关理论
2.1.1 监督学习和无监督学习
带标签也叫监督和不带标签也叫无监督的学习方法，最初都是从机器学习中提出来的，下面将从问题分类出发介绍这两种方式。
(1)分类和回归问题
分类问题：这个问题的输入是人为设定的一个或多个变量，输出的结果是分散的。比如想知道明天的天气情况作为变量输入后，就会得到关于明天天气的一个分类结果是不好的天还是好的天；或预测屋子卖出价格是高还是低于均值等。回归问题：和上面的输入一样输入一个变化的量，但是输出与上面不同，这个的输出连续性结果。比如输入了含有人的一张图片，要求输出这个人的年纪大小；或者根据房子大小预测房子价格等。
(2)聚类问题
拥有一组数据集合但是不知道会分为几类，通过分析将其分为由类似的对象组成的多个类。比如比如市场中客户群的划分、新闻主题的分组等。
(3)监督学习
监督学习用于解决上面介绍的分类和回归问题。通过训已有的带标签样本（数据和输出结果都是已知），得到一个最优模型（最优指在某一评价标准下结果最好），把想要的数据放到这个模型里面就会得到其属于哪个类的结果。
(4)无监督学习
无监督学习用于聚类问题。与监督学习不同，无监督学习不会准备实现训带有标签的练样本，而是直接对数据建模自动寻找规律，从而得到各个类别。深度的无监督学习有深度置信网络(DBNs)、DCN、DEN、NMMC 等。
图 2-1 激活函数计算过程
.................................
2.2 人脸识别方法
本文采用的算法有 MTCNN 人脸检测算法、仿射变换人脸对齐和 Insightface人脸比较算法。实现流程如图 2-7 所示，首先准备人脸数据集，然后通过 MTCNN算法和仿射变换完成人脸检测与对齐，最后将对齐后人脸放入 Insightface 中进行人脸对比得到结果。
图 2-7 课堂考勤功能实现过程
(1)MTCNN 人脸检测方法
该模型包括三个子网络分别为 P-Net、R-Net 和 O-Net。以图像金字塔多尺度人脸检测方法为基础，通过三个子网络层层递进的方式完成人脸定位和关键获取，为矫正歪着的人脸打下基础。
P-Net 作用是获得人脸待选框和边框回归向量，并根据该向量调整待选框，最后通过非最大值抑制合并重合率高的框。R-Net 网络的功能是在 P-Net 基础上进一步找出非人脸区框并删除，输出值种类与 P-Net 相同，但输入图像尺寸扩大了两倍变为 24×24×3，并且最后多了一个全连接层，所以人脸筛选效果要优于P-Net。O-Net 与 R-Net 相差不多，但输入图像放大至 48×48×3，且在网络结构上多了一个卷积层，因此输出的效果会更加好，输出值为人脸边框坐标和得分、五个关键点确切位置。
.................................
第 3 章 基于改进的 SSD 行为识别算法.............................17
3.1 课堂行为识别模型的构建流程................................17
3.2 SSD 目标检测算法.......................................18
第 4 章 高校课堂状态分析系统设计......................40
4.1 系统总体设计.................................40
4.2 系统功能设计................................41
第 5 章 高校课堂状态分析系统实现...............................49
5.1 系统实现的硬件及软件环境.....................................49
5.2 管理端功能模块的实现..
