第 5 章 高校课堂状态分析系统实现
5.1 系统实现的硬件及软件环境
本系统在开发过程中所用的开发语言、硬件和软件环境,如表 5-1 所示。
表 5-1 系统设计软硬件的环境表
...............................
结论
传统教学中无论是老师还是学校,都需要通过人为工作方式了解某课程上课期间课堂状态,并由此判断学生听课效率、接受程度及出勤率等信息。随着人工智能和智慧校园的发展,将智能化引用到课堂、用智能分析代替人工分析已经成为一种趋势。因此提出深度学习的方式实现课堂行为识别及考勤,并把该模型算法融入到系统开发中,设计并实现了基于深度学习的课堂考勤与状态分析系统。主要完成的工作包括以下几个方面:
(1)构建学生行为数据库。搜集包含听课、举手、写字、睡觉、玩手机五个行为动作的图像,经过灰度化、降噪和图像增强后作为学生行为数据库,用于训练改进的行为识别模型。
(2)用改进的 SSD 方法完成学生状态分析。通过把原 SSD 中基础网络由VGG16 改为改进的 Mobilenet 网络,并对替换后的网络使用 add 特征融合方法,减少基础网络参数的同时在浅层中融入深层信息,从而提高了小目标检测效果和速度。然后训练该模型,并用训练好的模型进行学生行为识别,分别得到某节课中五种行为人数分布,进而得到论文设定的认真、良好、一般、较差、其他这五种状态的人数占比,完成该次课程学生状态的分析。
(3)用人脸识别方法实现了课堂考勤。用 MTCNN+Insightface 模型识别提取的上课视频某帧中的人脸,通过与数据库中人脸模板比较得到参加本次课程的人,进而得到班级的出勤情况,从而实现考勤。
(4)结合论文算法模型设计并实现了高校课堂状态分析系统。使用 Flask+vue框架设计并结合了行为识别和人脸识别算法部分,实现了面向 web 的课堂状态分析系统。用户可以通过教师端界面上传课堂视频,并且可以在管理端通过搜索随机随时查看某次课程的课堂状态分析结果。
参考文献(略)