摘要: 目前网络上的远程教育软件可以提供学生和老师的实时视频和语音，但受限于网络带宽和数据查询不便等问题，教师无法观察到所有学生在课堂中的状态和响应，无法及时根据反馈调整在线课堂教学的教学方式和课堂节奏，只能有限的观察部分学生的信息。针对远程教育中获得学生实时反馈能力低下和学生数据管理不便的问题，给出一种基于面部特征识别的远程教学辅助系统。采用Python框架，首先通过opencv技术将前端采集的图像进行处理，抓取人脸和对齐，数据通过百度企业级人脸识别和人脸检测与属性分析接口，获取面部特征信息，对返回的面部特征信息进行识别，得出状态结果，实时传入学生和教师前端。教师还可以访问数据库进行历史上课状态数据查询。本系统主要是为了给使用远程教育使用者提供一个能够系统的查看和管理大量学生状态信息的远程教学辅助系统。
Abstract:
At present on the network remote education software can provide students and teachers live video and voice, but is limited by the network bandwidth and data query inconvenience, teachers can’t observe the state of all the students in the classroom and response, not timely adjusted according to the feedback online teaching mode of classroom teaching and limited observation only a part of the student’s information. In order to solve the problems of low ability to obtain real-time feedback from students and inconveniences to manage students’ data in Online education, a Online teaching assistant system based on facial feature recognition is proposed. Using Python framework, first of all, through opencv technology will front-end collection of image processing, fetching faces and alignment, the data Baidu enterprise face recognition and face detection and attribute analysis interface, facial features information, the return of facial feature information, which can identify state results, real-time front-end incoming students and teachers. Teachers can also access the database for historical class status data query. This system is mainly for the use of online education users to provide a system to view and manage a large number of students’ state information teaching system.
1. 引言
疫情防控期间，受限于线下教学无法展开，远程教学快速发展。千万大中小学生上线“空中课堂”，远程艺考，远程考研复试，也带来了许多挑战。传统的在线教育中，教师无法感知学生群体的个性、状态和对课堂的表情反馈的，这使得在线教育中，教师很难动态调整教学节奏，从而影响到学生学习与成长。缺少有效的信息来判断学生在线学习的过程中的具体情况。
为了解决上述问题，本系统将人工智能技术与远程教育相结合，使得教学过程更加贴近真实的线下教学。基于面部特征识别的远程教学辅助系统，能很好的分析及评估学生接受远程教学的状态，并分析和管理这些数据。方便授课教师实时调整教学方式和课堂节奏。具体研发了具有通过面部特征识别，实时分析和管理大量学生状态反馈的远程教学辅助系统。首先通过opencv技术 [1] 将前端采集的图像进行处理，抓取人脸和对齐，将数据百度企业级人脸识别和人脸检测与属性分析接口 [2]，获取面部特征信息，对返回的面部特征信息进行识别 [3]，得出状态结果。在不用负载大量网络数据的情况下，教师可以在前端实时查看学生的状态信息，确定在线教学的节奏和走向 [4]。基于面部特征识别的远程教学辅助系统大幅提升了远程教育的质量。
2. 课题需求
1) 学生凭借初始学号和身份证登陆，登陆后修改密码
2) 学生首次登陆需要扫描面部特征信息，记录入库供后续身份验证。
3) 教师凭借初始工号和身份证登陆，登陆后修改密码。
4) 学生可以开始上课、结束上课、查看个人信息和学习记录。
5) 教师可以创建课程，管理本课程的学生。
6) 教师可以查看所有学生实时上课的状态信息。
7) 系统管理员管理学生和教师的用户基本信息。
3. 需求分析建模
基于面部特征识别的远程教学辅助系统的使用者是学生和教师。在课堂范围内，教师可以对学生进行管理。管理员对学生和教师的用户信息进行管理。
管理员管理学生和教师注册时的审核，学生和教师账号信息的修改，学生人脸特征信息的重置，学习记录的删除等。
学生和教师注册成功后即可使用系统功能。学生可以查看个人信息和学习记录，并在本地通过面部特征识别，使用开始上课实时上传状态信息。教师可以管理课堂信息，查看所有学生实时上课的状态信息和历史学习记录。
基于面部特征识别的远程教学辅助系统业务用例图如图1。
Figure 1. System business use case diagram
图1. 系统业务用例图
4. 系统分析建模
学生信息：包括学生学号、姓名、课堂、人脸特征、学习记录等。
教师信息：包括教师编号、教师名称、从属课程、从属学生等。
课程信息：包括课程名、从属学生、从属教师等。
账户信息：包括账户号、密码、联系方式等。
管理员信息：包括管理员账号、姓名等。
基于面部特征识别的远程教学辅助系统分析类图，如图2。
基于面部特征识别的远程教学辅助系统流程图如图3。
基于面部特征识别的远程教学辅助系统系统功能架构图如图4。
Figure 4. Software functional architecture design diagram
图4. 软件功能架构设计图
5. 模块分析
5.1. 视频采集和预处理
通过本地摄像头，实时采集上课学生图像信息。在学生本地摄像头条件下拍摄的人脸，存在着人脸角度不正、部分脸面暗光、部分脸面强光、人脸被遮挡、人脸模糊、背景过亮、摄像头直视光源、噪点过高等问题。直接通过学生摄像头采集的人脸图像质量较低。
对于这种人脸质量比较低的图像，直接进行人脸检测与属性分析的效果不是特别明显，质量较差的图像，会增加模型识别的错误率。为了提升模型识别准确率，对采集的人脸图像进行预处理，提升图像质量，有效的获取较低质量图片中面部特征信息。
预处理的操作主要通过图像增强和人脸对齐。源数据流是学生本地采集的视频，因此图像增强主要有单帧增强和视频多帧补偿等方法。低质量图像通过暗光亮光平衡、超分辨率、高斯降噪、模糊补偿等方法得到高质量图像。背景过亮或人脸过暗的图像通过图像增强，可以获得更多的面部特征细节，提升面部特征信息的识别率。人脸上还有重要的固定位置信息关键点。关键点由眼角位置、鼻子位置、嘴巴角度、脸的轮廓点等组成。关键点是人脸坐标系的坐标原点，人脸对齐关键点拟合算法实现。获取的原始图像中，人脸可能比较歪，根据关键点，使用变换将人脸统一对齐，尽量去消除姿势不同带来的误差，裁剪合适的图像上传到接口。
5.2. 状态识别模块
通过人脸检测与属性分析接口获得的面部特征信息，通过对面部特征信息的识别，判定学生的实时上课状态。首先利用在线接口，百度企业级人脸识别和人脸检测与属性分析接口，获取面部特征信息。在线接口不占用学生本地设备过多算力，依旧有很好的识别率。快速检测人脸并返回人脸框位置，准确识别人脸关键点，输出面部特征信息。通过返回的信息，获得人脸姿态角度、人脸完整度、嘴巴张开距离比例 [5]、嘴角上扬角度、眉毛上扬程度、眼睛开合距离比例和是否有手支撑等信息来识别 [6] 学生的实时课堂状态。然后将这些值量化，对于状态信息使用0~5分表示，特殊注明闭眼和未出现人脸的缺课情况。
5.3. 课堂评估模块
通过状态识别模块获得的学生个体在课堂的专注状态，课堂评估模块将这些数据分析整合，并上传至远程服务器。课堂评估展示在教师端，远程教学老师根据学生总体状态，调整自己的教学方式和课堂节奏。在数据库中记录每个学生在所有课程的状态，所有课程的总体状态，学生和教师可以通过课堂评估模块查看历史课堂状态数据 [7]。
5.4. 用户管理模块
管理员和教师拥有用户管理权限，管理员可以对学生的面部人脸密码进行重置，重置和修改学生和教师的账户信息。教师可以管理学生的课程信息，将学生加入至已创建的课堂中或删除该学生在本课堂的信息。
6. 软件功能测试
学生在线上课界面由上课和结束上课功能按钮组成，点击开始上课按钮将启动实时课堂状态分析，点击结束上课按钮将停止识别和分析。页面下方展示当前识别的图像框和状态分析的结果，见图5。
Figure 5. Students’ online class interface diagram
图5. 学生在线上课界面图
教师上课界面有三大部分组成。第一部分展示当前的课堂信息。下方的动态表格展示了通过数据分析展示实时课堂整体状态和缺课人数，为教师提供检查出勤和实时调整在线教学方式的功能。最下方的动态表格中实时获得从属该课堂的每个学生的状态识别的信息，见图6。
Figure 6. Teacher’s class interface diagram
图6. 教师上课界面图
历史课堂记录界面中展示一个表格，该表格的标题是某学生的历史学习记录，表格由上课时间、课程名称和整体状态三列组成，整体状态是该学生某次课堂的整体学习状态。教师可以查看课程下所属学生的历史课堂记录，学生本人可以查看自己的历史课堂记录，见图7。
Figure 7. History class record interface diagram
图7. 历史课堂记录界面图
7. 结论
本系统采用Opencv模块进行人脸检测与识别，数据预处理后使用百度企业级人脸识别和人脸检测与属性分析接口，获取面部特征信息，对返回的面部特征信息，通过人脸姿态角度、人脸完整度、嘴巴张开距离比例、嘴角上扬角度、眉毛上扬程度、眼睛开合距离比例和是否有手支撑等信息来识别学生的实时课堂状态。通过课堂评估模块对数据的分析和汇总，生成实时课堂整体状态信息。远程教学老师可以通过这些实时反应学生状态的信息，像在线下课堂教育中一样，实时调整自己的教学方式和课堂节奏。本系统提升了远程教育的质量，推动了远程教育的发展和普及。
基金项目
徐州工程学院大学生创新创业训练计划项目(xcx2020009)。