1. 引言
2012年以来，慕课发展迅猛，席卷全球，给世界高等教育带来了新挑战和新机遇。多项数据显示，在线教育的使用率也从2018年末的24.30%提升至27.2%，2020年初，全国大中小学校推迟开学，2.65亿在校生普遍转向线上课程，用户需求得到充分释放，在线教育应用呈现爆发式增长态势。以MOOC为代表的在线开放课程的出现与发展已在我国高等教育领域引起了广泛关注，成为变革教学、提高教学质量和学习成效的重要力量 [1] [2] [3] [4]。
现在，国内有很多程序设计语言的慕课课程，给学生提供了很多优质的课程资源。但是大部分的慕课课程，都是教师在一直讲授，而没有关注学生的学习效果反馈情况 [5] [6]。程序设计语言的选修对象是面向全校专业，涉及的专业范围广，学生差异性较大，如果能及时获取学生的学习效果反馈信息，教师根据反映出的问题做到因材施教，可以从整体上提升该课程的学习效果。
2. 多模态理论和项目导入式的相关理论
2.1. 多模态相关理论
多模态教学理论诞生于20世纪90年代的西方国家，在各类课程教学改革中发挥重要作用。随着国家教学改革的不断推进和当今信息技术的飞速发展，多模态技术已经运用到各个专业方领域。多模态数据就是不同类型的数据组合到一起，比如图片和文字构成，旨在处理与理解来自感官情态的多源信息 [7] [8]。现在流行的智慧旅游，就是利用文字和图片构成的多模态图文游记。医学方面，利用深度学习的多模态U型网络图像分割模型，提升CT图像的前列腺分割精度等。还有人利用人脸表情识别技术计算学习者的情感解决情感缺失问题等 [9] - [19]。可以说，多模态的运用无处不在。
2.2. 项目导入式
项目导入式教学是以学生为中心，在教师引导下，依托某一个实际或虚拟项目，或者专业领域内的竞赛命题，把该课程中所需讲授的基础知识和基本原理，与其对应的实践部分串联、融合在一起，用项目实操的过程和方式呈现在教学中，学生根据项目主动获取相关知识的教学方法。这样的方法一方面可以通过完成项目获得的成就感激发学生的学习兴趣，另一方面可以帮助学生增加知识理解的深度和广度，提升整体的教学效果。
产生于20世纪90年代构建主义学习观认为：作为教学的主体，学生不应该是知识的被动接受者，而应该是知识的主动建构者。它强调以“学”和“学生”为中心，培养学生在真实的情境下，借助老师的引导，学习伙伴的协同，利用有效的学习资料，积极主动地去建构知识。它强调学生对知识点的综合运用，培养学生解决实际问题的探索性、适应性和创新性 [20] [21] [22] [23] [24]。而项目导入式正符合构建主义的学习观。
3. 多模态反馈数据在线MOOC + 项目导入式混合式教学设计
本课程拟采用线上和线下混合教学模式。线上采用了学生观看视频时的表情图像和弹幕文字组合的多模态反馈数据分析在线MOOC，以便及时获取学生对课程的客观学习效果(包括兴趣度和掌握度)信息。针对非计算机专业学生对该课程兴趣不高的特点，线下采用了项目导入式，通过完成一个个由浅到深项目带来的成就感，提高学生对课程的学习兴趣。
首先利用深度学习算法计算获取的多模态反馈数据，分析对应时间段学生对课程的兴趣度、掌握程度等学习效果信息，及时反馈给教师，教师根据反馈信息针对性地实施线下教学环节(比如通过完成一个个项目带来的成就感不断地激发学生学习内动力以及对课程的学习兴趣和对学生薄弱环节进行反复巩固练习等)，逐步提高学生对课程的兴趣度和掌握程度，提升课堂整体教学效果。
3.1. 线上：采用基于多模态反馈数据MOOC
本课程先是获取学生观看视频的面部表情图像和弹幕文字组成的多模态数据，使用深度学习算法计算出其对应时间段学生对该课程的感兴趣度和掌握程度等学习效果信息，教师根据学生的教学效果反应，可以及时进行相应地调整，以便做到因材施教，最终达到提升学生整体教学效果的目的。其总体结构如图1所示。
3.1.1. 模型构建
1) 面部表情模型(CNN)构建
将面部表情图片提取特征点作为输入变量，用个人对视频评分分类进行标注，输出预测分类。具体做法如下：将1 min左右的参试者面部表情图像，每秒选取1帧；约60名参试者面部照片进行识别；选取20张缩放后的图片进行缩放灰度化等处理，最后形成128 * 128 * 1通道像素的图片与评分一起构成CNN模型。
2) 弹幕模型(LSTM)构建
筛选出具有情感倾向的词向量作为输入变量，用视频评分分类进行标注，输出预测分类。具体做法如下：学习者观看视频时，有时会使用弹幕语言表达自己的心情和学习效果。大部分的弹幕语言特色非常鲜明。而自然语言处理情感倾向分析，判断情感倾向极性类别。为方便处理，将弹幕词汇和弹幕内容分别进行转换如下表1弹幕词汇转换和表2弹幕内容转换所示。
Figure 1. Project overall structure diagram
图1. 项目总体方案
Table 1. Bullet-screen vocabulary conversion
表1. 弹幕词汇转换
Table 2. Bullet-screen content classification
表2. 弹幕内容分类
备注：1表示积极；−1表示消极。
最后，选取置信度大于0.1的弹幕、分词，删除stop words，转换为词向量。将词向量与评分共同组成LSTM模型。
3) 整合模型的构建
将同一视频、同一参试者的弹幕和面部表情模型的预测分类作为输入量，用相应教学视频的评分分类做标注，对权重进行自动学习，输出最终视频评分分类预测。预期结果如下表3有趣性模型、表4难易度模型和表5整合模型。
3.1.2. 模型训练
选取程序设计语言课程的某段视频大概20段1分钟视频素材，提取学生观看教学视频时的面部表情图像，同时获取该视频对应时间段的弹幕数据，利用表情图像和弹幕文字组合的多模态数据，使用深度学习算法计算出学生在对应时间段的趣味性和难易度等教学效果信息，及时反馈给教师，教师根据反馈的效果，相应地调整教学环节，以便做到因材施教。
3.2. 线下：课堂拟采用项目导入式教学法
随着新工科标准的新版教学大纲的推出，倡导课程建设注重以学生为中心。本课程在课堂教学设计上，基于构建主义理论，采用项目导入式，通过引导学生完成一个个由浅入深的项目获取的成就感激发学生的兴趣，帮助学生形成持久的学习动机，逐步提升学生的程序设计能力，进而达到提升整体的学习效果的最终目的。
针对非计算机专业的学生对该课程兴趣不高，教学设计的重点是利用“项目”、“实例”、“问题”等手段来激发学生的学习兴趣。教学具体设计上，着重注意以下几点。
1) 项目的选取是关键
选取项目时不是按照课本的章节依次学习的方式，而是以教学内容为依据，根据由浅入深的原则，既在巩固原有的知识基础，又有学生从未遇到的问题，有一定的难度，这样可以使学生使用新知识、技能解决实际问题 [25] [26]。
2) 学习模式
项目教学开始阶段，我们不再对原理及知识点部分做详细的讲授，开课即布置项目任务书，只做提纲挈领的讲解后，让学生进入实际操作阶段。项目一般以3~5人为一组，成员需要明确分工，项目完成需要各成员的合作。任务实施中，引导学生对教学任务进行分析和讨论，提出问题并设法解决问题。通过这样的过程，学生根据项目任务进行有目的获取新知识，主动与老师和其他成员交流，然后把所学的知识应用于实践 [27] [28] [29]。在这个过程中，学生的学习兴趣会通过在项目中获得的满足感逐渐提高，相应地提升了整体学习效果。
3) 考核模式
制定各类教学环节规范、评分方法和措施，将对教师的教学评价和学生的学习评价有机结合，尤其是对学生实践活动进行多主体、动态、全过程、多角度的评价，进而构建教与学的综合评价体系。对于每组学生，老师会随即抽取某个成员来详细讲解自己所做部分的内容，比如项目的设计方案，设计关键点，如何解决难点等进行抽查。保证每个学生都有机会展示自己的能力，同时也避免个别同学偷懒。原有程序设计语言的考核方法是平时成绩30% + 期末成绩70%，平时成绩主要由作业和考勤组成，且期末成绩占得比重较大。改进后的考核更加注重平时课堂学习情况，以基础性考核60%和期末成绩40%两部分完成。基础性考核由考勤占30%、课堂表现占20% (按学生的回答问题及纪律等课堂表现)和实践能力占50% (完成项目任务的情况)组成 [25] [30]。
4. 结语
本课程的教学对象是全校非计算机专业的学生，由于不是自己的专业，学生的兴趣不高。而且学生专业范围广，学生的水平参差不齐。利用多模态数据在线反馈数据可以客观及时地反应学生对课程的兴趣度、难易度等学习效果，老师可以根据学生的学习效果做出调整，做到因材施教，提升整体的教学效果。另一方面，课堂采用项目导入式教学法，通过完成项目带来的成就感逐步提高学生的学习兴趣，增强他们学习的内动力，有助于提高教学效果。其创新性表现以下方面：1) 自动反馈：反馈模型训练或更新完成后，学生不需要主动操作来提供反馈数据，有效提高了学生的参与度。2) 全面反馈：综合使用了录像(表情)和文本(弹幕)的多模态信息，通过算法设计将多模态数据有效整合并呈现。3) 客观反馈：录像表情的呈现由情绪触发，比主观汇报有更强的客观性；弹幕的目标观看者不是教师或平台，可以减轻学生发布内容时的压力精准反馈：采用的数据都具有时间准确性，可以将学生的反馈准确緢定在时间轴上，从而最大程度帮助教师聚焦问题所在。
基金项目
国家自然科学基金项目(61806160)。