基于数学模型分析教师使用生成式大语言模型的影响因素研究
A Study on the Influencing Factors of Teachers Using Generative Large Language Models Based on Mathematical Model Analysis
DOI: 10.12677/pm.2024.146236, PDF, HTML, XML,    科研立项经费支持
作者: 刘 哲, 高大威:上海理工大学机械工程学院,上海
关键词: 数学模型生成式模型神经网络预测分析Mathematical Models Generative Models Neural Networks Predictive Analysis
摘要: 随着教育界对人工智能技术的广泛应用和深度探索,尤其以文心一言、ChatGPT等生成式大语言模型为代表的先进技术,在高等教育环节中展现出了愈发显著的应用潜力。本文通过建立数学神经网络模型分析高校教师在采纳生成式大语言模型进行教学的影响因素。研究团队通过发放问卷的形式,利用Pearson相关系数矩阵对数据进行一致性与相关性分析。然后,建立GA-BP神经网络预测模型,分析发现感知信任、感知专业及感知智能,均在不同程度上能够正面预见他们对人机协同教学模式持有的肯定立场。为高校教师进一步利用生成式大语言模型提高教学质量提供了理论指导。
Abstract: With the extensive application and in-depth exploration of artificial intelligence technology in the educational world, especially the advanced technologies represented by the generative big language models such as ERNIE Bot, ChatGPT, etc., have shown more and more significant application potential in the link of higher education. This article analyzes the influencing factors of college teachers adopting generative language models in teaching by establishing a mathematical neural network model. The research team conducted consistency and correlation analysis on the data by distributing questionnaires and using the Pearson correlation coefficient matrix. Then, a GA-BP neural network prediction model was established, and analysis revealed that perceived trust, perceived professionalism, and perceived intelligence can all positively predict their positive stance on the human-machine collaborative teaching model to varying degrees. This provides theoretical guidance for university teachers to further utilize generative language models to improve teaching quality.
文章引用:刘哲, 高大威. 基于数学模型分析教师使用生成式大语言模型的影响因素研究[J]. 理论数学, 2024, 14(6): 154-161. https://doi.org/10.12677/pm.2024.146236

1. 引言

随着人工智能技术的飞速发展,生成式大语言模型作为一种具有强大自然语言处理能力的新型工具,逐渐受到了教育领域的广泛关注。在高等教育中,教师对于新技术的采纳与应用,往往受到多种因素的影响,这些因素可能涉及技术本身的特点、教师的个人素养、教学环境的限制以及教育政策的引导等多个层面。因此,探究影响高校教师采用生成式大语言模型进行教学的影响因素,对于推动教育信息化的进程,提升教学质量,具有重要的理论价值和实践意义。

生成式大语言模型,如文心一言、ChatGPT系列,以其强大的文本生成、理解和推理能力,为教育领域带来了前所未有的变革机遇。这类模型可以应用于课程内容生成、个性化学习推荐、智能问答、作业批改、教学反馈分析等多个方面,为教师提供智能化的教学辅助,从而有望提高教学效率和质量。然而,尽管生成式大语言模型具有诸多优势,但在高校中的实际应用却并不普遍。这其中,既有技术本身的问题,如模型的准确性、稳定性、易用性等,也有教师自身的问题,如对新技术的接受度、使用能力、教学理念等。李琳等人[1]为提升数学教学质量评估的准确性和效率,提出一种基于注意力机制优化的神经网络评估预测方法。仿真结果表明,所提方法具有模型结构高效、预测准确度高的效果,在教学管理中具有一定的应用价值。邓诗元等人[2]为了提高高校设计课程教学效果预测精度,针对当前高校设计课程效果预测过程中存在的一些难题,提出大数据时代的高校设计课程教学效果预测模型。预测精度远远超过其他模型的高校设计课程教学效果预测模型,可以满足高校设计相关课程教学管理的要求。吴昊[3]从主体信息、课程学习管理信息及施教信息三个方面出发,提出了一种采用属性预测分析的高校英语教学模型的研究方法。通过这种新型的高校英语教学过程未来结果推送预测的模型,使高校英语教学活动融汇于一种新的环境当中,从而提高高校英语的教学水平和教学效果。彭延峰[4]等人结合变量预测模型分类(VPMCD)方法,提出了基于距离评估技术和VPMCD的高校教师教学质量评价方法。分析结果表明,该方法能有效提高运算效率和预测精度。陈青山[5]将决策树和关联规则用于构建高校教学评价系统,以期挖掘出教师个体因素、教学运转环节因素与教学效果之间的关系,为教学评价方法提供决策依据。并提出了改进教学质量的有关措施,从而为更好地开展教学工作、提高教学质量提供参考依据。陈宁宁[6]应用过程改进思想建立一套科学、高效、完整并且易于使用的教学质量评价体系解决高校教学质量评价工作中复杂多变、不定因素较多、参数众多、循环周期较长等诸多问题。本文的研究背景在于教育领域正面临的前所未有的技术革新挑战与机遇,而其意义则在于为合理引导和优化生成式大语言模型在高等教育中的应用提供科学依据,促进教育方式的现代化转型,确保技术进步能更好地服务于教育的本质目标。

因此,在上述研究成果的基础上,本文聚焦于生成式大语言模型在高校教学中的接纳与应用,旨在深入剖析影响教师采用这一新兴技术的关键因素。通过实证研究方法,如问卷调查与统计分析(采用Pearson相关系数),本研究细致探究了教师对于技术的感知信任、专业认同及对智能技术价值的认知如何影响他们对人机协同教学模式的接受度。进一步地,借助遗传算法优化的BP神经网络模型(GA-BP),研究预测了这些认知因素对教师行为倾向的正面导向作用,为促进技术融合于教育实践提供了量化的证据支持。

2. 实验设计

本研究运用在线方式进行问卷调查以积累所需数据,所构建的问卷结构主要包含两大模块:一是核心研究变量,二是人口统计学特征变量。核心变量板块涉及了三个关键维度,具体包括个体对人机教学合作的感知信任、对智能化技术的感知信任、赋予机器人的感知智能等内容。这些变量的度量参照了先前相关研究中广泛应用并验证过的成熟量表,均采用李克特五等级评分体系,将“非常不赞同”设为1分,而“非常赞同”则定为5分。另外,为了识别并剔除无效或随意填写的问卷,研究中还设置了两道甄别问题。在2024年2月份,课题组先在五个高校教师微信群内进行了一次小型预调查,成功获取了37份有效问卷。通过对预调查数据的初步解析,研究团队对部分效果欠佳的问题进行了删减,并依据受访者的回馈意见调整了若干问卷条目的表述方式,核心变量的具体量表详情展示于表1。随后,在正式的问卷发放阶段,我们采取滚雪球抽样的方法,总共收集了100份问卷,经筛选后确认的有效问卷数为。

Table 1. Questionnaire variable table

1. 问卷变量表

变量

测试题目

感知信任

生成式大语言模型在教学中展现出强大的处理能力

生成式大语言模型在教学中展现出非凡的应变能力

生成式大语言模型在教学中展现出优异的知识储备

感知专业

生成式大语言模型在教学中表现出较高的可信度

生成式大语言模型在教学中表现出较强的稳定性

生成式大语言模型在教学中表现出较好的专业性

感知智能

生成式大语言模型在教学中具有自主判断能力

生成式大语言模型在教学中具有逻辑思维能力

生成式大语言模型在教学中具有理解分析能力

使用意愿

会在后续教学中使用生成式大语言模型的使用意愿

关于样本的人口统计特性,参与调查的教师群体中,男性占半数,有54位,女性同样占半数,为46位,平均年龄约为34岁。在职称分布上,拥有高级职称的教师占比为7%,副高级职称教师占比为12%,而中级及以下职称的教师占据了81%的比例。学科背景方面,自然科学类教师占比为78%,人文社科类学科教师则占比22%。

评价人员的认知偏差、情绪状态、个人价值观、文化背景等都可能导致他们在填写问卷时给出不一致的回答。评价环境(如噪音、光线、舒适度)、评价时的时间压力、评价前的信息获取情况等客观条件也可能对评价结果产生影响。问卷的表述清晰度、问题的引导性、量表的敏感度和稳定性等也会间接影响评价结果的一致性。为了确保问卷评价结果的科学性和有效性,需要进行一致性检验。通过一致性检验,研究者可以识别并剔除那些由于随机因素导致的不稳定或不可靠的评价结果,从而提高数据分析的准确性和可靠性。同时,这也为优化问卷设计和改进评价流程提供了依据。本文中采用斯皮尔曼秩相关系数法进行评价人主的评价结果进行一致性检验和感知变量与使用意愿之间的相关性检验:

r=1 6 i=1 n ( M i N i ) n( n 2 1 ) (1)

式中:r为曼秩相关系数;MiNi为两个不同变量的秩;n为样本数。

文中采用斯皮尔曼秩相关系数法作为评价人员评价结果的一致性的尺度。首先利用公式(1)计算出每个评价人员与另外一位评价人员对100个样本评价结果的秩相关系数r,公式(1)中的MiNi分别为评价人员与另外一位评价人员对样本i使用意愿评分的秩,计算获得的秩相关系数r即表征评价人员对100个样本评分的一致程度,如图1所示。

Figure 1. Spearman correlation coefficient matrix between different evaluators

1. 不同评价者之间的斯皮尔曼相关系数矩阵

图1中相关系数小于0.7的9位评价人员的评价结果进行剔除,并重新计算剩余91位对100个样本的评价指标,并计算感知信任、感知专业、感知智能的与使用意愿的相关性。同样利用公式(1)计算,此时公式中MiNi分别为感知信任、感知专业、感知智能的平均值与新计算的使用意愿的秩,计算结果如图2所示。可知感知信任、感知专业、感知智能与使用意愿的相关性均超过0.8,可知其相关性较好。

Figure 2. Correlation test

2. 相关性检验

3. 模型预测

GA-BP (Genetic Algorithm-Backpropagation Neural Network)神经网络预测流程结合了遗传算法(GA)的全局优化能力与反向传播神经网络(BPNN)的学习能力,旨在通过GA优化BP神经网络的权重和偏置参数,以提升网络的预测性能。通过得到感知信任(分析能力、思维能力、判断能力)、感知专业(专业性、稳定性、可信度)、感知智能(知识储备、应变能力、处理能力)与使用意愿的结果,利用GA-BP算法建立它们的数学映射关系。遗传算法是模拟自然界中生物遗传和进化行为而建立的全局优化算法,其具有较强的稳定性。因其无需求取梯度,适用于解决复杂的非线性问题。将遗传算法的寻优功能应用于BP神经网络中初始权值和阈值的最优解搜索中,进一步利用最优的初始权值和阈值对神经网络进行预测,图3为GA-BP神经网络预测流程。

Figure 3. GA-BP neural network prediction process

3. GA-BP神经网络预测流程

为准确描述输入和输出的数学关系,引入一个3层的BP神经网络,其中输入层的节点数为9 (分析能力、思维能力、判断能力、专业性、稳定性、可信度、知识储备、应变能力、处理能力),输出层节点数为1 (使用意愿),根据经验公式,确定隐含层节点数为15。进而建立了拓扑结构为9-15-1的BP神经网络模型,如图4所示。

为解决神经网络易陷入局部极小和收敛性差的问题,采用轮盘赌选择法,种群规模为40,变异概率为0.1,交叉概率为0.3,最大遗传代数为150的遗传算法对神经网络的初始权值和阈值进行优化。为验证神经网络预测结果的可靠性和模型训练的精度,在100个收集样本中任意选择30个样本用于神经网络的训练集,剩余10个样本用于数据验证。神经网络的参数设置:学习效率为0.1,训练误差为104,迭代次数为500次。

为克服神经网络在训练过程中易于陷入局部极小值并伴随收敛性欠佳这一固有问题,本研究采取了一种基于轮盘赌选择机制的遗传算法来进行神经网络初始权值与阈值的全局优化。具体参数配置如下:种群规模设定为40个个体,构成了一个多样化的候选解集,其中每个个体代表一种独特的神经网络权重与阈值配置。变异概率设定为0.1,确保在每代进化过程中,有一定比例的个体经历随机扰动,以期引入新的搜索空间点,增强种群的探索能力,有效规避局部最优陷阱。交叉概率设定为0.3,意味着在每代演化过程中,有30%的个体参与基因重组操作,通过跨个体间交换部分或全部权值与阈值信息,促进优良基因在种群内部的高效融合与传播。最大遗传代数设定为150代,作为遗传算法的迭代上限,旨在有限的计算资源约束下,实现对搜索空间的充分遍历与优化,从而提高找到全局最优或近似最优解的可能性。

Figure 4. GA-BP neural network prediction model

4. GA-BP神经网络预测模型

为进一步确保神经网络预测结果的稳健性与模型训练过程的精度,我们对所收集的100个样本进行了如下数据集划分:随机抽取其中30个样本构建神经网络的训练集,旨在利用这些样本使模型习得数据的潜在规律,实现对目标函数的良好逼近。余下的10个样本被用作独立的验证集,其作用在于在训练过程中定期评估模型在未参与训练数据上的泛化能力,以监测模型过拟合风险,并据此对模型参数进行适时调整,确保模型的泛化性能。

对于所构建的神经网络模型,我们对其训练过程进行了如下参数设定:学习率设置为0.1,决定了模型在每次迭代中对权重与阈值进行调整的幅度,旨在保证收敛速度的同时,防止因步长过大导致的训练不稳定。训练误差阈值设定为104,作为停止训练的预定阈值标准。当模型在训练过程中达到此误差水平,表明其已达到预定的精度要求,训练过程将适时终止。最大迭代次数限制为500次,即使在模型未达到误差阈值的情况下,训练过程也将在此迭代次数后强制结束,以防止过度训练并节省计算资源。综上所述,本研究通过运用特定参数配置的遗传算法对神经网络初始参数进行全局优化,并结合严谨的数据集划分与合理的模型训练参数设定,旨在系统性地提升神经网络在给定数据集上的预测准确性和模型收敛效能,同时确保所得结论的科学性和可靠性。

Figure 5. Fitness function curve

5. 适应度函数曲线

适应度函数如图5所示,可知随着遗传算法迭代次数的增加,适应度数值不断下降以寻求最优值,直至106代趋于稳定,最终达到最佳适应度。将用于数据验证的10个随机样本代入到训练完毕的GA-BP神经网络中,得到其预测输出和期望输出,如图6所示,算出其误差均小于5%。证明本文所提出的影响高校教师采用生成式大语言模型的关键因素的可行性。

Figure 6. Usage intention prediction analysis

6. 使用意愿预测分析

4. 结论

本研究构建了高校教师在人机协同教学情境下的行为影响因素模型,旨在明确驱动教师接纳此种教学模式的关键因素。研究发现,教师对人机协同教学的感知信任、感知专业、感知智能对使用意愿具有显著促进作用。并利用GA-BP神经网络模型建立了预测模型,并验证了上述影响因素的可行性。

基金项目

上海理工大学汽车安全可靠性技术教学优秀案例库建设;上海理工大学整车碰撞安全性能及零部件动态管理虚拟仿真实验教学课程项目;上海理工大学南京依维柯车辆工程专业学位研究生实践基地建设项目。

参考文献

[1] 李琳, 赵锐, 江晋. 基于注意力机制神经网络的数学教学质量预测[J]. 现代电子技术, 2023, 46(14): 175-179.
[2] 邓诗元, 李昊翔. 大数据时代的高校设计课程教学效果预测[J]. 现代电子技术, 2020, 43(21): 174-178.
[3] 吴昊. 属性预测视角下的高校英语教学模型研究[J]. 湖南广播电视大学学报, 2018(3): 90-96.
[4] 彭延峰, 刘燕飞, 何宽芳. 基于距离评估技术和VPMCD的高校教学质量评价[J]. 教育教学论坛, 2019(37): 69-72.
[5] 陈青山. 决策树算法在高校教学质量评价系统中的应用研究[D]: [硕士学位论文]. 成都: 西南交通大学, 2010.
[6] 陈宁宁. 基于过程改进的教学过程跟踪模型的研究及应用[D]: [硕士学位论文]. 北京: 首都师范大学, 2017.