1. 引言
以ChatGPT为代表的生成式人工智能以其强大的自然语言处理功能引起社会各界的广泛关注，促进教育领域的变革发展。“科技与教育的系统性融合是未来教育生态的关键特征”[1]。随着教育数字化转型的推进，人们对人工智能的态度从“拒之门外”逐渐转为“欣然拥抱”。外语教学领域的专家学者关注数字化教学，探索人工智能在教学领域的应用潜能，创新语言学习模式。然而，现有研究多从理论层面探讨人工智能辅助英语写作的可能性[2]，对人工智能辅助英语写作的实际效能则关注不足。基于此，本研究通过教学实验，探索生成式人工智能辅助大学生英语写作的实际效能，以期为生成式人工智能融入英语写作教学实践提供参考。
2. 研究背景
2022年，OpenAI公司推出一款生成式智能聊天机器人ChatGPT，以其语言理解、文本生成、对话生成等强大的自然语言处理功能为特点，带给人们全新的智能化体验。Chat GPT的诞生引起了教育界的广泛关注，不少学者开始探索生成式人工智能在二语教学领域的应用潜力。生成式人工智能具有强大的自然语言处理功能，可以为二语学习者提供语言学习资料、帮助学习者练习口语对话[3]，提高语言技能；还可应用于智能辅助写作，完善写作大纲，通过提供个性化反馈，帮助学习者改善语言形式[4]。ChatGPT还可辅助教师教学工作，提供教学资源支持，辅助二语教师进行自动评估和反馈[3]。
目前，已有研究从学生认知、教师角色和反馈特点等角度探索生成式人工智能在二语写作教学中的应用。徐林林等(2024) [5]运用质性主题分析法，探索了生成式人工智能辅助学术英语写作的学习者认知及行为，学习者认为人工智能主要从提升写作质量和写作效率两个方面辅助学术英语写作，直接使用、参考加工、迁移应用为学习者主要的行为模式。陈茉和吕明臣(2024) [2]从活动理论视角出发，分别分析了写作前阶段、写作阶段、评阅阶段及反思阶段教师的角色变化，提出教师要在ChatGPT参与的英语写作教学中充当人工智能技术的使用者、培训者和引导者。通过对ChatGPT与教师对学习者英语作文的反馈比较，魏爽和李璐遥(2023) [6]提出ChatGPT与教师反馈各具特点，ChatGPT能提供即时、全面的反馈，弥补教师反馈在时间上的限制，ChatGPT与教师反馈的结合有助于提升作文批改质量。
然而，将生成式人工智能应用于英语写作教学仍存在一些争议。在写作中使用人工智能，有造成学术剽窃的风险[7]，同时还存在一些道德和隐私方面的担忧[8]。Wu (2023) [9]提出ChatGPT的快速信息处理可能会削弱学生的批判性思维能力、导致认知负荷的增加。Barret & Pack (2023) [10]采用问卷的方法比较学生和教师对写作过程中使用生成式人工智能的看法，提出透明性在生成式人工智能的使用中至关重要，并表示教育机构需要制定明确的政策以指导生成式人工智能在教育领域的使用。Dang & Wang (2024) [11]采用主题分析方法，揭示了美国大学在生成式人工智能使用方面的立场，其中绝大部分大学提到了学术诚信、知识产权、偏见和刻板印象问题。Bašić等(2023) [12]进行对照实验，测试ChatGPT辅助写作能否提高学生论文写作表现，结果显示，对照组(未使用ChatGPT)得分略高于实验组(有ChatGPT辅助)，ChatGPT辅助写作并不一定能提高学生写作质量。
综上可见，生成式人工智能具有应用到英语写作教学中的潜力，但也存在一些担忧和隐患。目前的研究多以理论研究为主，生成式人工智能辅助英语写作的实际效能如何，能否提高学习者写作能力，还需更多实证研究的验证。
3. 研究问题
本研究探究生成式人工智能辅助大学生英语写作的效能，具体回答两个问题：
(1) 生成式人工智能辅助大学生英语写作的总体效能如何？
(2) 生成式人工智能可在哪些方面提高大学生英语写作技能？
4. 研究设计
4.1. 研究对象
本研究在北京某“211”高校招募志愿者，开展为期8周的雅思写作教学实验。实验要求测评者之前未参加过雅思考试或相关培训，以控制变量，且保证测评者性别比例大致均衡，学科背景分布均匀，以减小无关因素对实验结果的影响。最终筛选到测评者人数为15人，15名测评者均自愿参与且知晓实验相关情况。实验参与者具体信息见表1，其中男生6人(40%)，女生9人(60%)；本科生10人(67%)，硕士研究生5人(33%)，学科背景为人文社会学科7人(47%)和理工科8人(53%)，英语水平介于大学英语四级和六级之间。研究团队对所有测评者编号(S1~S15)，保护实验参与者隐私。
Table 1. Basic information of the experiment participants
表1. 实验参与者基本信息结构
变量 |
类别 |
人数 |
百分比(%) |
性别 |
男 |
6 |
40 |
女 |
9 |
60 |
学段 |
本科生 |
10 |
67 |
研究生 |
5 |
33 |
英语水平 |
未通过CET4考试 |
8 |
54 |
CET4水平 |
2 |
13 |
CET6水平 |
5 |
33 |
学科背景 |
人文社会学科(英语) |
7 |
47 |
理工科 |
8 |
53 |
4.2. 研究方法
本研究采用实验法，通过比较前后测结果确定实验参与者英语写作能力是否提高。测评者共完成8个雅思写作任务2，雅思写作任务2是雅思写作考试的第二个模块，考察学习者的语言运用能力、逻辑思维能力和论证能力。测评者需要在40分钟内完成一篇不少于250字的议论文，主题涉及社会、文化、科技、教育等。雅思写作2从任务回应、连贯与衔接程度、词汇资源与语法和准确性四个维度进行评分。实验中每个写作任务采用“初稿–修改–二稿”的循环模式。测评者在完成每个任务初稿后，在ChatGPT的修改建议下完成二稿。研究团队邀请两位雅思写作教学经验丰富的教师(分别编码为T1、T2)评定测评者实验前测和后测的写作分数，通过比照结果来确定测评者写作能力变化。
4.3. 数据收集与分析
写作实验前由两位教师(T1、T2)对15名测评者(S1~S15)进行雅思写作任务2相关培训，介绍雅思写作任务2的基本要求，并进行Chat GPT使用培训，确保每位测评者顺利开展雅思写作任务2并使用生成式人工智能获取作文评分及具体修改意见。
进入写作实验阶段后，测评者每周需在指定时间的40分钟内完成一篇雅思写作任务2。完成初稿后，为减少其他因素的影响，测评者使用统一提示词“Please grade my writing according to the rating criterion of IELTS Writing Task 2, give global score as well as the separate grades for Task Response, Coherence and Cohesion, Lexical Resource, and Grammatical range and Accuracy.”来获取ChatGPT的评改建议。同时，因不同测评者作文中的错误点不同，研究团队鼓励测评者根据作文一稿的实际情况，就进一步修改建议向ChatGPT追问，以获得更有针对性的个性化建议。在此基础上，测评者修改作文形成二稿。
实验累计8周，研究人员共计收集到15名测评者120份作文以及由两位教师对120份作文的成绩评定。研究人员对两位教师第一次和第八次的评分数据进行定量分析，使用SPSS计算前测、后测的整体及各维度打分增量、提分均值、提分方差等。
4.4. 生成式AI辅助大学生英语写作的总体效能
通过比较15名实验参与者前测与后测的得分数据以及总分的得分均值来验证生成式人工智能辅助大学生英语写作的总体效能，具体结果见图1和表2。如图1所示，横坐标代表测评者编号S1~S15，纵坐标代表评分数值0~9。为减小教师评分主观倾向性的影响，统计时取T1、T2两位教师的评分均值作为测评者总分最终得分数据。图1中共有两条曲线，实线代表前测得分，即两位教师对测评者第一次测试的总分评分均值；虚线代表后测得分，即两位教师对测评者第八次测试的总分评分均值。曲线上的点分别代表每一位测评者前测及后测的总分得分具体数值。观察图1可知，除个别点位外，虚线大致分布于实线上方。说明绝大部分测评者后测得分高于前测得分，写作总成绩提高。分别将15名测评者后测得分与前测得分作差，获得15名测评者的整体得分增量(表2)。由表2数据可知，除两位测评者外，其余测评者整体得分增量均为正值。计算15名测评者整体得分增量均值为1.150，即每名测评者后测比前测总分平均提升1.150分。这说明大多数测评者在经过八次的生成式人工智能辅助英语写作训练后，写作整体得分提高，英语写作总体水平提升。极少量测评者后测写作得分并未提高，这与个人学习方法偏好、知识接受速度等有关，并不影响实验总体结果。
4.5. 生成式人工智能辅助大学生英语写作的具体表现
通过比较15名测评者整体增量与各维度增量的一致程度，以及总分与各维度提分均值来探讨生成式人工智能辅助大学生英语写作的具体表现，详细结果见图2、图3、图4、图5和表3。
Table 2. Participants’ overall score increment
表2. 测评者整体得分增量表
测评者编号 |
整体得分增量 |
测评者编号 |
整体得分增量 |
测评者编号 |
整体得分增量 |
S1 |
2.50 |
S6 |
0.50 |
S11 |
0 |
S2 |
1.25 |
S7 |
1.50 |
S12 |
1.25 |
S3 |
1.75 |
S8 |
0.25 |
S13 |
1.75 |
S4 |
−1 |
S9 |
−1 |
S14 |
2.50 |
S5 |
2.50 |
S10 |
2.5 |
S15 |
1 |
Figure 1. Pre-experiment vs. post-experiment score comparison
图1. 实验前后测得分对比图
Figure 2. Overall increment vs. task response increment
图2. 整体增量与任务增量对比图
Table 3. Average and variance of score gains (total & by dimension)
表3. 总分及各维度提分均值与方差
项目 |
GR |
TR |
CC |
LR |
GRA |
提分均值 |
1.150 |
1.100 |
1.267 |
1.250 |
1.250 |
提分方差 |
1.239 |
1.363 |
1.124 |
1.430 |
1.436 |
注：GR为整体得分，TR为任务响应得分，CC为衔接得分，LR为词汇得分，GRA为语法得分。
Figure 3. Overall increment vs. coherence increment
图3. 整体增量与衔接增量对比图
Figure 4. Overall increment vs. vocabulary increment
图4. 整体增量与词汇增量对比图
Figure 5. Overall increment vs. grammar increment
图5. 整体增量与语法增量对比图
分别将15名测评者前测任务得分与后测任务得分作差，即第八次测试两位教师任务维度评分均值减第一次测试两位教师任务维度评分均值，获得15名测评者任务得分增量数据，并绘制整体增量与任务增量对比图(见图2)。图2中，虚线代表任务增量，实线代表整体增量，曲线上的每个点分别表示15名测评者任务增量与整体增量的具体数值。用同样的方法获得15名测评者衔接增量、词汇增量、语法增量，可得图3、图4、图5。分析图2至图5的曲线走向可知，测评者各维度得分增量与整体增量变化趋势高度一致。计算15名测评者任务、衔接、词汇、语法增量均值可得表3。表3表明，学习者在衔接、词汇、语法维度提分均值最高，分别为1.267、1.250、1.250。雅思写作任务响应，衔接、词汇与语法维度满分分别为9分，提高1.2分以上可判定为显著进步。
由此可知，通过八次生成式人工智能辅助英语写作训练，测评者在衔接、词汇及语法维度提升最大，任务维度提升最小。这一方面是由于生成式人工智能在评改过程中能够提供丰富的连接词和过渡语、更准确的词汇选择、实时纠正语法错误，帮助测试者优化文章结构、积累词汇搭配、理解语法规则；另一方面是因为学习者本身在雅思写作2的任务响应维度面临较小困难。
5. 结语
本研究采用教学实验方法探讨生成式人工智能辅助大学生英语写作的效能。总体而言，通过比较测评者前测与后测得分数据及总分的提分均值，研究发现生成式人工智能辅助大学生英语写作可以提高学习者总体写作表现；进一步分析测评者整体增量与各维度增量一致程度及总分与各维度提分均值可知，生成式人工智能辅助英语写作帮助学习者在衔接、词汇和语法维度提升显著。本研究肯定了生成式人工智能提供写作反馈的有效性，这一发现与前人研究结果一致[13]。
鉴于生成式人工智能辅助英语写作教学的潜能，二语教师可与AI协作，充分利用AI工具辅助学生作文评改，提供补充性反馈；二语学习者可以通过AI获得个性化、即时反馈，帮助提高语法准确性、拓展词汇量，有效修改文章。同时，也要意识到生成式人工智能辅助大学生英语写作的一些潜在弊端，如造成学习者对AI工具的过度依赖、限制学习者创造性思维等[14]。