1. 研究背景
托福考试从2023年7月26日开始进行了改革 [1] ，考试从过去的3.5个小时左右缩短到2小时以内。为了可以在更短的时间内完成考试，本次ETS选择取消了所有的加试环节，并且将阅读的文章从3篇减少为2篇。与此同时，过去需要30分钟完成的写作独立话题也将被新的10分钟长度的学术讨论题型所替代。
随着考试时长和题目数减少，许多疑问也应运而生：题目减少是否意味着容错率降低？写作题型的改变会不会影响考生成绩？考生分数数据分布是否会产生变化？这些问题都是想要选择托福考试或正在备考托福考试的考生非常关注的。不过目前ETS没有给出相关数据，而从以往经验来看，ETS在一年一度的Test and Data Summary中给出的会是全年数据 [2] [3] [4] ，也就意味着今年晚些给出的2023年数据将无法区分考试前后；而由于今年全球托福成绩一直在提升，利用未来2024年的数据对比2022年的改革前数据会产生一些误差。
因此本研究希望通过新东方考生的数据帮助托福考生和从业者更好地了解改革前后托福考试的分数分布情况，让考生们对于考试有更好的掌握。
2. 数据来源
本次研究将利用新东方某地大学生业务在过去一年多记录的学生考试数据，对考试改革前后的考试成绩进行计算，对比改革前后统计数据数值和统计学特征，以判断本次托福考试改革对于考生的影响。
由于所有参与统计的学生都来自于单一城市并均为同一年龄段，因此前后两组数据虽然数量不同(改革前数据较多)，但是其数据特征是有横向比较价值的。
3. 结论与分析
我们首先看一下考试改革前后四个单项的统计数据情况，见表1。
Table 1. A sample of modified POST
表1. 调整后的语篇标签示例
可以看出，四个单项在平均分数上几乎都没有变化，均在0.1~0.2分上下，而中位数则是四个单项改革前后均没有任何的变化。数据离散度方面也相对比较相似，其中相比于其他四个单项，听力在改革后数据的离散度稍有降低。这一点在听力改革后四分位距缩小1分上也有所体现。
如果将两组数据的箱线图拿出来比较也可以得到比较有趣的结论，见图1。其中听力除了第一四分位数上升之外，其像下图的下边缘也有所提升。由于本次考试听力改变较少，只是取消了加试，可以看出加试的取消对于听力分数不高的同学还是非常有友好的，由于加试疲劳度导致的一些问题应该是得到了缓解。
除了听力的离散度降低之外，通过箱线图可以看出口语单项在改革之后其上边缘有所下降。此部分有可能是由于改革后数据在高分段较少，使得范围内没有取到理论最大值导致，与考试改革本身无关。
Figure 1. A comparison of student scores of the four sections
图1. 改革前后学生四个单项成绩对比
在ETS刚刚宣布考试改革的初期，很多同学会担心由于题目减少，导致高分段容错率降低，使得高分比较难以获取。本次研究做了考试改革前后数据的累计频率的对比，并计算了改革后与改革前累计频率的差值，见表2。可以看出，在28以上、25以上分数段，改革后的累计频率都有所下降，不过下降幅度较小，为1%左右，影响不大。不过有趣的是阅读单项在20以上的累计频率反而是有所上升的。可以看出目前统出的数据还是支持大部分人“高分更为困难，中等分数更为容易”的预判的。不过考试改革前后，四个单项在高分段中最大的差值也仅仅为2.7%，因此可以看出考试改革对于最终分数影响并不显著。
Table 2. Changes of accumulative frequency change in different score ranges
表2. 不同分数段学员占比变化
下面我们再看一下各个单项直方图的对比，见图2和图3。
Figure 2. A comparison of frequency in Reading and Listening sections
图2. 阅读与听力学生分布对比
在阅读和听力两个单项，可以看出改革对于直方图形状的影响稍有不同。阅读单项在改革之后直方图在高分段相对拉平了一些，而在听力单项则感觉数据向中位数更加靠拢了一些。不过两者其实都是在20~30这个分数段“损有余而补不足”的趋势，与前面在累计频率上提到的趋势相似。
Figure 3. A comparison of frequency in Speaking and Writing sections
图3. 口语和写作学生分布对比
在口语和写作两个单项，考试改革前后直方图的变化则并不明显。口语方面，由于并没有发生变化，因此与之前直方图相似属于预料之中。而在写作方面直方图和其他数据的稳定则表明新的学术讨论题型在替代了独立写作的情况下保持了分数的稳定性。
最后我们来看一下各个单项分数与总分之间的关系在考试改革前后的是否有所变化，见图4。
Figure 4. Distribution comparison of four sections
图4. 各单项改革前后分数分布对比
4. 总结
2023年托福考试的改革比较2019年的改革还是更为大胆的，不仅减少了题目，还改变了过去非常稳定的写作题目并大胆地去掉了托福极其特色的“加试”。新的变化虽然在改革初期让很多考生和潜在考生感受到了极大的不确定性，但是随着后续陆续考生的出分，考生们所担心的问题也一一得到了解答。
本次研究通过改革前后1500多名考生的真实数据，可以初步给出“托福考试本次改革在考试出分维度影响较小”的结论。托福考试在经历较大的改变的情况下，依旧维持了很好的一致性，从学生实际出分的角度来看，托福考试依旧非常可靠。
不过，本次研究由于受目标人群所限，结论更多地集中在单一地区的成年考生方面。不同地区考生的横向比对，以及改革在低龄考生的影响方面依旧有很大的研究空间。特别是考虑到低龄考生在阅读和听力单项上表现与成年考生相比较弱，对其影响，以及不同年龄段考生影响大小的横向对比还是比较值得进一步研究的。
参考文献