浅析雅思托福与DET分数的相关性

Score Correlation among TOEFL, IELTS and DET

摘要: 截至2020年，全球已经有800多所院校和机构认可多邻国英语考试(DET)成绩作为入学申请语言能力证明，甚至可以替代雅思和托福成绩。因此，许多原本计划参加托福或者雅思考试的考生也许会考虑转考DET。在此背景下，多邻国官方所发布的三种考试之间的相关性报告的效度和真实性便值得进一步研究论证。此外，考虑到最近的一次相关性研究，即Geoffrey T. LaFlair和Burr Settles在2019的实验，并未探索DET分数与托福雅思各项小分之间的相关关系，本实验补充了此方面的研究，从而为熟悉托福雅思但并不熟悉DET的考生和辅导机构教师提供一些建议和帮助。本研究采用量化研究方法，使用统计软件IBM SPSS来计算皮尔森和斯皮尔曼相关系数。本实验样本共包含了116份DET分数，其中86份同时拥有托福和DET成绩，另外30份则同时拥有雅思和DET成绩。研究结果如下：1) 托福、雅思和DET三者总分之间存在显著正相关关系，这与多邻国官方研究报告结果一致；2) 托福考生写作和口语分数与DET分数之间呈中等程度相关关系，可能意味着这两部分与DET考生拥有相似的评分标准和难度；3) 托福阅读和听力部分与DET分数没有显著相关关系，意味着熟悉托福的考生和教师在备考DET时需要谨慎借鉴托福的备考经验；4) 除写作以外，DET与雅思其他单项分数均成中等程度相关关系，说明雅思考生转考DET时迁移成本可能较低，但是仍然需要额外注意DET写作部分的备考。

Abstract: By 2020, more than 800 universities have acknowledged DET score as the language ability certifi-cate for admission as an alternative to TOEFL and IELTS. In consequence, numerous students who intended to take TOEFL or IELTS exam might consider taking DET. Under such circumstance, the validity and authenticity of the score concordance among three tests claimed by Duolingo is worth examining. Moreover, since the latest correlation study, namely the experiment conducted by Geoffrey T. LaFlai and Burr Settles in 2019, did not look into the correlation between the overall DET score and each individual unit scores of TOEFL and IELTS, this research probed into this area so as to offer pedagogical insights to test takers and teachers who are familiar with TOEFL and IELTS but not with DET. This research employed a qualitative method, using IBM SPSS Statistics to compute Pearson and Spearman correlation coefficients. The sample involves 116 participants, among of which 86 have TOEFL iBT and DET score, and of which 30 have IELTS and DET score. The findings show that: 1) there is a significant high positive relationship among TOEFL, IELTS and DET overall scores, which accords with previous research results claimed by Duolingo; 2) TOEFL writing and speaking scores are moderately correlated with DET scores, indicating that these two parts might share similar scoring rubrics and test difficulty with DET; 3) there is no significant correlation between DET and TOEFL’s reading and listening scores, suggesting test takers and language teachers who used to prepare for TOEFL should use their experience with discretion; 4) there is a moderate positive relationship between DET scores and all four IELTS part scores except writing, which means that although test takers and teachers with IELTS test preparation experiences seem to have lower difficulty in preparing for DET, yet they still need to pay extra attention to the writing items in DET.

1. 引言

Duolingo English Test (DET)作为一种计算机自适应英语能力测试，由Duolingo Language Learning Program开发。与托福雅思考试相似，DET声称可以对第二语言学习者的阅读、听力、写作以及口语能力进行测试。然而，与前两种考试不同的是，DET采取了计算机自适应技术，即考试时，考生前面题目回答的正确率会决定后面题目的难度；除此之外，“DET测试可根据需要在线提供，考生可以通过电脑和网络摄像头在家进行测试，而无需预约或前往考试中心参加测试” [1]。截止到2020年3月，全球已经有超过900多所大学和暑期课程接受课认可DET成绩作为入学语言测试，其中不乏常春藤盟校的耶鲁大学、哥伦比亚大学和杜克大学等名校 [2]。

2020年初，受新型冠状病毒肺炎影响，中国大陆地区的托福和雅思考试暂时停摆，部分急需语言成绩申请海外院校的考生转而考虑使用DET成绩进行申请。不同于广为接受和认知的托福雅思考试，DET对于考生和语言培训机构来说较为陌生。在此情况下，了解DET分数与托福雅思分数具有何种程度的相关性，似乎可以为语言培训机构以及熟悉托福雅思的考生提供一定程度的备考指导。根据DET官网刊登的数据，其与托福网考分数以及雅思分数均呈显著正相关的统计关系，相关系数分别为0.77和0.78 [3]。

但值得注意的是，上述官方数据中的DET分数效度存疑。因为DET在2019年7月进行了全新改版，由之前的0~100分制变成了目前的10~160分制，所以其最新的官方相关性试验中的DET分数皆是由旧版DET分数(0~100分)转换成新版DET分数(10~160分)而来，并非实际发生的新版的DET考试分数，且缺少第三方对其相关性分析结果进行验证 [3]。因此，新东方组织了全国100多名教师在2020年3月参加了DET考试，收集了其DET成绩及托福雅思成绩，并进行DET考试与托福雅思考试总分以及听说读写各项小分的相关性分析，从而对DET官方的相关性实验结果进行验证和补充。

2. 文献综述

DET作为一种较为年轻的高风险语言能力测试，对于其分数与托福雅思等考试分数的相关性探索研究仍然较少，但是其中部分研究依然可以为本次实验提供理论依据。

Lynn Ishikawa，Kelley Hall和Burr Settles在2014~2015进行了为期两年的DET考试与学术英语能力的相关性实验。他们使用了皮尔森相关系数和斯皮尔曼相关系数来衡量两种考试的相关性，从而使实验分析更加严谨和可信 [4]。其试验结果表明，DET分数与托福总分之间的相关系数只有0.41 (p = 0.001)，呈现中等程度相关关系。但值得注意的是，Lynn等人的实验只涉及到77份样本数据，且都是美国大学生群体，样本背景多样化有限。Feifei Ye在2014年进行了一场类似的研究，其样本数较大，为214份，且实验对象背景更加多样化；其研究结果得出，DET与托福总分之间的相关系数为0.67 (p < 0.001)，成显著正相关关系 [5]。

Michel Bezy和Burr Settles [6] 在2015年开展了DET分数与雅思考试总分和各项小分之间的相关性实验，并同样使用皮尔森和斯皮尔曼两种相关系数来衡量相关性。其数据主要来自于东非国家科技行业的本科毕业生，其中男女比例7:3，年龄跨度为23岁到35岁之间。

其实验结果表1所示：

Table 1. Correlation Index among DET, TOEFL and IELTS (Bezy & Settles, 2015)

表1. DET与托福，雅思相关系数(Bezy & Settles, 2015)

由上表可以看出，该研究结果认为DET分数与雅思总分和各项小分成显著正相关关系(p < 0.001) 3，且两种相关系数呈现一致性。

需要注意的是，以上三组研究中的DET考试均指的是2019年7月份之前的老版多邻国英语考试。而DET考试在2019年进行了升级改版，其总分数有原先的百分制变为了目前的160分，而且其题型也有一定程度的变动，所以上述三种实验对于探究新版DET考试和雅思托福考试分数相关性的意义有限。为了在一定程度上解决该问题，Geoffrey T. LaFlair和Burr Settles [3] 从2018年8月开始，收集了2319份同时拥有DET和托福成绩的分数样本，以及991份同时拥有DET和雅思成绩的分数样本，而收集上来的老版DET分数则由DET官方评分系统重新按照新型评分规则(10~160分)进行评分，然后使用皮尔森相关系数来观察三种考试分数之间的相关关系。其实验结果得出，DET分数与托福总分和雅思总分皆成显著正相关关系，相关系数分别为r = 0.77，p < 0.001，r = 0.78，p < 0.001。

然而，即便是最新的DET的相关性实验报告，其局限性也非常明显：第一，该实验所使用的“新版DET分数”并非真正考试中收集上来的数据，而是由老版分数转换而来 [3]，其分数有效性存疑；第二，该相关性实验只使用了皮尔森相关系数来测量三种考试之间的线性相关关系，并未将斯皮尔曼相关系数考虑在内；第三，该实验只探究了DET与托福雅思总分之间的相关性，而忽略了DET与托福雅思各项小分之间的相关性关系。

3. 实验问题

为了进一步探索因为上述相关性研究的局限性而遗留的问题，对DET与托福雅思分数相关性实验进行验证和补充，本研究特提出以下三个研究问题：

1) 新版DET分数与托福雅思总分之间呈何种程度相关关系？

2) 新版DET分数与托福雅思各项小分之间呈何种程度相关关系？

3) 三种考试之间的相关关系对于辅导DET的教师和考生有何指导意义？

4. 数据收集与分析

本次实验共收集了2020年2~3月参加新版DET考试的教师分数共计116份，其中86名教师同时拥有托福网考成绩，30名教师同时拥有雅思成绩。所收集的分数皆有成绩单图片进行验证，保证数据的真实有效性。

4.1. 描述性统计与正态分布探索

根据ETS公布的数据，2018年中国地区考生的总分平均分为80分，其中听力平均分21，阅读平均分21，写作平均分20，口语平均分19 [7]。根据表2中对于托福分数描述性统计来看，本次实验收集到的托福总分平均分和各小项平均分均高于中国地区考生的平均分。此外，表2中所有数据的偏斜度和峰度均落在−2至+2范围内，且图1中显示其总分Q-Q图基本呈一条直线，所以可以视这此86份数据为近似正态分布，具有一定程度的多样性和典型性。

Table 2. Statistical description of TOEFL score

表2. 托福分数描述性统计

Figure 1. The Q-Q graph of the overall TOEFL score

图1. 托福总分的常态Q-Q图

根据雅思官方公布的数据 [8]，2018年中国地区雅思考生的总分平均分为5.78，其各小项平均分为：听力5.89，阅读6.17，写作5.39，口语5.39。由表3的描述性数据可以看出，本次实验收集到的雅思总分和小分均高于中国地区平均分。但是，其偏斜度和峰度均落在−2至+2之间，且图2中的总分Q-Q图基本呈一条直线，所以这30份数据近似正态分布，也具有一定程度的多样性和典型性。

Table 3. The statistical description of IELTS score

表3. 雅思分数描述性统计

由于DET官方尚未公布其最新平均分数据，所以无法与本次实验数据平均分进行比较。此外，根据表3可以看出，DET总分的偏斜度和峰度均在−1至+1之间，且图3中的总分Q-Q图基本呈一条直线，所以可视本次实验的116份DET分数近似正态分布，同样具有一定程度的多样性和典型性。

4.2. 相关性分析

根据表4中的描述数据可以看出，本次实验的所有分数数据均为近似正态分布，且考试成绩为连续性数值变量，所以首先考虑以皮尔森相关系数(Pearson)作为主要参考，同时使用斯皮尔曼(Spearman)相关系数作为辅助参考。

其分析结果如下：

Figure 2. The Q-Q graph of the overall IELTS score

图2. 雅思总分的常态Q-Q图

Figure 3. The Q-Q graph of the DET score

图3. DET的常态Q-Q图

Table 4. The statistical description of DET score

表4. DET分数描述性统计

根据表5皮尔森r相关分析结果显示，DET成绩与托福总分之间存在显著的强正相关关系(r = 0.649, p < 0.01)，与托福写作(r = 0.463, p < 0.01)和口语分数(r = 0.487, p < 0.01)之间存在中等程度相关关系，与托福听力和阅读分数之间不存在显著相关关系(p > 0.01)。

Table 5. Person correlation-TOEFL

表5. 皮尔森相关–托福

**相关性在0.01层上显著(双尾)；*相关性在0.05层上显著(双尾)。

根据表6斯皮尔曼p相关分析结果显示，DET成绩与托福总分之间存在显著的高度正相关关系(p < 0.01)，相关系数为p = 0.655；与托福写作和口语之间存在中度相关(p < 0.01)，相关系数依次为p = 0.477，p = 0.199；与托福听力和阅读之间不存在显著相关关系(p > 0.01)。

Table 6. Spearman correlation-TOEFL

表6. 斯皮尔曼相关–托福

**相关性在0.01层上显著(双尾)；*相关性在0.05层上显著(双尾)。

根据表7皮尔森r相关分析结果显示，DET成绩与雅思总分之间存在显著的强正相关关系(r = 0.704, p < 0.01)，与雅思听力(r = 0.540, p < 0.01)阅读分数(r = 0.502, p < 0.01)和口语分数(r = 0.504, p < 0.01)之间存在中等程度相关关系，与雅思写作不存在显著相关关系(p > 0.01)。

Table 7. Person correlation-IELTS

表7. 皮尔森相关–雅思

**相关性在0.01层上显著(双尾)；*相关性在0.05层上显著(双尾)。

根据表8斯皮尔曼p相关分析结果显示，DET成绩与雅思总分之间存在显著的高度正相关关系(p < 0.01)，相关系数为p = 0.773；与雅思听力阅读和口语之间存在中度相关(p < 0.01)，相关系数依次为p = 0.572，p = 0.509，p = 0.593；与雅思写作之间不存在显著相关关系(p > 0.01)。

Table 8. Spearman correlation-IELTS

表8. 斯皮尔曼相关–雅思

**相关性在0.01层上显著(双尾)；*相关性在0.05层上显著(双尾)。

5. 结论与反思

根据以上实验数据分析可以得出，新版DET考试分数与托福雅思总分之间存在显著的正相关关系，DET官方最新相关性实验结果 [3] 可以得到验证。除此之外，根据托福雅思各项小分与DET总分的相关系数，可以得出一些备考及培训建议。

1) 因为托福写作和口语分数与DET总分呈显著中等相关关系，由此可以推断DET考生中的写作口语题目与托福写作口语题目有中等程度的相似性，再结合图4中DET的官方Technical Manual中口语写作评分的考核因素 [3]，可以推测两者在评分标准层面有一定程度共通之处；因此，语培机构教师在备课DET口语写作时，可以参考托福口语写作的备考经验，而熟悉托福口语写作的考生，转考DET之后，以上两个科目的备考迁移成本也会较低；

2) 托福听力和阅读分数与DET总分之间不存在显著相关关系，因此熟悉托福考试的考生在备考DET时，需要注意DET考试中的阅读听力练习，不能因为托福听力与阅读分数较高就忽视DET这两部分题目的备考；之前主要教授托福的教师，备课DET时也需要谨慎借鉴之前托福听力阅读的备课经验；

Figure 4. The speaking and writing scoring features of DET

图4. DET口语写作部分评分要素

3) DET总分与雅思听力阅读和口语之间存在显著中等程度相关关系，因此熟悉雅思考试的考生转考DET的迁移成本较低；但值得注意的是，雅思写作与DET之间不存在显著相关关系，所以熟悉雅思考试的考生仍然需要额外注意DET写作题目的备考，了解熟悉其评分标准。

6. 局限性

本次实验并未将考生年龄以及性别作为参考因素，因为有实验表明年龄与性别差异并不会对数据产生实质影响 [6]。此外，由于参与本次实验的对象皆为新东方语言教师，英语水平较高，其分数与中国地区考生平均分相差较大，且缺乏低分段分数数据，且雅思实验部分样本量较小，普适性有限，因此未来实验可以着重以上几方面进行改进。