基于4378篇学生托福作文样本的e-rater®评分维度中高频错误分析
Analysis of High-Frequency Errors Detected in E-Rater® Scoring System Based on 4378 Students’ Samples of TOEFL Writing
DOI: 10.12677/OETPR.2022.44019, PDF, HTML, XML, 下载: 290  浏览: 1,048 
作者: 黄伟娴, 李丰贤:广州新东方国际教育培训中心,广东 广州
关键词: 托福写作自动化阅卷电子评分语料库学生错误TOEFL Writing Automated Scoring E-Rating Corpus Learners’ Mistakes
摘要: 本研究基于ETS授权新东方使用的e-rater®评分系统,采取变量控制和数据分析,致力于探讨e-rater®评分时主要检测出的错误类型以及过程中教师可获得的相关教学启示。主要探讨的问题包括:1) e-rater®所检测错误的基本分类;2) 中国考生托福作文中的五类最高频错误;3) 这五类错误的相关数据和内容细节;4) 针对这五类错误的教学建议和注意事项等。
Abstract: By analyzing the ETS e-rater® scoring engine which is now available on the New Oriental test-prep website, and by analyzing the control variables and data, this study discusses the scoring performance of the ETS e-rater®, mainly in terms of error detection. Specifically, the essay focuses on the following aspects: 1) Basic categories of errors detected by the e-rater®; 2) Five types of common mistakes in TOEFL writing made by Chinese test-takers; 3) Relevant data and content details of these five types of errors; 4) Suggestions for the teaching of these five types of errors.
文章引用:黄伟娴, 李丰贤. 基于4378篇学生托福作文样本的e-rater®评分维度中高频错误分析[J]. 国外英语考试教学与研究, 2022, 4(4): 159-173. https://doi.org/10.12677/OETPR.2022.44019

1. 托福写作介绍

托福考试是由ETS (Educational Testing Service,美国教育考试服务中心)出题和举办的英语语言测试,主要考查本科生阶段学习所需要的英语听说读写四项语言能力。

在托福写作部分,考生需要完成两篇作文:综合写作(Integrated Writing)和独立写作(Independent Writing)。综合写作题目要求考生根据给出的阅读和听力材料完成一篇基于学术材料的作文,主要考察学生的摘要、引用和信息整合能力。独立写作题目要求考生根据具体的写作话题和指令,对一个常见的话题(familiar topic)进行分析并且完成一篇议论文写作。时长方面,综合写作要求考生20分钟内完成,独立写作则为30分钟。评分方面,每篇作文得分均为0~5分,考生最终作文部分的总分为两篇作文各自得分的平均分,精确到0.5分,然后根据换算机制换算为30分制。

考官在评分时,会针对考生的作文质量做出整体的评价(holistic scoring)。考官主要会关注考生是否能够在作文中搭建基本的文章逻辑框架,以及文章是否有合理使用例子和论证进行观点的支持和展开。考官还会根据考生作文的文章扣题程度、词汇和句式的多样性和准确性来表达观点 [1]。

2. 托福写作e-rater®结构介绍

e-rater®在评分时,主要根据文章的多项维度进行打分。具体细则如图1所示。

· 逻辑组织和展开论述(organization and development)

· 积极特征(positive features)

· 词汇复杂度(lexical complexity)

· 词汇关联度(topic-specific vocabulary usage)

· 语法错误(grammar)

· 用法错误(usage)

· 行文规则(mechanics)

· 文章风格(style)

3. 研究问题

1) e-rater®所检测错误的基本分类

2) 中国考生托福作文中的五类最高频错误

3) 五类错误的相关数据和内容细节

4) 对托福写作教学的启示和小结

Figure 1. The e-rater® construct decomposition

图1. e-rater®结构图 [2]

4. 研究数据结果

4.1. e-rater®所检测错误的基本分类及各项具体占比

表1所示,Usage语言使用和Mechanics写作规范是最常见的两类错误,分别占比35.76%和31.71%。其次语法和语言风格相关方面错误占比分别是18.01%和14.53%,相对占比较少,具体占比关系如图2所示。

Table 1. Different categories of errors detected by e-rater®

表1. e-rater®所检测的各项错误类别

Figure 2. Percentage of error categories detected by e-rater®

图2. e-rater®所检测的各项错误类别占比

4.2. 中国考生托福作文中的五类最高频错误

Table 2. Frequency of mistakes made by Chinese test-takers

表2. 中国考生所犯错误的频率列表

4.3. 五类错误的相关数据和内容细节

4.3.1. 冠词错误

根据中国考生e-rater®评分的数据来看,在Usage维度的考察中,约47.6%的错误集中在冠词的使用上。错误出现次数高达11395次,如表2所示。其中与冠词缺失和多余使用有关的错误约占46.4%,与冠词误用有关的错误约占1.2%,如表3所示。

Table 3. Common features of article errors

表3. 冠词高频易错点

1) 冠词使用缺失

表4所示,以下单词前最容易出现冠词缺失。

Table 4. Words relating to missing-article problem

表4. 其前容易出现冠词缺失的单词

以下摘录部分学生样本中含有该错误的语料:

学生1:In this case, government would not only provide tremendous job opportunities, but also improve transportation. (government前面遗漏了定冠词the)

学生2:Considering that fact that nearest shoreline is far away, building such a long pipeline could be costly. (nearest前面遗漏了定冠词the)

学生3:We can send messages to or contact each other through Internet to share joys and sorrows. (Internet前面遗漏了定冠词the)

2) 冠词使用多余

表5所示,冠词多余的情况主要发生在the的使用上。

Table 5. Extra articles and their percentage

表5. 冠词使用多余占比

以下摘录部分学生样本中含有该错误的语料:

学生1:On the other hand, the professor thinks that the Jane Austen has been dead for almost 70 years. (Jane Austen表示人名,属于专有名词,前面不需要加the)

在研究的过程中,笔者也发现冠词错误还有不同的衍生,比如在e-rater®所检测出的错误中有一类错误为限定词错误。这类错误和冠词错误非常相似,从错误原因来看限定词错误和冠词错误是同根同源的,因此也把对应数据列举出来,如图3所示。

图3所示,29%的限定词使用错误都集中在不定冠词a/an和another等限定词的使用上面,其次就是在使用these/those/many/several/many等限定词上。

图4所示,学生在使用限定词时,容易犯以下错误:

1) 一般来说,不定冠词a/an和another等限定词后面搭配的名词为可数名词单数,而学生会在后这类限定词后面搭配可数名词复数;e.g. Another problems can be …

Figure 3. Percentage of common determiners in the mistakes of determiner-noun agreement

图3. 限定词易错类型占比

Figure 4. Reasons for the mistakes of determiner-noun agreement

图4. 限定词错误原因占比

2) these/those/many/several/many等限定词后面搭配的名词为可数名词复数,而学生会在后这类限定词后面搭配可数名词单数或者不可数名词;e.g. I love drinking those milk.

3) this/that/each/every这类限定词后面搭配的名词为可数名词单数,而学生会在后这类限定词后面搭配可数名词复数;e.g. Each people can have each apple.

4) much限定词后搭配的名词为不可数名词单数,而学生会在后这类限定词后面搭配可数名词复数。

4.3.2. 拼写错误

从这4378名中国考生e-rate®评分的数据来看,如表6所示,以下单词最容易出现拼写错误。

Table 6. Common spelling mistakes in English (excerpt)

表6. 常见容易出现拼写错误的单词(节选)

通过分析可知,考生会犯拼写错误的主要原因有:

1) 英美拼写混淆

在e-rater®评分系统中,英式拼写会被标注为不规范的拼写,比如travelling,colourful等。因此建议统一改为美式拼写,改为traveling,colorful。由此可见,e-rater®是更倾向于美式拼写。

另外,其他原因还涉及:

2) 单词字母发音导致拼写错误

根据发音规则来对拼写错误的问题进行分类,具体情况如下。

A) 单词中含有不发音的辅音字母时,辅音字母容易被漏写,如表7所示。

Table 7. Common spelling mistakes resulting from silent consonants

表7. 常见包含不发音辅音字母的单词拼写问题

B) 包含双辅音单词的拼写中,容易漏写或多写辅音字母,如表8所示。

Table 8. Common spelling mistakes resulting from a double consonant

表8. 常见包含双辅音字母的单词拼写问题

C) 元音所对应的具体字母有误,如表9所示。

Table 9. Common spelling mistakes resulting from vowels and their corresponding letters

表9. 涉及元音音标与字母对应的单词拼写问题

3) 词性变换时出现混乱

比如受到动词argue的影响,把argument写成arguement

4) 创造词汇

比如把本科生undergraduate写成undergraduation

4.3.3. 句子结构错误

从中国学生e-rater®评分的数据来看,如表10所示,句子结构方面的错误主要有以下四类:

Table 10. Common mistakes of sentence structures and their percentage

表10. 句子结构相关的错误类别及占比

表11所示,导致句子结构出错的主要原因如下:

Table 11. Reasons for common mistakes of sentence structures

表11. 句子结构使用错误的原因分析

以下摘录部分学生样本中含有该错误的语料:

学生1:The researchers compares the number of essays published on Science written by those students interested in history. (主谓一致错误,researchers属于复数,所以谓语动词compare不应使用第三人称单数,不需要加-s)

学生2:Such phenomenon illustrate the animal’s instinct of protecting itself against potential danger. (主谓一致错误,phenomenon属于单数,所以谓语动词illustrate需要使用第三人称单数,需要加-s)

4.3.4. 标点错误

图5所示,标点符号的错误集中在逗号的使用上。52%的错误属于缺少逗号,34%的错误属于多余逗号。其次则是句号、连字符和问号使用方面的错误。

以下摘录部分学生样本中含有该错误的语料:

e.g.

1) However the listening challenges what is stated in the passage by providing three strong reasons.

Figure 5. Common punctuation mistakes and their percentage

图5. 各项标点错误类型及占比

(However后面缺少逗号隔开)

2) There are more chances to end something lying than saying what really happened (句末缺少句号)

3) First of all, the reading suggests that the medical school is expensive and students cant afford it. (cant缺少撇号,应改为can’t)

4) Therefore, we need to develop a well organized lifestyle nowadays. (well organized中间缺少连字符,应改为well-organized)

5) Could kids have a general perception of the gestures and utterances their parents made while playing. (这句是疑问句,应该以问号结尾)

关于标点错误使用原因的基本分析如表12所示:

Table 12. Reasons for common punctuation mistakes

表12. 标点使用错误的原因分析

其中值得一提的是,在问号(question mark)的使用中,通过对e-rater®数据的分析,笔者发现e-rater®对于“what’s more”、“what’s worse”之类的短语有一定概率无法正确识别。换言之e-rater®会把对应的句子判为缺少问句的错误。

类似的误判还出现在虚拟语气类的倒装句(e.g. “Were I forced to choose, I would…”, “Should they…, they were not likely to…”)和感叹句(e.g. “How disappointed he would be!”, “What a good invention!”)中。类似的表述容易被e-rate®误判为错误,笔者推测e-rater®会以为这是疑问句,应该使用问号。因此建议考生在写作时尽量避免上述情况,可以使用同义短语,比如“moreover, in addition, besides”之类的表达,以及避免使用虚拟语气的倒装和感叹句,从而避免增加作文中错误的数量。

在分析e-rater®的数据时,笔者发现经常被考生漏掉连字符的单词如表13所示。

Table 13. Common mistakes resulting from missing hyphens

表13. 常见包含连字符使用错误的单词类别

4.3.5. 动词形式错误

从中国学生e-rater®评分的数据来看,约28%的错误集中在动词形式的使用上。在动词形式的使用中,考生特别容易出现以下类型错误:

· 情态动词后接动词形式:e.g. can helps (应为can help)

· 助动词be/have后接动词形式:e.g. have find (应为have found)

· 不定式结构to do中动词形式:e.g. choose to providing (应为choose to provide)

· 其他动词形式:e.g. know learn (应为know how to learn)

以上错误的具体占比情况如表14所示。

Table 14. Common ill-formed verb mistakes and their percentage

表14. 常见动词形式使用错误类型及占比

5. 对托福写作教学的启示和小结

1) 根据ETS报告,目前e-rater®使用的评分机制是整体打分,换言之各类别错误对整体评分的影响一致,教师可优先让学生学习修改较简单且常见的错误。根据ETS报告中的如下原文,所有类型的错误对于分数占比一致,即一个句式方面错误和一个冠词错误对分数的影响是一样的,因此鼓励学生对自己文章做proofreading非常重要。

This aggregation model adopts an equal-weight scheme that assigns equal weights to all the microfeatures in the same macrofeature group. The rationale of the equal-weight approach is that each microfeature measures a single, but equally important, underlying construct. These microfeatures, therefore, should be weighted equally.” [3]

2) 根据学生数据来看,e-rater®对于常见错误比较敏感,可以检测出本文所提及的五类高频错误。但是也有部分错误e-rater®是无法检测出来或者出现误判的情况。因此,对于教师和学生而言,优先解决常见错误是提高语言质量更佳的做法。

3) 评分维度已经列出考查的语言要点,教师应在教学中重点帮助学生掌握相关语法知识,可从以下两个方面着手:

A) 为学生提供相关高频易错点的总结

教师在授课过程中涉及高频错误,如动词错误(ill-formed verbs)时,可以给学生提供一些高频错用动词列表,如表15所示。

Table 15. Common ill-formed verbs

表15. 常见动词形式错误

B) 为学生提供相关针对性改错练习,提升学生对特定知识点的掌握。

以拼写错误为例,教师在授课过程中可以设计类似如下练习:

1) 判断正误练习:

请判断以下表达中,哪些表达含有拼写错误(F),哪些表达是拼写正确的(T)?

2) 句子改错练习:

下面句子分别带有拼写相关的错误。阅读并按照提示,在横线上写出正确的句子。

1) Firstly, the ability to acquire more konwledge may help to solve problems successfully.

2) It is ture that there are some rules important for the development of young people.

3) Nowdays, people are always influenced by others, especially some famous people.

目前笔者已经针对e-rater®常见错误制作了对应的改错专题练习,有兴趣的老师可以通过邮件联系笔者,进行进一步的交流和沟通。

参考文献

附录

常见拼写错误列表

参考文献

[1] 杜璟, 冷楠. 对GRE写作自动化评分器e-rater评分准确性的实证[J]. 国外英语考试教学与研究, 2020, 2(3): 140-148.
https://doi.org/10.12677/OETPR.2020.23013
[2] Quinlan, T., Higgins, D. and Wolff, S. (2009) Evaluating the Construct Coverage of the E-Rater Scoring Engine. Educational Testing Service, Princeton.
[3] Chen, J., Zhang, M., and Bejar, I.I. (2017) An Investigation of the E-Rater® Scoring Engine’S Grammar, Usage, Mechanics, and Style Microfeatures and Their Aggregation Model (Research Report No. RR-17-04). Educational Testing Service, Princeton. https://dx.doi.org/10.1002/ets2.12131_x0005_