ABSTRACT
This study compares the complexity of TOEFL iBT reading texts with that of GRE General Test reading comprehension texts in a quantitative manner. Text complexity is analyzed from three dimensions: (1) vocabulary complexity, as indicated by average number of syllables per word, word frequency, and type-token ratio; (2) sentence complexity, as indicated by average sentence length; (3) reasoning complexity, as indicated by the number of oppositional reasoning words per 100 words. The study found that GRE reading texts are slightly more complex in terms of vocabulary than their TOEFL counterparts. Sentence complexity is almost the same for these two kinds of texts. However, GRE texts’ reasoning complexity is significantly higher than that of TOEFL texts. It follows that the relatively high difficulty of GRE reading questions results to a great extent from GRE reading texts’ complex reasoning.
Keywords:TOEFL, TOEFL Reading Comprehension, GRE, GRE Reading Comprehension
Copyright © 2020 by author(s) and Hans Publishers Inc.
This work is licensed under the Creative Commons Attribution International License (CC BY 4.0).
http://creativecommons.org/licenses/by/4.0/
1. 引言
Test of English as a Foreign Language，Internet-Based Test (TOEFL iBT，中文名为“托福网考”，以下简称托福)和the GRE General Test (国内一般将其翻译为“美国研究生入学考试”，以下简称GRE)是大多数打算申请美国研究生院的中国学生都需要参加的两项国外考试。两者都由Educational Testing Service (美国教育考试服务中心，以下简称ETS)开发和举办，但两者在考查的内容和侧重点上存在着显著的区别。托福考试旨在考查母语非英语的考生在大学环境中使用英语交流的能力 [1]。考试分为阅读，听力，口语和写作4个部分。GRE考试则旨在考查考生的思维和推理能力 [2]。考试分为语言推理(verbal reasoning)，数量推理(quantitative reasoning)和分析性写作(analytical writing)三个部分。此外，与托福不同的是，GRE考生主要来自于美国 [3]。
根据托福考试介绍 [1]，托福每次考试会考查三至四篇阅读文章，阅读部分考试总时长为60分钟(三篇文章)或80分钟(四篇文章)。所有的阅读材料均节选或改编自大学级别的课本或文章，每篇阅读文章长度约为700个单词，每篇文章配有12~14道题目。每篇文章除最后一道题目以外均为单项选择题，最后一道题目为多项选择题。托福阅读考试旨在考查考生以下三方面的能力：
(1) 在文章中查找信息。具体包括：
· 浏览文章来找到关键事实和重要信息
· 流畅而快速的阅读文章
(2) 基本的文章理解。具体包括：
· 理解文章的主题和主要思想、文章的重点和重要事实、语境中单词的意思以及代词的指代对象
· 对文章中暗示的内容做出相应的推断
(3) 通过阅读文章来获得新的信息。具体包括：
· 知道文章的组织结构和主要目的
· 理解观点之间的关系
· 能以图表或总结概括的方式组织文中的信息，从而回忆起文章的主要内容和重要的细节
· 推断出文中的思想是以何种方式互相联系的
根据GRE考试介绍 [2]，GRE在语言推理部分包含阅读理解题目。GRE每场考试大约会考10篇左右研究生水平难度的阅读文章。大多数GRE阅读文章篇幅较短，一般只包括一段，长度大约在100~150个单词，每篇文章配有1~2道题目。少数文章长度较长，大约为400~450个单词，一般为2~3段，每篇文章配有3~4道题目。绝大多数GRE阅读题目类型为单项选择题，少数题目为不定项选择题，以及从原文选择句子题。GRE阅读理解旨在考查考生以下能力：
· 理解单个单词意思
· 理解单个句子意思
· 理解段落以及篇章意思
· 区分主要和次要信息
· 总结全文
· 根据已有信息得出结论
· 从不完整的信息推断缺失内容
· 理解文章内容和内容之间的关系
· 辨别作者的立场
· 辨别作者在文章背后的假设
· 分析文字并从中得出结论
· 辨别文章优缺点
· 对于文中的事实提出不一样的解释
从上面的考试介绍中可以发现，托福阅读题目和GRE阅读题目在形式上比较接近，在具体考查的能力上两者也存在着高度的重复。但两者在难度上有着显著的差异。绝大多数中国考生都认为GRE阅读题目在难度上要远远高于托福阅读题目，且GRE阅读文本的阅读难度要远高于托福文本的阅读难度。从实际情况来看也是如此。中国考生在托福阅读部分平均分为21分(满分30分) [4]。这一成绩大致相当于做对了65%的阅读题目。而中国考生在GRE语言推理部分的平均成绩为148.8分(语言推理部分最高分170分，最低分130分)。这大致相当于做对了语言推理部分42%的题目。需要指出的是，由于GRE语言推理部分除了阅读理解外还包括文本填空和句子等价题目，阅读理解部分只占语言推理部分一半的分数。但由于GRE考试在设计上要求每一套考题中的题目难度之间差异较小 [5]，因此考生在语言推理部分的整体正确率和阅读理解题目上的正确率相差不会太大。
本研究以量化的方式对比托福阅读和GRE阅读文本的复杂度，以便可以更好的理解托福阅读和GRE阅读难度上的差异，进而为考生备考提供指导。
2. 研究方法
本研究将从词汇复杂度、句子复杂度和思维复杂度三个方面对比托福阅读和GRE阅读文本的复杂度。
2.1. 词汇复杂度
词汇往往是学习第二语言过程中的第一个、甚至很多时候是最大的一个障碍。由于托福阅读和GRE阅读的文本语言均为英语，所以其词汇复杂度对于中国考生理解文章会有显著影响。以往的研究已经发现GRE阅读理解题目的词汇难度是GRE语文推理部分所有题目类型中最低的 [6]，但目前尚不清楚其与托福阅读词汇复杂度的关系。本研究在衡量词汇复杂度时采用目前最常用的几个指标，分别是单词平均音节数、单词在语料库中的词频排名和类/形符比(type-token ratio，以下简称TTR)。
2.1.1. 平均音节数
一般而言，音节数越多的单词越复杂，所以平均音节数可以直观地反映出一段文本的词汇复杂度 [7]。
2.1.2. 单词在语料库中的词频排名
通常情况下，越常见的单词越容易被学习者掌握，而越生僻的单词学习者掌握的可能性就越小。因此对于学习者来说，单词的罕见程度和单词的难度直接成正比。本研究在统计单词词频时依据的是当代美语语料库(Corpus of Contemporary American English，以下简称COCA)发布的词频数据。COCA为目前世界上最大的英语语料库，其中收录了总计超过4.5亿字的文本，可以很好地反映出当代英语的实际使用情况。
本研究直接将单词所属词目在COCA中的频率排名作为词汇生僻程度的指标，不做任何换算。数字越大表示单词越生僻，最大为63145。例如按照这一标准，单词look (及其变形如looks、looking等)排名为76，abandon (及其变形如abandons、abandoned等)排名为2203。
2.1.3. TTR
以一段文本中不同的单词数除以该文本的总单词数，得到的结果即为TTR。如“one apple, two apples, three apples”中总词数为6，不同单词数为5，因此TTR为83.3%。TTR可以反映一段文本中用词的多样性。TTR越高意味着重复单词的比例越小，对于读者来说阅读难度就更大。
但TTR这一指标最大的问题在于其高度受文本总长度的影响。一般情况下，人们写文章时能用到的单词总数是有限的，所以文章写的越长，重复出现的单词就会越多，TTR就会越低 [7]。而如前文所述，托福阅读文章在长度上大大超过GRE阅读文章，因此如果直接计算两者TTR的话，得出的结果并无可比性。针对这一问题，一个相对简单、有效并且常用的方法是对于所有的文本都截取同样长度的部分来计算TTR。本研究只统计每篇阅读材料前100个单词的TTR。总长度不足100个单词的阅读材料不参与统计。
2.2. 句子复杂度
除了词汇以外，句子的复杂度也会对文本复杂度有显著影响。文本中所谓的“长难句”可以极大程度上增加读者的理解难度。由于句子复杂度与句子长度存在显而易见的相关性，本研究使用文本的平均句子长度来作为文本句子复杂度的指标。
2.3. 思维复杂度
阅读文章时仅仅理解单个单词或者句子的意思是不够的；只有理解了文章想要表达的思想才算是真正理解了文章。托福是考查英语作为第二语言的考试而非思维能力考试，因此本文作者推断其阅读材料的思维复杂度应该不会太高。而GRE作为考查思维和推理能力的考试，目标考生群体又是以英语为母语，其在设计上就规定阅读材料必须要有极高的思维复杂度，尤其要包括复杂的对立论证(complex oppositional reasoning) [5] [8]。
本研究在计算文本思维复杂度时采用的标准是平均每100个单词中反义论证词的总数。反义论证词共包括否定词(如not)、弱化语气的副词(如hardly)、否定论证词(如challenge、deny)、反义逻辑关系词(如although、however)、和负面评价词(如wrong)。之所以采用上述指标是因为ETS在研究中发现上述指标和文章的思维复杂度存在显著的正相关性 [8]。
3. 研究样本
本研究所使用的托福阅读文本全部来自于ETS发布的托福在线练习(TOEFL Practice Online，以下简称TPO)。TPO中所有的题目都是往年的托福考试原题，因此可以准确地反映出实际托福考试的情况。本研究使用的是TPO 1~35中所有的阅读文章，共105篇。研究仅针对文章的正文部分，文章的标题、注释以及相应的题目均不在研究范围内。
本研究所使用的GRE阅读文本全部来自于ETS发布的POWERPREP PLUS (以下简称PPP)。PPP中所有的题目都是往年的GRE考试原题，因此可以准确地反映出实际GRE考试的情况。PPP总数较少，目前为止一共只有三套。本研究使用的是全部三套PPP中所有的阅读文章，共57篇。研究仅针对文章的正文部分，题目不在研究范围内。
此外，由于GRE机考采用了计算机自适应设计：考生在考场上需要做两套语言推理题目，其中第1套难度为中等，第2套的难度取决于考生在第1套的正确率，共有简单、中等和困难三种可能(在GRE考试中，难度指的是考生做对相应题目的概率，越难的题目考生做对的概率越低) [5]。PPP也采用了同样的设计。这使得本研究可以对于出现在简单、中等和困难部分的GRE阅读文本分别加以研究。
4. 结果
针对研究样本的统计结果如下(表1，图1~5)。
Table 1. Comparison of TOEFL iBT and GRE reading text complexity
表1. 托福网考阅读和GRE阅读文本复杂度对比
Figure 1. Distribution of word frequency ranking—TOEFL
图1. 托福单词词频排名分布
Figure 2. Distribution of word frequency ranking—GRE (all)
图2. GRE (全部)单词词频排名分布
Figure 3. Distribution of word frequency ranking—GRE (easy)
图3. GRE (简单)单词词频排名分布
Figure 4. Distribution of word frequency ranking—GRE (medium)
图4. GRE (中等)单词词频排名分布
5. 讨论
从上述结果中可以看到，在词汇方面，不论是在单词平均音节数、单词词频排名分布、还是在TTR上，都意味着GRE阅读文本的复杂度要高于托福阅读文本，但两者在整体上差异有限。在尤其能反映词汇难度的单词词频排名上，GRE阅读的平均单词词频排名只比托福阅读高了不到5%。简单部分的GRE阅读平均词频排名甚至比托福还要低一些。即使是困难部分的GRE阅读文章平均词频排名也只比托福阅读高不到15%。而作为参考，在词汇方面让中国考生格外头疼的GRE文本填空和句子等价题目中选项单词的平均词频排名接近9000 [6]，是托福还有GRE阅读的数倍。而仅就GRE阅读而言，其文本中词汇的复杂度会随着其所在部分的难度增长而增长，说明在GRE考试中词汇难度确实会影响到阅读题目的解题难度。
Figure 5. Distribution of word frequency ranking—GRE (hard)
图5. GRE (困难)单词词频排名分布
词汇方面值得特别关注的数据是单词词频排名的95百分位值和98百分位值，因为这两个数值可以反映出考试对于考生词汇量的要求 [6]。一般而言，学习者在学习词汇时总是会先掌握相对常见的单词，后掌握相对少见的单词。如果一位考生掌握的英语词汇总量为X，则理想情况下其应该认识阅读文本中所有词频排名小于等于X的单词。于是如果考生的词汇量能达到阅读文本中所有词汇词频排名在第Y百分位的排名数，则意味着该考生可以认识阅读文本中Y%的单词。有研究指出，阅读英语文章时想理解其意思的话，需要认识其中98%的单词(即平均每50个单词中有一个生词)，最低不能低于95% (即平均每20个单词中有一个生词) [9]，因此阅读文本中词频排名在95百分位和98百分位的单词排名数即可以被分别认为是考生想要大致理解阅读文本(认识95%的单词)和几乎完全理解阅读文本(认识98%的单词)所需要掌握的词汇量。
从结果中可以发现，GRE阅读文本的95百分位词频排名只比托福阅读文本高了1000多。也就是说考生如果能够大致理解托福阅读文章的话，想要也能大致理解GRE阅读文章，只需要再多掌握1000个单词出头。考虑到目前市面上所售GRE词汇书收录的词汇量少则三四千多则七八千，这个要求可以说是非常之低。只有想要大致理解困难部分的GRE阅读文本，考生才需要比理解托福文本多掌握2500个单词。而如果对比98百分位的词频排名的话，托福和GRE阅读文本对于考生词汇量要求的差异甚至更小一些。
在平均句子长度方面，托福阅读文本和GRE阅读文本几乎没有区别。而单独对比GRE阅读文本的话，题目难度和文本的平均句长也看不出任何的相关性。尤其让人感到意外的是，困难部分文本的平均句长反而是所有材料中最低的。这说明GRE阅读题目对考生来说难度更高并不是因为文章的句子更长。
而在每百词中反义论证词数量这一项上，托福阅读和GRE阅读体现出了明显的差异：后者比前者多出了几乎50%。即使是简单部分的GRE阅读文本，每百词中反义论证词数量也比托福阅读多了近35%。这说明考生觉得GRE阅读文章更难理解很大程度上是因为GRE阅读文章中的思维更为复杂。而如果单独对比GRE阅读文本的话，可以发现每百词中反义论证词数量和题目所在部分的难度存在明显的正相关性。这说明思维越复杂的阅读文章，其相应的题目对于考生而言也越难做对。这一定程度上也可以说明GRE阅读题目的难度很大程度上是来自于文章的思维复杂度。
6. 结论
从上面的讨论中可以发现，GRE阅读文本在词汇复杂度上要高于托福，但两者差异有限。在平均句子长度方面两者几乎没有区别。但是在思维复杂度上，GRE阅读文章要远比托福文章复杂。这说明GRE阅读文章对于中国考生来说之所以更难理解，更多是因为GRE文章的思维更加复杂，而不是因为其语言本身的复杂度更高。
这对于考生备考托福和GRE有如下启示：
如果考生能够轻松理解托福阅读文章，那只需要付出很少的努力，甚至有可能完全不需要付出努力，也可以理解GRE阅读文章的语言。但是仅仅把语言学好是不足以保证能完全理解GRE阅读文章的，因为GRE阅读文章的难点更多是来自于其复杂的思维。所以在备考GRE阅读时不可以忽视思维能力的训练。