GRE考试对不同研究生专业学业表现的预测效度研究综述
A Review of the Predictive Validities of Graduate Record Examination in Different Graduate School Majors
摘要: 在国外大多数高校研究生院的新生录取决策中,GRE考试(Graduate Record Examination)是一种被普遍使用的标准化考试。GRE考试是否能准确地预测申请者在未来研究生学业过程中的表现,包括课程成绩、科研能力和学位获取等?该问题一直是学术界、高校、申请者、以及留学考试和申请机构所关心的议题。本文通过汇总已有的研究生专业学业情况与GRE考试成绩的关联性研究,总结出一些初步的结论,如:1) GRE考试在研究生学业能力的预测总体上有一定的效度,但不能也不应作为唯一的录取标准;2) 不同专业之间,GRE考试的预测效度有所差异;3) 除了心理学、医学专业,其它研究生专业的相关研究比较薄弱、有待填补;未来有可能通过优化样本选择等实验设计来获得更准确的结论。
Abstract: For the decision-making of the admission process in the majority of oversea graduate schools, GRE (Graduate Record Examination) has been a widely employed criterion of standardized test. Is this examination of robust validity in predicting the future performance of candidates’ graduate study, including graduate grades, research abilities and completion of degree, etc.? Such are the central concern of academic community, colleges and universities, applicants, and also institutions involved. This paper reviews extant studies about the correlation between GRE scores and several graduate majors’ performance, and primarily concludes as following: 1) As a whole, GRE scores exhibit modest predictive validities on the performance of graduate study, while the test results cannot (and should not) be considered separately as an exclusive criterion; 2) different graduate majors implicate variances in the predictive validity of GRE scores; 3) except for the cases of psychology and medicine, other graduate majors have been short of related studies. Adjustment of experiment design such as optimization of sampling method may be conducive for more conclusive results in the future.
文章引用:董方帅. GRE考试对不同研究生专业学业表现的预测效度研究综述[J]. 国外英语考试教学与研究, 2021, 3(1): 1-7. https://doi.org/10.12677/OETPR.2021.31001

1. 引言

由美国教育考试服务中心(Educational Testing Services, ETS)设计并实施的GRE考试(Graduate Record Examination)历来被广泛地运用于国外高校研究生录取过程中。GRE考试包括通用考试(GRE General Test)和专业考试(GRE Subject Test):GRE通用考试考察语言推理(Verbal Reasoning)、数量推理(Quantitative Reasoning)和分析性写作(Analytical Writing),考生需要对复杂问题进行分析、并解决其中的复杂关系;GRE专业考试则考查考生生命科学、自然科学、人文科学等专业领域内的内容。本文中的“GRE考试”除专门提到专业类别的,一般指GRE通用考试。

作为一种标准化考试,GRE考试考查的是考生的通用理性能力;而正因为这种能力的提升不是短期的,而是需要长期的、甚至终身的学习和发展,因此符合研究生教育的核心价值。GRE考试等ETS产品均需遵守《ETS质量与公平标准》,从而在信度、效度、公平、测试开发、测试实施、测试使用等角度符合语言测试的标准。将GRE考试成绩与本科阶段学分积(Undergraduate Grade Point Average, UGPA)结合,可以作为更优的录取和预测指标 [1]。

在Kuncel等人的经典Meta分析中,硕士和博士研究生的学业表现与GRE考试成绩紧密相关,包括研究生一年级GPA、研究生学分积(Graduate Grade Point Average, GGPA)、在校考试成绩、著作引用次数、教授打分、以及最重要的学位获得等指标上都可以较好地预测研究生学业表现。通过对多种专业超过8万余名研究生(来自人文科学、社会科学、生命科学、和数学、物理等自然科学专业)的分析并运用统计模型纠正,Kuncel等认为GRE成绩与本科GPA是有效的学业预测指标;而其中GRE专业考试比GRE通用考试预测效果更好,尤其是对于科研产出的预测 [2] [3]。

而在一项同样运用了Meta分析的综合性研究中,Morrison等综合统计了以往22个关联分析,均是以GRE成绩作为预测因子,来观察其与研究生学分积(GGPA)代表的学业成功指标之间的相关性。其结果是只有约6%的GGPA差异可以用GRE语言推理和数量推理的成绩来解释,从而对该测试“能否作为研究生录取的决定因素之一”提出了质疑 [4]。在我国,同样有人对GRE考试成绩在研究生学业表现中的预测效力提出质疑。如陈露茜认为,GRE考试成绩对研究生学业第一年专业成绩的预测有一定作用,但与研究生教育的其它方面没有显著的关联 [5]。

2. GRE考试成绩对研究生专业预测效度的研究现状概述

不同研究生专业与GRE分数的相关性存在显著差异,如纯粹艺术(Fine Art)专业对GRE成绩的依赖程度远低于教育学、人文科学、数学和自然科学 [6]。而自然科学领域中GRE成绩的预测有效性又高于工科和数学等专业 [7]。一方面,很多专业的研究生录取和表现并未进行相关研究;另一方面,在过去数十年间留学形势的变化和GRE考试的屡次改革也使得对已有若干专业的研究出现了中断。总体来看,在过去的二十年间,GRE考试与研究生学业表现的关联性分析大多集中于心理学专业和医学类专业。接下来,本文将分别对这两类专业和其它专业的有关研究进行回顾和分析。

3. 心理学专业研究生中GRE成绩与学业表现的关联性分析研究

尽管在北美地区的心理学专业研究生申请者中,GRE考试的整体成绩一直在缓慢而稳定地下滑,但获得硕士研究生项目录取的学生的GPA却有所上升。同时,GRE考试成绩也与推荐信、个人陈述、GPA、面试和科研经历一样,成为了心理学博士研究生项目的最关键录取标准之一。虽然从1917年到2004年间,心理学专业研究生的入学最低要求GRE分数和实际入学GRE分数基本都有所下降(尤其是GRE语言推理成绩——在此期间只有实际入学学生的GRE数量推理成绩有所上升),GRE考试依然是北美地区该专业研究生入学的最重要考核标准之一。在所有美国和加拿大的心理学研究生专业申请中,有74%的博士项目和57%的硕士项目要求提供GRE普通考试成绩。其中,29%的博士项目和13%的硕士项目甚至需要申请者提供GRE心理学专业考试成绩 [8]。而在心理学博士学位的取得上,更高GRE分数的申请者也表现出更高的学业完成率和较低的退学率 [9]。

具体来看,在对心理学专业研究生学业表现的一项经典研究中,Sternberg等人发现GRE成绩只有在分析研究生一年级的学习表现时有一定作用;对后续其它方面如学业论文、分析能力、创造能力、实践、研究和教学能力均无法起到理想的预测效果。唯一的例外是GRE分析性写作在心理学专业男性研究生中能起到一定的预测作用 [10]。

同样是对于心理学研究生专业的录取和学业完成研究,Philips等人发现学生的学业完成(获取学位)情况与入学前指标(GRE成绩结合本科GPA)的综合正相关达到70%。该研究的优点在于不仅仅考虑了通过GRE考试而入学的学生,也囊括了GRE成绩不理想、借助其它录取标准而入学的学生 [11]。

综合来看,心理学研究生专业与GRE考试的关联研究起步较早,其结论也与综合类研究的结论基本吻合:即GRE考试成绩对学业表现有一定的预测效度,但预测范围和能力有限。这种吻合可能跟GRE考试一直致力于测量考生的认知能力有关;或者是由于GRE专业考试更多反映的是测试者对于该专业的兴趣 [3]。

4. 医学专业研究生中GRE成绩与学业表现的关联性研究

医学和医学相关专业是该领域内研究较多的另一类方向。Ray对入学并实习一年的47名临床医学硕士研究生的问诊能力进行了调查,并与其入学时的GRE成绩进行了相关性分析,结论是并未发现显著的关联性。因此该研究呼吁医学院重新考虑GRE考试的预测效力,并更改其研究生入学的录取标准,从其它的维度去筛选那些能够习得优秀临床咨询能力的医学生 [12]。

Hocking等人对美国70项医师助理(Physician Assistant, PA)硕士学历的研究生调查中,只有约40%的院校(27所)遵循了ETS对于GRE考试和成绩的指南,而其它43所院校在使用GRE成绩时都存在错误、或用其它考试代替了GRE考试 [13]。Yuen等对2015~2016年间的22,432名医师助理学位申请者进行了分析,发现未被充分代表的少数族裔(Underrepresented Minority, URM)、高龄申请者、男性等因素是申请中的不利因素;并且由于上述因素跟GPA和GRE成绩也同样相关,因此GRE考试被认为构成了少数族裔和大龄申请者的阻碍 [14]。

Katz等人则认为,GRE普通考试对护理学专业的研究生录取起到不利的作用。通过跟踪华盛顿大学护理学院217名研究生,他们发现GRE成绩在申请中造成的阻碍远大于其在预测学业能力方面的裨益——只有约5%~8%的GGPA差异与GRE成绩关联。该校甚至因此调整了其整体录取标准,将更多的重点放在能证明申请者的学术能力和成功可能的其它材料上,例如递交学术论文 [15]。这一结论与Rhodes等人之前在护理学研究生专业所做的研究结论类似 [16]。除了将GRE考试视为护理学博士研究生学业中占比很小的一种预测因素之外,也有研究提出有关学校和机构并未系统地梳理其录取标准和流程,从而使得GRE考试在录取评判过程中缺乏基于实证的(evidence-based)应用指南 [17]。

除了临床医学和护理学之外,其它一些医学相关专业也积累了与GRE考试预测效度有关的研究。Cahn等人分析了免GRE成绩录取的医学专业研究生的学业情况,这些专业包括职业病、物理治疗、医师助理和语言治疗学等30个项目。他们发现免GRE成绩的录取在这些专业中并不能增加少数族裔申请者的录取几率,而其它的主动招生动作确实有助于增加高校研究生来源的多样性 [18]。其中,语言治疗学研究生的学业表现与GRE成绩有一定的相关性,但更为重要的是学生言语发育课程的成绩 [19]。Keskula等人在美国运动员训练联盟支持下的一项研究表明,运动训练(康复治疗)专业GGPA仅与本科GPA有相关性;而GRE分数、执业小时数和本科课程与实习等其它因素均不具备预测效力 [20]。此外,在Powers对全美27所兽医学研究生院约2000余名学生的跨机构联合研究中,GRE成绩和UGPA两种指标对于该专业研究生一年级的学分积(first-year GPA)均具有中等以上的预测能力;经过统计矫正并且将两种指标合并使用则预测效力更强 [21]。

5. 其它专业研究生中GRE成绩与学业表现的关联性研究

Ji对教育学专业的研究生的调查表明,GRE考试与其学业表现存在一定的关联:GRE数量推理成绩和GRE语言推理成绩分别对GGPA的差异具有16%和6%的解释能力。与心理学专业不同的是,该预测性在教育学研究生专业内部维持稳定,并不跟随细分项目而变化。同时,由于亚裔和非洲裔研究生的GRE各项分数都低于欧美裔研究生,而所有族群的GGPA却没有显著差异,所以该研究认为在考虑录取上述少数族裔申请者时应谨慎使用GRE成绩,因为在这些种族的研究生申请者中,GRE成绩与其未来学业成绩的关联性比欧美学生的关联性更弱 [22]。

Ayers等认为对于已经完成数学、化学、工科专业的硕士学业的亚洲研究生来说,托福考试(The Test of English as a Foreign Language, TOEFL)成绩与GRE考试语言推理成绩结合,可以作为有效的未来学业表现预测指标 [23]。然而在化学专业的细分研究中,研究人员甚至发现GRE成绩与学生的后续表现呈负相关:尤其是GRE语言推理部分分数越高,学生在理论化学课堂成绩和获得学位方面表现越差。只有GRE数量推理部分分数能与大多数化学专业课程呈正关联 [24]。

Halley等人通过将全美开设有本科和研究生物理学专业的80所学校进行分类,并将其物理专业下的各科课程授课内容与GRE物理学专业考试进行了对比。他们发现GRE物理考试并不能覆盖所有的实际课堂内容,只占约40%的比例。有趣的是,任何试图弥补这种差异的努力都没有带来GRE物理考生的整体排名变化——这可能是由于GRE物理考试更多依赖的是考生的母语能力和物理学基础课程的学习情况 [25]。

在生物医学工程(Biomedical Engineering)博士研究生方面,已有国外高校提出取消录取过程中对GRE分数的要求:在范德比尔特大学(Vanderbilt University)的研究中,这种被称为“GRExit”(即“脱离GRE”)的策略已在约300个生物医学专业的院系和项目中被采用。值得注意的是,2019年开始的全球新冠病毒疫情似乎起到了催化剂的作用 [26]。

有研究认为GRE成绩与管理学研究生GGPA有显著相关,而本科GPA则并不具有预测效力 [27]。在公共管理学硕士研究生(Master of Public Administration, MPA)专业领域,尽管GRE成绩对未来学业的预测能力存有争议,但其作为重要的录取政策指标仍然有处于可取代的重要地位 [28]。在一项面向工程管理专业(Engineering Management)、以来自军事院校背景的学员(N = 221)为主的研究生调查中,Holt等人发现GRE语言推理和数学推理对于研究生一年级和累计的GPA成绩都可以做出有用的预测。同时,他们也认为GRE成绩无法预测研究生的科研能力:以确定问题、系统分析,并得出有效建议为核心的研究能力被认为是该专业最重要的素养。因此,GRE考试在该专业的选拔和预测效果上还有提升的空间 [29]。

在对刑事司法研究生录取的一项研究中,Stack等人统计了70个刑法硕士研究生项目与GRE成绩的相关性。总体来看,GRE成绩与该专业研究生的学业表现关联不强。但其中一个例外既是GRE语言推理的成绩与GGPA呈强的关联。研究者认为这可能是因为刑法专业类研究生是所有申请者中GRE平均分最低的(包括该研究项目中的对象),因此语言部分的训练必然有助于其在校成绩提高 [30]。

6. 讨论

国外高校对于本科和研究生教育的标准和录取的因素都日益变化,不仅仅是GRE考试,在例如SAT(Scholastic Aptitude Test)考试上也有越来越多的大学选择取消成绩要求。究其原因,都是因为这些曾经被奉为金标准的留学考试并未与学生未来的学业表现展现出较强的关联 [30]。同时,取消标准化考试的尝试与西方国家在教育领域对少数族裔和多元化的关注也不无关系。

综上所述,在自然科学、工程、心理学、医学、人文科学等多个研究生专业,GRE考试与学业表现的相关性研究依然存在争议。在人文科学和社会科学领域中(如心理学、教育学、法学等),GRE语言推理成绩具有更强的预测性;而在自然科学和工程学研究生中(如化学、数学、工程等),GRE数量推理成绩与学业表现的关联性则更强。在心理学专业,由于申请者的GRE普通考试分数普遍较高,所以对其在学业表现中的预测能力的争议很有可能是样本区间带来的天花板效应。GRE成绩只有在一定地位的水平内才具有与GGPA较强的相关性;一旦样本考生的分数超过某个阈值,GRE成绩的预测能力反而变得有限甚至消失。

大多数研究均认为,相比单独使用GRE成绩分数,综合使用多种考核因素(如将本科学分积和GRE分数结合),能够更好地预测申请者在研究生阶段的学业表现和成功程度。然而,简单使用GPA成绩来作为研究生学业成功的衡量指标也并不可靠,这有两方面的原因:一方面,研究生和本科课程的成绩绩点的变化范围有限;另一方面,教职人员在评定分数时不可避免地会出现偏差 [19]。

7. 不足与展望

本文基于目前已有研究成果,综述了GRE考试在国外研究生录取和学业表现中预测能力的关联性,并对未来的发展与研究趋势提出了一些建议。应当指出的是,这一类关联性的研究具有很强的非线性特点,不同的国家、地区、文化、语言、以及不同的专业和跨专业等情况,都可能成为此类研究的不确定因素。Kuncel等人认为由于范围限制(range limitation)和取样错误,很多认为“GRE考试对选拔和预测作用有限甚至无用”的观点是不正确的 [3]。而正如Stack等人对于刑法专业的研究案例能够有效地避免这种范围限制(刑法专业研究生申请者的低GRE平均分,恰好避免了与高GRE分数对象伴随的弱预测效度——天花板效应,Ceiling Effect) [30],我们有理由相信,GRE考试对不同专业的预测性与专业本身和样本的选取方法有极大关联。

另一方面,对于研究生学业表现的衡量标准本身也存在争议。例如研究生课程的打分同样有可能存在范围限制,而且大多样本的学位获取与否、获取学位时间等都是难以记录的。除此之外,标准化考试分数、研究生学业表现和工作(职业)成功(Occupational Success)的关系也有待进一步研究。

不难看出,本文关注的主题先天较为庞大和繁杂。在很多我国留学申请者和机构所主要关心的专业与研究领域中,目前依然没有太多的、争议较少的研究结果和进展。更多与研究生学业表现有关的变量因素也有待发现。相信随着大数据和统计学方法的不断进步,未来研究人员可以更为便捷地设计实验和获取数据,从更完整和更长期的角度阐述标准化留学考试与学业表现的相关性,从而朝向改善测试和选拔人才的道路迈出更深远的一步。

无论GRE等留学考试的未来如何发展,有志于海外留学的申请者都依然需要具备和展示出优秀的语言与思辨能力,并且在争取有说服力的标准化考试成绩的同时,兼顾好本科阶段的学业成绩,才能符合日趋激烈的国际化竞争趋势。

参考文献

[1] 程蒙蒙. 国际知名考试质量与公平性标准的比较研究与启示[J]. 教育理论与实践, 2015, 35(31): 21-25.
[2] Kuncel, N.R., Wee, S., Serafin, L. and Hezlett, S.A. (2001) The Validity of the Graduate Record Exami-nation for Master’s and Doctoral Programs: A Meta-Analytic Investigation. Educational and Psychological Measurement, 70, 340-352.
https://doi.org/10.1177/0013164409344508
[3] Kuncel, N.R., Hezlett, S.A. and Ones, D.Z. (2001) A Comprehensive Meta-Analysis of the Predictive Validity of the Graduate Record Examinations: For Graduate Student Selection and Performance. Psychological Bulletin, 127, 162-181.
https://doi.org/10.1037/0033-2909.127.1.162
[4] Morrison, T. and Morrison, M. (1995) A Meta-Analytic As-sessment of the Predictive Validity of the Quantitative and Verbal Components of the Graduate Record Examination with Graduate Grade Point Average Representing the Criterion of Graduate Success. Educational and Psychological Measurement, 55, 309-316.
https://doi.org/10.1177/0013164495055002015
[5] 陈露茜. 对美国研究生入学考试(GRE)的历史研究[J]. 清华大学教育研究, 2014, 35(1): 102-110.
[6] Thornell, J.G. and Mccoy, A. (1985) The Predictive Validity of the Graduate Record Examinations for Subgroups of Students in Different Academic Disciplines. Educational and Psy-chological Measurement, 45, 415-419.
https://doi.org/10.1177/001316448504500229
[7] Basturk, R. (1999) The Relationship of Graduate Record Examination Aptitude Test Scores and Graduate School Performance of International Students at the United States Universities. The Annual Conference of the Mid-Western Educational Research Association, Chicago, 13-16 October 1999, 15 p. https://eric.ed.gov/?id=ED499485
[8] Norcross, J.C., Kohout, J.L. and Wicherski, M. (2005) Graduate Study in Psychology: 1971 to 2004. American Psychologist, 60, 959-975.
https://doi.org/10.1037/0003-066X.60.9.959
[9] Holmes, C.B. (2003) One Obvious Reason Doctoral Program in Psychology Use the Graduate Record Examination. Psychological Reports, 92, 692.
https://doi.org/10.2466/pr0.2003.92.2.692
[10] Sternberg, R.J. and Williams, W.M. (1997) Does the Graduate Record Examination Predict Meaningful Success in the Graduate Training of Psychologist? A Case Study. American Psychologist, 60, 466-468.
[11] Philips, D. and McAuliffe, K. (2004) The Validity of the Graduate Record Examination in Predicting School Psychology Graduate Program outcomes: A Conditional Probability Analysis. The School Psychologist, 58, 56-61.
https://doi.org/10.1037/e537442009-001
[12] Ray, S.L. (2004) An Investigation of Master’s Level Counseling Students’ Clinical Efficacy: The Relationship between Graduate Record Examination Scores and Demonstration of Clinical Skills in Practicum. Electronic Theses and Dissertations 2004-2019, 115.
[13] Hocking, J.A. and Piepenbrock, K. (2010) Predictive Ability of the Graduate Record Examination and Its Usage across Physician Assistant Program. The Journal of Physician Assistant Education, 21, 18-22.
https://doi.org/10.1097/01367895-201021040-00002
[14] Yuen, C.X. and Honda, T.J. (2019) Predicting Physician Assistant Program Matriculation among Diverse Applicants: The Influences of Underrepresented Minority Status, Age, and Gender. Academic Medicine, 94, 1237-1243.
https://doi.org/10.1097/ACM.0000000000002717
[15] Katz, J.R., Chow, C., Motzer, S.A. and Woods, S.L. (2009) The Graduate Record Examination: Help or Hinderance in Nursing Graduate School Admissions? Journal of Profes-sional Nursing, 25, 360-372.
https://doi.org/10.1016/j.profnurs.2009.04.002
[16] Rhodes, M.L., Bullough, B. and Fulton, J. (1994) The Gradu-ate Record Examination as an Admission Requirement for the Graduate Nursing Program. Journal of Professional Nursing, 10, 289-296.
https://doi.org/10.1016/8755-7223(94)90054-X
[17] Chicca, J. (2019) Analyzing Use of the Graduate Record Examinations General Test in Doctoral Nursing Education: Start, Stop, Continue, or Modify? Nursing Education Per-spectives, 41, 26-29.
https://doi.org/10.1097/01.NEP.0000000000000513
[18] Cahn, P.S. (2015) Do Health Professions Graduate Pro-grams Increase Diversity by Not Requiring the Graduate Record Examination for Admission? Journal of Allied Health, 44, 51-56.
[19] Boles, L. (2018) Predicting Graduate School Success in a Speech-Language Pathology Program. Teaching and Learning in Communication Sciences & Disorders, 2, Article 1.
https://doi.org/10.30707/TLCSD2.2Boles
[20] Keskula, D.R., Sammarone, P.G. and Perrin, D.H. (1995) Predic-tion of Academic Achievement in a NATA-Approved Graduate Athletic Training Education Program. Journal of Athletic Training, 30, 55-56.
[21] Powers, D.E. (2004) Validity of Graduate Record Examinations (GRE) General Test Scores for Admissions to Colleges of Veterinary Medicine. Journal of Applied Psychology, 89, 208-219.
https://doi.org/10.1037/0021-9010.89.2.208
[22] Ji, C.C. (1998) Predictive Validity of the Graduate Record Ex-amination in Education. Psychological Report, 82, 899-904.
https://doi.org/10.2466/pr0.1998.82.3.899
[23] Ayers, J.B. and Peters, R.M. (1977) Predictive Validity of the Test of English as a Foreign Language for Asian Graduate Students in Engineering, Chemistry, Mathematics. Educational and Psychological Measurement, 37, 37-39.
https://doi.org/10.1177/001316447703700221
[24] House, J.D. (1999) Predictive Validity of the Graduate Record Examination for Grades in Graduate Chemistry Courses. Psychological Reports, 85, 41-44.
https://doi.org/10.2466/pr0.1999.85.1.41
[25] Halley, J.W., Adjoudani, A., Heller, P. and Terwilliger, J.S. (1991) The Graduate Record Examination as an Indicator of Learning of the Curriculum Taught to Physics Majors in US In-stitutions. American Journal of Physics, 59, 403-410.
https://doi.org/10.1119/1.16517
[26] Editorial (2020) Questioning the Value of the Graduate Record Examinations (GRE) in PhD Admissions in Biomedical Engineering. Annals of Biomedical Engineering, 48, 2155-2157.
https://doi.org/10.1007/s10439-020-02552-7
[27] Gayle, J.B. and Jones, T.H. (1973) Admission Standards for Graduate Study in Management. Decision Science, 4, 421-425.
https://doi.org/10.1111/j.1540-5915.1973.tb00566.x
[28] Bowman, J.S. (1990) The Graduate Record Examination and Master of Public Administration Programs. International Journal of Public Administration, 13, 561-586.
https://doi.org/10.1080/01900699008524685
[29] Holt, D.T., Bleckmann, C.A. and Zitzmann, C.C. (2006) The Graduate Record Examination and Success in an Engineering Management Program: A Case Study. Engineering Management Journal, 18, 10-16.
https://doi.org/10.1080/10429247.2006.11431679
[30] Stack, S. and Kelly, T. (2002) The Graduate Record Ex-amination as a Predictor of Graduate Student Performance: The Case of Criminal Justice. Journal of Criminal Justice Education, 13, 335.
https://doi.org/10.1080/10511250200085511