1. 引言
作为全球航空活动中的语言工具,英语目前仍被国际航空人员广泛使用。随着中国由民航大国向民航强国转变,中国空中交通管制人员越来越多地面对大量英语非母语国家航班机组,陆空英语通话质量与效率对于确保民航“两个绝对安全”愈发重要,迫切需要全面提升管制员英语通话能力。在习近平新时代中国特色社会主义思想指引下,为了提升民航空管系统业务能力水平和关键人才队伍建设,进一步落实民航局对特情处置工作的要求,根据中南空管局2023年至2025年管制员英语通话能力提升三年行动实施方案,基于“训战一体、以考促培”理念,笔者针对管制专业初始培训(以下简称:初始培训)学员英语通话能力OPI评估指标开展研究,为完善管制员英语通话能力评估机制与提升管制员英语培训绩效进行了有益探索与创新。
2. 管制员英语通话能力的重要性
管制员英语通话能力对于服务交通强国建设民航新篇章尤其重要。1998年,国际民航组织注意到在若干航空飞行事故和事故征候中,航班机组和管制员的英语语言能力是导致事故发生的原因或因素之一。由于外航机组文化、口音等导致的英语指令差异性,我国民航管制员必须随时应对因英语通信沟通不畅而导致的空中特情。因此,全面提升管制员英语通话能力对于推进民航强国建设乃至保障全球飞行安全具有十分有益和积极作用。
3. 管制员英语通话能力要求及OPI测试形式
首先,《国际民航组织语言能力要求实施手册》(ICAO DOC9835 AN/453)文件对于管制员英语通话能力提出了具体要求,即所有缔约国指挥国际航线飞行的管制员无线电英语通信水平必须达到4级(含)以上水平(注:水平标准从低到高分为1~5级)。管制员英语通话使用的是一种专门用途英语ESP(英文全称是English for Specific Purposes),以空中机组与地面管制员之间航空无线电通信为主要特征,具备交际语言特征。国际民航组织专家组将英语通话(听说)能力一级指标分为语言要素运用、话语组织能力、听力能力等,二级指标分为语音、结构、词汇、流畅、理解、互动等子能力,分别对应话语节奏和语调、句法结构和语法、单词、以适当的节奏生成言语、细节理解的程度和速度、自然口语对话和成功交流等能力[1],也是管制员英语通话能力评估的主要对象。其次,OPI (英文全称:Oral Proficiency Interview)即口语能力面试,一般采用计算机和人工两种形式[2]。2007年,中国民航统一开展管制员英语等级测试,针对陆空英语通话采用人工与计算机OPI测试形式,评估指标分为语言要素运用(A)、话语组织能力(B)、听力能力(C)。目前,为了确保管制初始培训学员训后参加中国民航管制员英语等级测试的通过率,中南地区管制初始学员英语培训仿照上述OPI评估的三类要求,采用人工OPI实施测试,即考官先提出一系列问题,要求考生简要回答或与考官互动,尽量连续表达,以展示综合运用英语完成交际任务的能力。但现阶段管制学员英语通话能力的OPI指标设计颗粒度较粗,针对性不强,导致考核效度不高。
4. 管制初始学员英语通话能力培训主要问题分析
根据《民用航空空中交通管制员执照管理规则》(CCAR-66TM-I)规定,初始培训属于管制人员基础培训,是新员工为取得管制执照在专业培训机构完成的专门培训。在管制员职业生涯周期中,通过初始培训学员可以从英语学习和管制培训角度了解特情处置知识,掌握英语通话基础技能,增强空地协同意识,有助于下一步顺利通过中国民航管制员英语等级测试并上岗实习。作为开展研究的出发点和落脚点,本研究首先分析组织整体需求,目前中南地区管制单位对于提升管制员英语通话能力需求较高,希望学员一进单位就开始系统训练英语通话能力并接受严格OPI考核,而现阶段英语培训仍以英语语言要素的理论教学为主,实用性、针对性不足。其次,在培训实施阶段,英语教员对于英语口语能力标准理解不一致,导致OPI测试方法随意化,课堂评价欠缺系统性、规范性。第三,培训反馈有效性不足,对于学员训后英语通话能力提升的建议缺乏指导性,不符合学员单位对于尽快提升英语通话能力的期望,说明目前管制学员英语培训评估的提升性、发展性有待加强。针对以上问题分析,究其根源是缺少一套针对管制学员英语通话能力的OPI评估指标。因此,本研究对于优化英语培训教学、科学设计课堂评价、赋能管制学员英语通话能力提升等是一次有益尝试,有所裨益。
5. 管制学员英语通话能力OPI评估指标设计
5.1. 设计原则与理论模型
首先,OPI评估指标设计应坚持“目的性、变化性、效率性”原则[3]。本研究目的明确,就是确保初始培训英语培训班总结性评估顺利进行;根据学员具体情况,指标预留变化余度,利于调整考核侧重点;考虑到操作便利性,同时确保师资与考生接收和理解评估结果,优化教学设计,使学员定位自身能力短板,明确下一步改进方向,全面提升培训效益。其次,本研究主要依据人才测评、培训评估、交际语言能力等理论模型。例如,人才测评理论的关键人才能力测试包括定位测试、成就测试(过程性评估)、学习绩效评估(总结性评估)等[4],本研究可填补管制学员英语学习绩效评估空白,能反映学员对于英语通话知识和技能的学习成果;再如,从飞行机组和管制员英语通话情境特点出发,本研究基于交际语言能力理论模型(巴克曼和帕尔默,2010)开展设计,OPI评估内容应针对语言知识(如语言结构知识、语用知识等)和元认知策略(如对陆空通话信息的理解、记忆和检索)的具体运用。
5.2. 设计流程与方法
管制学员英语通话能力OPI评估总体上属于现代培训效果评估范畴,是一种面向民航系统管制学员英语学习成果评价的具体应用。因此,根据通用培训评估指标设计标准,OPI评估指标可按照以下步骤开展设计,需要综合运用多种设计方法。
首先,OPI评估指标设计包括确定类别、构建体系、设立等级、确定权重、进行试评等步骤[5]。具体如下。
1) 确定指标类别。依据相关标准,从培训目标和学员实际出发,提出评估指标类别,要求概念清楚、言简意赅、便于操作,评估者和被评估者都能理解和统一认识[5]。为了提升管制学员训后参加中国民航OPI考试的通过率,与中国民航考试OPI标准基本保持一致,但二级、三级指标体现差异性。
2) 构建指标体系。将评估指标进行必要分解,形成多层级指标体系,要求各指标语义说明严谨清晰,做到各有所长、相互衔接[6]。同时体现侧重关系,避免太多太细,检测繁琐。结合中南空管局实际,OPI评估指标体系为三级结构,在一级指标基础上再分解为6个二级指标,分别是语音、词汇、结构、理解、流畅、应对等;最后,细分为14个三级指标,共同构成OPI评估指标基本框架(见表1)。
Table 1. OPI evaluation indicator framework
表1. OPI评估指标框架
内容 分类 |
语义说明 |
语言要素运用能力(A) |
1. 语音 |
1.1. 发音准确清晰,语调、重音等标准无误; |
1.2. 语速适中; |
2. 词汇 |
2.1. 能正确运用指定特情通话词汇表达意愿; |
2.2. 词汇运用基本符合英语母语习惯; |
3. 结构 |
3.1. 会话结构清晰,句法结构无错漏,能使用复杂句式衔接知识; |
听力(B) |
4. 理解 |
4.1. 能听清问题,正确复述专业词汇核心要义; |
4.2. 能正确复述通话信息中连读单词; |
话语组织能力(C) |
5. 流畅 |
5.1. 能连贯地表达,逻辑清晰; |
5.2. 恰当使用承转停顿和连接词; |
5.3. 允许间或重复、犹豫和停顿,总体感觉自然; |
6. 应对 |
6.1. 能及时、恰当、中肯地传递、接收、反馈双方通话内涵; |
6.2. 能通过互动问答掌握双方通话的核心要义; |
6.3. 针对难以理解的通话能够灵活应对(例如复诵或请求复述); |
6.4. 回答切题,表达简洁,关键信息准确无遗漏。 |
上表中,2.1、2.2、3.1、4.1、5.1、6.2、6.4项为核心指标。
3) 设计等级权重。英语能力等级设计应以语言运用为导向,将英语能力从低到高划分为不同等级,对各等级的能力特征进行全面、清晰、详实的描述,便于监测评估对象达标程度,旨在引导培养跨文化交际能力[6]。为了贴近管制员英语等级测试,评分按1~5分计分,每个分值又细分为“+”、“−”两个层级。因此,评估等级设计采用10级设计,权重从0~1按0.1逐级增加,以增强区分度。考虑到评估体系指标多,需要综合考量;同时很多指标难以量化表述,存在某种程度不确定性,因此评估等级设计适用模糊综合评估方式。通过使用一种外延难以确定、内涵无法定指的特性语言描述多指标评价语义,模糊综合评估既能解决上述问题,也将考官专家知识融入到评估过程中,提升评估结果可读性和可理解性,充分体现变化性、效率性的原则(见表2)。
为了定性评价学员英语通话能力,OPI评估成绩可分为优秀、良好、及格、不及格等结论。与评估结果的对应关系是,优秀指获得5−以上指标总数 ≥ 12个(其中核心指标 ≥ 5个),获得3+指标项 ≤ 1个,无3−以下项;良好指获得4−以上(含)指标总数 ≥ 12个(其中核心指标总数 ≥ 5个,获3+指标项 ≤ 1个,无3−以下项;及格指获得3+以下(含)的指标总数 ≤ 3个(其中核心指标 ≤ 1项);不及格指获得3+以下(含)的指标总数 > 3个(其中核心指标 > 1项)。
4) 进行试评修订。在模拟测试环境下进行试评价。邀请民航局空管局管制岗位高级英语教员担任考官,对评估指标体系进行试用检验。事后根据相关反馈对评估指标进行适当调整,以更加贴合实际。
其次,本研究综合使用了文献查阅法、焦点小组法、观察法、面谈法等方法。特别是邀请在管制英语通话OPI测试领域具有丰富经验的中南地区管制英语高级教员、英语考官等32人组成焦点小组,经反
Table 2. OPI evaluation level description
表2. OPI评估等级描述
等级 |
分值 |
权重 |
语义说明 |
1 |
1− |
0.1 |
基本无此项行为 |
2 |
1+ |
0.2 |
仅个别行为达标 |
3 |
2− |
0.3 |
少数行为达标 |
4 |
2+ |
0.4 |
少数行为达标,偶见突出表现 |
5 |
3− |
0.5 |
部分行为达标且可持续 |
6 |
3+ |
0.6 |
部分行为达标且可持续,个别行为表现突出 |
7 |
4− |
0.7 |
大多数行为达标且表现稳定 |
8 |
4+ |
0.8 |
大多数行为达标且表现稳定,部分行为表现突出 |
9 |
5− |
0.9 |
全部行为达标且表现非常稳定 |
10 |
5+ |
1.0 |
全部行为达标且表现非常稳定,部分行为表现突出 |
复讨论后确定指标体系框架和语义说明。运用观察法观摩初始培训学员OPI测试过程。事后与考官、个别考生面谈,收集汇总核心指标和实际效果的反馈信息。
最后,开展效度分析。在试用6个月之后,依据基于社会——认知效度框架开展OPI评估指标效度分析。社会认知效度框架是一种非母语英语口语测试效度验证模型,该模型要求考虑一系列问题,包括考生特征、认知效度、语境效度、评分效度、后果效度、效标关联效度等(麦克纳马拉,1996)。首先,考生特征基本一致,包括物理/生理特征、心理特征、经验特征等。初始培训学员群体教育和文化背景一致,训后准备参加中国民航管制员英语等级测试。个别考生学习英语通话的兴趣和动机不足,少于总体试用样本数量0.9%。其次,OPI评估指标体系一方面体现了认知需求(例如理解、记忆、检索等),另一方面针对语音编码和发音,并有效监控语音产出的准确性和合适性,具有一定的认知效度。第三,OPI评分标准明确,严格按等级评定,考官普遍接受过考核培训且具有一定的经验。尤其是面试过程比较规范,例如采取二对一面试形式,即一个考官提出3~5个模拟管制工作情境的问题,要求考生个人独白或参与互动,并运用评估指标对考生进行评分;另一名观察员负责观察考生与考官之间的互动并不参与,如实记录考生表现和考官评分过程。考生人均OPI面试10~15分钟,考官反馈5分钟。评价分数报告显示,考试结果比较稳定。因此,具有较高的评分效度。最后,由于课堂测试环境与条件受限、学员单位培训绩效评估机制不完善等,OPI评估指标的语境效度、后果效度、效标关联效度等缺乏信息支撑,现阶段难以开展有效分析。
6. 结语
综上所述,本文对民航空管学员英语通话能力OPI评估指标进行了研究与设计,介绍了管制员英语通话能力要求与中南地区初始培训OPI测试形式、OPI评估指标设计原则与理论模型;在初始培训英语通话能力主要问题分析基础上,详细介绍了OPI评估指标设计流程和主要方法,并基于社会认知效度模型进行了效度分析,其中认知与评分效度较高。希望本研究有助于空管运行单位、培训机构及管制英语教员熟知循证实践,共促民航管制员英语通话能力持续提升。下一步研究方向是,基于OPI评估指标编制英语通话能力教学指南,引导师资以终为始,做到教学内容与评估目标一一对应;修订完善指标语义说明,既要让考官客观、准确地识别学员能力短板,也要让学员在培训过程与测试结束之后更加明确能力达标要求,激发其学习积极性和持久力;力争建立效度分析联动机制,与学员单位密切合作,着手开展语境效度、后果效度、效标关联效度分析,跟踪管制员在其职业生涯全周期内英语通话能力的持续强化。