脑科学视野下的虚拟现实辅助语言学习

Virtual Reality-Assisted Language Learning from the Perspective of Brain Science

摘要: 虚拟现实技术(virtual reality, VR)作为近年来飞速发展的新兴技术，其与场景的可互动性，寓教于乐的趣味性以及所营造环境的沉浸性等特点，使许多研究者开始探究虚拟现实技术在第二语言学习中可能产生的影响。此外，有研究表明第二语言学习会引起大脑功能与结构的变化，这为检验虚拟现实技术对第二语言学习的影响提供了大脑神经机制方面的标准。本文搜集并回顾了现有的第二语言学习大脑机制研究，对使用虚拟现实技术辅助第二语言教学对学习者外语学习产生的影响进行述评。最后本文得出虚拟现实技术对初级二语学习者语音、词汇、句法方面的学习均有一定积极作用，学习者在沉浸式环境中能取得更为理想的学习效果的结论，为当前的第二语言教学提供了新的思路。

Abstract: Virtual reality (VR) is an emerging technology that has developed rapidly in recent years. Its interactivity with scenarios, its fun and educational nature, and the immersive nature of the environment it creates have led many researchers to explore the possible impact of VR in second language learning. In addition, research has shown that second language learning causes changes in brain function and structure, which provides a criterion for examining the neural mechanisms of the brain in relation to the impact of virtual reality on second language learning. This paper collects and reviews existing research on the brain mechanisms of second language learning and reviews the impact of using virtual reality to assist second language teaching on learners’ foreign language learning. The paper concludes that virtual reality technology has a positive effect on the phonological, lexical and syntactic learning of primary second language learners, and that learners can achieve better learning outcomes in an immersive environment, providing new ideas for current second language teaching.

1. 引言

智能时代，计算机辅助下的语言学习领域不断得到发展(朱晔等，2021) [1]，计算机技术在第二语言教学过程中发挥着重要作用，其中虚拟现实技术所占的比重越来越大。

VR被定义为一个能够创造所有感官的模拟的互动性数据库，由计算机生成，具有可探索、可视化的特点，并以图片和声音的形式进行实时操作，给人身在计算机环境中的感觉(Levis, 1997) [2]。从教学的角度看，我们可以说VR被认为是最接近学生在真实环境中的沉浸感的一种教学资源。二十多年来，它作为教学资源的潜力一直是教育者和教学专家讨论和反思的一部分(Bricken, 1990, Appel & Mullen, 2000) [3] [4]。

简而言之，VR所提供的是一种具身化的、沉浸式的内在学习平台，学习者们可以与这一环境中的目标物体、人物进行互动，通过“接触”来加深印象，建立起抽象的语言知识和具体的事物之间的联系，在无形之中受到这个环境的影响，从而更长期地记住所学到的内容。

VR技术在语言学习中的优势是非常明显的。在其所营造出的虚拟环境中，学习者可以进行沉浸式学习，具身化的设计使得学习者能对所学语言隶属的国家的风景建筑、人文风俗、语言习惯等有一个简单而直观的了解。在这里，学习者们可以全身心地投入语言学习，当学习者建立“自己身处国外”这一认知，好奇心、新鲜感等主观感受都能够成为他们进一步学习的动机，促使他们更多、更深入地探究学习内容。为了遵循该环境所使用的语法规则，用正确的话语去交流，这种需求迫使他们修正自己原来错误的语言习惯，从而真正学会这门语言。有反馈的学习会在一定程度上激发学习者的兴趣，当学习者们能记住这些场景，记住其中的内容后便会形成一个循环，以此达到长期记忆、主动学习的目的。

目前已有一些研究通过使用功能性核磁共振成像(fMRI)等神经影像学技术，来对比虚拟现实创建的环境和传统的课堂教学环境、沉浸式学习和单纯的单词与图文联想配对学习对参与者大脑皮层的影响。这些技术从脑区的活跃程度及激活区域的变化等多个方面探索了虚拟现实技术对第二语言学习者脑神经的影响。

本文对已有的研究进行了整理和概括，简单介绍了VR技术所涉及的四个理论基础，并结合有关大脑机制的神经影像学研究，对研究现状进行总说，解释了虚拟现实技术在词汇、语音和语法方面对参与者语言学习的影响，最后总结了虚拟技术的优势，并提出其不足之处。

2. 理论基础

目前关于VR技术在第二语言学习方面的应用的研究已经总结出一些相关的理论，介绍了学习者们在虚拟环境下学习语言的特点和优势，以及在此过程中引起的大脑皮层的变化。

2.1. 具身认知理论

根据这一理论，头、手、脚等特定的身体部位的经历和听觉、视觉、触觉等特定的模态的体验构成了学习者对概念、物体和行动的心理表征的一个组成部分。换言之，该理论强调的是整个身体和周围环境的互动，即感知、行动、身体和环境之间的互动 [5]。

这一理论与符号表征的经典认知理论形成对比。经典认知理论认为认知和认知操作是模块化的，语言与认知的其他部分(包括感知和行动)都是无关的(Chomsky, 1981, Fodor, 1983) [6] [7]，而具身认知理论则是将这些都视为语言学习的重要手段。

2.2. 沉浸式理论

沉浸式就是让人在一段时间内或长期处于一个封闭式的环境，身处于这个环境中的人会专注于眼前，全身心投入到当前任务中。沉浸式学习是沉浸式理论在学习领域应用过程中派生的，最早出现于20世纪60年代加拿大的第二语言教学过程中。教师以第二语言作为直接的教学语言，实践证明：将学生放置于目的语言环境中能有效提升语言学习效果。

沉浸式语言学习，就是为学习者提供一个充满目的语的环境，让学习者不知不觉地受到影响，在沉浸环境中和所学的目的语进行充分接触，继而可以更好地掌握这门语言。

2.3. 内隐外显理论

外显学习是指有意识、有目的地进行学习，是学习者合理利用资源，通过一定努力，采取一定策略来获取知识的过程，通过这种学习获得的知识叫外显知识。我们所进行的传统的课堂教学，其实就是典型的外显学习的过程，把获取知识作为直接目的，为自己制定每天或每个阶段的目标，有计划地去学习二语，且容易受到年龄、智力动机和情感等因素的影响。这是一个比较容易得到学习回馈的过程，学习者们可以通过单词联想配对、图文对应等方法检验自己的学习成果，但同时，这个过程也需要学习者付出很多努力，不但要高度集中注意力，有时甚至需要强制记忆。

内隐学习是指在不知不觉的情况下无意识地学习，没有明确的目标，没有为了实现目标而努力，是看不见的学习，通过这样的学习过程获取的知识叫内隐知识。这一过程中的学习者受上述这些主观和客观因素的影响都较少，且学习者会在任务环境中对复杂的关系做出适当的反应。比较常见的出国留学和利用成本稍低的虚拟现实技术学习就属于内隐学习，学习者身处沉浸式环境，潜移默化中对目的语有更直观、深入的理解。亲身经历过的场景能在人脑深处留下更深的痕迹，因此通过这种沉浸式学习获得的内隐知识比外显学习获得的知识更具有耐久性。

2.4. 交际互动理论

第一语言习得领域已经表明，儿童从最早的阶段开始就是依赖于社会互动去学习 [8]。“社会互动”可以被定义为通过现实生活或模拟现实生活的环境来学习，在这些环境中，学习者可以与物体和人互动，可以执行动作，接收、使用以及整合在感知、视觉空间和其他感觉运动上的信息，这能使学习和交流变得具体化。

调查结果显示，学习者认为内容和语言的一体化学习的好处就是有更多的人文时间，更少的屏幕观看时间，以及真实的学习经历(Caldwell-Harris, 2021) [9]。学习者在学习的过程中，如果能和以该语言为母语的人进行交流，使用该语言完成真正的对话，那对这门语言的理解会更深入，对这些场景的记忆也会得到加深，而虚拟现实技术就为社会互动提供了一个很好的平台。

3. 现状总说

在自然环境中学习的学习者能够获得丰富的感觉运动信息，这些视觉、听觉、动觉信号以及本体的感受信息都可以对学习者获取知识和获得技能产生不同的影响。这些学习过程中出现的互补感觉与运动信息被称为感觉运动富集。尽管感觉运动富集可能会对第二语言学习产生强大的推动和促进作用，但其潜在的大脑机制还有待探索(Mathias等，2021) [10]。

虚拟环境(Virtual Environment, VE)可以广义地被定义为计算机生成的三维交互环境。VEs广泛应用于各种技术，包括虚拟现实(VR)、增强现实(Augmented Reality, AR)、混合现实(mixed reality, MR)、通过桌面呈现的虚拟栖息地，以及一些3D视频和视频游戏。例如，沉浸式虚拟现实是其提供360˚的视野，用户可以通过转动头部和身体看向虚拟环境的任何方向以及不同部分，它使用户能够像在现实生活中一样操纵环境或与环境进行交互(Costello, 1997, Jerald, 2016, Milgram等，1994) [11] [12] [13]。沉浸式VR和MR技术在VE平台中提供了高度的沉浸感和交互性。

本部分就语音、词汇、句法方面，对第二语言学习在大脑功能和结构方面的影响进行了简单的概括解释。

3.1. 语音方面

在虚拟现实对外语语音学习的影响方面有一些实验研究。这些研究的结果表明，在这类虚拟现实环境中，学习者的语音学习得到了一定的提升。

就大脑皮层角度而言，和语音学习相关的脑机制变化也侧面证明了沉浸式环境对二语习得的作用。Vaquero等(2017)的研究发现，白质(White Matter, WM)通路和模仿外国语音的能力具有强大的横向性 [14]，而在一组高沉浸度实验样本中，白质的变化表明，包括颞上回(superior temporal gyrus, STG)在内的大脑网络有连通性变化(García-Pentón等，2014) [15]。它在语音加工(Callan等，2004，Zheng等，2010) [16] [17] 的假定功能性作用，打破了自然二语学习在STG的诱发上效果比较小的假设。因此，这项研究表明，此前未观察到这些区域在自然第二语言学习时发生结构变化，很有可能是由于缺乏对这个问题的研究(Stein, 2014) [18]。Martensson等(2012)研究了在瑞典军队中接受10个月口译培训的年轻成年人的L2习得的神经效应，发现口译员的STG、额中回(middle temporal gyrus, MFG)和右侧海马体(the right hippocampus, RHC)的灰质体积(Grey Matter Volume, GMV)比对照组(当地大学的心理学和认知科学学生)有所增加 [19]。可见，在真实语境下，沉浸式的语音学习确实可以诱发STG脑区的激活 [20]。

Perani等(2011)的报告发现，1~3天大的婴儿在对人类语言作出反应时，显示出双侧颞区之间的功能连接，而成年人在左半球的额叶和颞区之间显示出更多的连接 [21]。García-Pentón等(2014)的一项研究，通过使用基于弥散张量成像(Diffusion Tensor Imaging, DTI)的追踪成像技术和基于网络的统计，调查了西班牙语–巴斯克语的双语者和以西班牙语为母语的单语对照组之间大脑结构上的联系。结果表明，双语者在两个大脑网络中表现出连通性的增强：一个是左半球连接额叶、顶叶和颞叶区域的网络，另一个是左侧枕叶、颞叶和顶叶区域以及右额上回构成的网络。由此可见，左侧顶叶区和颞叶区是二语学习过程中的一个重要脑区 [15]。而一项基于预先存在的神经结构及其连接性来预测第二语言学习的成功的结构连接性研究指出，成功的语音学习与左顶叶区更大的WM体积有关。这表明，在与虚拟现实有关的研究中，若能观测到在虚拟现实学习条件下学习者的左顶叶区WM体积的变化，则能证明虚拟现实技术在一定程度上可以影响二语学习。

Kuhl等(2016)发现，居住时间与居住在美国的西班牙语–英语双语者的白质分布显著相关：在沉浸式环境中停留的时间越长，左、右半球的白质通路就越高 [22]；Pliatsikas等(2017)将一个高度沉浸的双语人群(英语L2学习者，平均在英国生活了8年)与单语对照组相比，发现了双侧丘脑、球状体和豆状壳核等结构的扩张，而一个低沉浸的群体(英语L2学习者，在英国生活不足8年)与单语对照组相比后，发现在右侧尾状核的扩张和收缩，以及在左侧豆状壳核、尾状核与丘脑的收缩 [23]。长期以来，无论是早期双语者(Abutalebi等，2013) [24] 还是晚期双语者(Price等，1999，Dodel等，2005，Golestani等，2006，Abutalebi等，2008，Liu等，2010) [20] [25] [26] [27] [28]，豆状壳核都被认为是双语语音生成的重要结构(Pliatsikas等，2016) [29]，Simmonds等(2011) [30] 和Tettamanti等(2005) [31] 的研究发现其可以监测发音和语音错误，因此，上述研究中观察到的显著扩张可能反映了高度沉浸的晚期双语者的发音和语言转换需求的增加(Pliatsikas等，2017) [23]；Burgaleta等(2016)研究发现的双语对球状体、对周围结构的影响，进一步突出了球状体结构在双语语音处理中的作用：右侧球状体的形状变化与双语者二语学习的沉浸度呈正相关(同样的效果在左侧球状体上没有达到显著性) [32]。而由于Abutalebi & Green (2016)的实验发现，包括尾状核和豆状壳核在内的几个皮层结构都被认为与语音处理和控制有关，因此以上这些研究结果都能证明，高度沉浸式环境对第二语言的语音学习有相当大的影响 [33]。

3.2. 词汇方面

相较于虚拟现实技术对第二语言语音学习的影响方面的研究而言，虚拟现实辅助第二外语词汇学习的研究更为系统严谨。这些研究结果表明，虚拟现实技术对第二语言词汇学习有一定积极影响。这种影响在不太成功的学习者的学习成果上较显著，而在较成功的学习者的学习成果上则未体现(Yang等，2015) [34]。

有多项相关的研究表明沉浸感、互动感、想象力等特点有助于外语学习者对新学习环境产生强烈兴趣并参与其中，尤其是在口语、倾听和文化实践方面。Kuhl等(2003)通过实验进一步表明，即使是儿童在学习第二语言时，社会学习也是很关键的：在“DVD环境”(预先录制的视听或者纯音频材料)中接触汉语普通话的美国婴儿，并不像在“现场环境”(实验者在学习过程中与婴儿互动)中接触相同材料的婴儿那样表现出对普通话语音类别的学习 [35]。这项研究证明，在真实情境下进行互动式学习的效果，比单纯通过视听学习好很多 [36]。

Jeong等(2010)在视频模拟社会互动和L1翻译两种条件下训练日本人学习韩语单词，fMRI结果表明：通过视频学习的词汇在右侧边缘上回(superior marginal gyrus, SMG)中产生更多的激活，通过翻译学习的词汇在左侧额中回产生更多的活动；有趣的是，参与者在儿童时期习得的L1词汇也在右侧SMG产生了更大的激活，由此可以初步推断出通过社会互动学习到的L2词汇，和L1词汇的加工方式相似，即以社会互动方式进行的第二语言学习，有和母语学习相同的效果 [37]。

以上两项研究都体现了互动式学习的优势所在，社会互动为学习者提供了可沉浸式学习的环境，学习者们能够在这种条件下与目的语的使用者进行直接交流，更深刻地体会所学的第二语言。但并不是所有学习者都有直接在目的语环境中进行学习的条件的，因此，虚拟平台所营造的环境，能否产生同样的效果，让学习者得以沉浸式学习，便很是关键。

在 Legault等(2019)的实验中，与非虚拟的、词汇–图片联想学习相比，右下顶叶皮层(inferior parietal cortex，IPL，包括SMG和AG，angular gyrus)在基于虚拟现实(VR)的互动学习中有更明显的活动，这说明比起传统的强化训练学习，通过VR平台进行的沉浸式学习有更强更明显的脑区参与 [38]。

Legault等(2019)基于L2学习的神经可塑性，探究虚拟环境对L2学习的影响。研究者将实验被试分为传统的图片到单词的配对联想学习组，即图片–单词(Picture-Word, PW)学习组，VE学习组以及未经培训的控制对照组。实验采用一个低沉浸度的基于电脑桌面的VE平台，对三组被试分别进行了共7个阶段，约20天的培训。培训结束后通过脑磁共振成像技术(sMRI)分别观察比对了三组被试的皮质厚度(Cortical Thickness, CT)与GMV在短期第二语言词汇学习中的变化。实验结果显示，在两个训练组中，CT与GMV在语言控制网络相关区域有所增加，且不同学习环境中的参与者可能依赖于语言控制网络中的不同结构，对于PW组而言，右侧额下回(Inferior Frontal Gyrus, IFG)的CT与第二语言词汇表现有关，而VE组则是右侧顶叶下叶(Inferior Parietal Lobe, IPL)的CT与之有关 [39]。结果表明，进行短期的第二语言培训时，不同的L2学习环境导致了与人体认知能力有关的不同大脑结构产生变化。

而由于左侧额下回(IFG)、顶下小叶(inferior parietal lobule, IPL；包括SMG)、颞上回(STG)、额中回(MFG)和颞中回(middle temporal gyrus, MTG)都与真实情境下的词义加工相关(Frenck-Mestre, 2005; Hickok & Poeppel 2007; Hofstetter等2016；Petersson等2012；Stein等2012；Veroude等，2010) [40] - [45]，因此可以证明VE平台提供的虚拟环境下的词汇学习与真实情境中的词汇学习表现出的脑区激活，有一定的重合。

同时，也有研究从行为实验的角度考察了虚拟现实对L2学习的作用。Legault等(2019)也通过行为实验研究探究了沉浸式虚拟现实(Immersive Virtual Reality, iVR)对学习者词汇学习的影响。实验考察了学习者在学习第二语言词汇时的个体差异。每个实验参与者先在iVR沉浸式虚拟现实条件下学习30个单词，再通过单词到单词的配对联想学习，即单词—单词(Word-Word, WW)对学习30个单词。在学习结束后，使用可替代强制选择识别任务收集每个实验参与者的行为表现。他们的实验结果显示，iVR条件下的测试准确性显著高于WW条件下的测试准确性，证明了沉浸式的有效性，表明了虚拟技术对第二语言学习的重要作用 [39]。除此之外，实验结果还显示，不太成功的学习者相较于WW学习条件，在iVR条件下表现出显著优势，而成功的学习者在两种学习条件下都没有表现出显著优势。

3.3. 句法方面(人工语法)

研究二语习得的影响因素时，控制变量是一个至关重要的问题，然而使用自然语言研究，在控制变量上很难达到精准(Morgan-Short, 2007) [46]。人工语言的出现则解决了二语习得研究中的纵向跟踪和变量控制的问题。人工语言最初的本质是基于字符序列规则的人工语法学习范式(artificial grammar learning paradigm, AGLP)，后经过发展逐渐转向逐步转向兼具语法、语音、语义等自然语言特征的人工语言学习范式(artificial language learning paradigm, ALLP) (黄嫣，李霄翔，2020) [47]。

学习环境是影响二语习得的重要因素。Norris & Ortega (2000)借助元分析发现，进行外显学习的参与者比进行内隐学习的参与者有更明显的学习效果，然而这类研究方法在一定程度上存在缺陷，因此越来越多的研究者选择在脑科学视野下，通过ALLP探讨学习环境与二语习得之间的关系 [48]。

以Morgan-Short (2012, 2015)为代表的研究者认为内隐学习比外显学习更有效。Morgan-Short等(2012)运用基于Brocanto2人工语言的学习范式，采集了外显学习组和内隐学习组的两组被试在分别高、低水平条件下的行为数据和脑电数据。结果显示，在句法违反的条件下两组被试的行为表现无显著性差异，但诱发了不同的ERPs成分，只有内隐学习组表现出和母语者类似的大脑加工模式 [49]。

Morgan-Short等(2012)对相同的两组被试在3~6个月后实施类似的句法判断任务延时测试，也发现不同学习环境下两组被试的二语加工机制呈现显著性差异 [50]。这一研究从神经层面上证明了虚拟现实一类有助于内隐学习的技术促进了二语习得。在这之后，Morgan-Short等(2015)又从不同句法角度论证了学习环境对二语习得的关键性作用，指出晚期学习者只有在内隐学习环境下才能获得类似母语者的大脑语言加工机制，再次强调了内隐学习对二语习得的关键作用 [51]。

而且，Pliatsikas等(2014a, b)发现英语母语者和非英语母语者的大脑在对过去式转换进行加工时，激活的区域并无差异 [52] [53]；随后，Pliatsikas等(2017)发现了二语学习者类似于母语的大脑模式：大脑对抽象的句法元素的加工是在沉浸式环境中学习的二语学习者身上发现的，而具有同等能力却未进行沉浸式学习的学习者身上并未发现这种加工 [23]。这些都证明了沉浸式二语学习环境的重要作用。

但一些研究者依旧对此提出了质疑。Batterink & Neville (2013)通过ALLP发现外显学习比内隐学习的二语增益效果更好 [54]，且这一结论得到元分析的支持(Goo等，2015) [55]。在这之后，Ruiz等(2018) [56] 也通过语法合理性判断、句子生成任务等基于ALLP的行为实验发现，学习环境差异不会对二语习得产生影响，从根本上推翻了学习环境的关键作用。

由于以正确率和反应时间为检验指标的行为实验往往无法准确描述第二语言加工过程中即时又连续的心理过程，因此推测这样的观点分歧可能是实验任务和测量手段的不同造成的(黄嫣，李霄翔，2020) [47]。学习环境与二语习得之间的关系、虚拟现实技术能否在句法层面上为二语习得提供帮助，都仍需进一步观察探索。

4. 总结展望

在大数据时代，人们在信息获取方面拥有显而易见的优势与便利。与虚拟的物品相比，实体具有信息最大化的特点，能直接传递各式各样的信息，但其又在一定程度上受限。正如此刻，疫情隔离的条件下，实体信息的传递也会受到实体限制，而虚拟的分辨率和自由度越来越高，越来越突破实体的限制。

近年来，虚拟现实(VR)、增强现实(AR)等智能技术快速普及，在第二语言教学中辅助使用虚拟现实技术的案例也越来越多。总结前人研究，明显可见由于虚拟现实技术的沉浸性、互动性和趣味性等突出特点，其对于第二语言学习者的语音学习、词汇学习以及句法学习方面均有一定积极作用。但值得注意的是，Dhimolea等(2022)的研究早已提出，短期或较少地使用VR设备，可能会使学生好奇后得不到满足而分心，以致造成负面效果 [57]。而且，虚拟现实技术对初期的第二语言学习者有较明显的促进作用，但对中后期水平较高的第二语言学习者来说，没有明显益处，甚至可能会出现一定的抑制作用。因为通过虚拟技术、交流互动，学习者获得的是比较浅显的知识，而深入的、涉及到思维层面的知识，需要经过学习者自身的思考才能获得。

就虚拟现实环境的分类而言，Li等(2021)根据其对第二语言学习的作用，将其分为三种。第一种类型为智能手机、电脑或其他移动设备，这种类型的虚拟现实技术成本较低且使用便利，无论是教师还是学生，都很容易进行学习。第二种类型是头戴式显示器(Head-Mounted Displays, HMD)辅助的虚拟环境，这种设备为第二语言学习者提供更为生动和更加真实的学习环境，但高昂的成本、使用者个体差异而可能导致的较低的舒适度(Andujar & Buchner, 2019) [58]，以及对于教师而言，学习如何使用这项技术并重新设计课程的困难，使得这种技术在实际使用中受到较大的局限。第三种类型是虚拟现实技术与人工智能(Artificial Intelligence, AI)技术的结合 [59]。此时的第二语言学习环境可能会达到较理想的状态，突破传统教室以及时空上的限制，使得第二语言学习能够在沉浸式环境中随时展开。这种条件下进行第二语言教学的效果可能会优于传统课堂式教学。

最后，除了学生学习方面，虚拟现实辅助教学也对教师提出了新的挑战。如何设计课程，如何将需要学习的系统知识融入到虚拟现实之中，以及如何真正做到寓教于乐，还需要教师进一步探索学习。未来外语教师与虚拟现实工程师之间的合作和配合可能会成为常态。此外，教师发展规划，基础设施建设与评估，道德规定以及相关政策制定等也需慎重考虑。

基金项目

江苏省十四五高等教育规划课题“新时代播音与主持艺术专业实验课程体系设计与优化”(项目编号：YB023)；江苏省“青蓝工程”项目基金的阶段性研究成果。

NOTES

^*通讯作者。