数字认知的具身表征文献综述

A Literature Review on Embodied Representations of Digital Cognition

摘要: 数字认知的具身表征是近年来逐渐引起关注的研究主题，具身数量的观点在接续的研究中应运而生，是数字认知在具身视角的集中表现。本文从具身数量这个交叉视角出发，概述了其发展历程，并分别阐述了手指表征和非手指形式表征中具身数量的体现，接着从具身认知角度对数字空间表征进行解释。最后针对手指表征和非手指表征的具身数量研究提出了有关神经机制、研究技术、研究范式方面的展望。

Abstract: The embodied representation of number cognition is a research theme that has gradually attracted attention in recent years, and the idea of embodied numerosity has emerged in successive studies as a concentrated manifestation of digital cognition from an embodied perspective. This paper starts from the cross perspective of embodied numerosity, outlines its developmental history, and describes the embodiment of embodied quantity in finger representations and non-finger form representations respectively, and then explains number spatial representations from the perspective of embodied cognition. Finally, an outlook regarding neural mechanisms, research techniques, and research paradigms is presented for the study of embodied numerosity in finger and non-finger representations.

1. 引言

数字认知的具身表征最早是由Fischer & Brugger (2011)提出来的，在他的理论架构中，对环境的具身感知是数字认知的基础，认知离不开身体的感知和所处的情境，这符合具身认知的理念。Domahs等人(2010)以具身认知理论为基础，提出了具身数量(embodied numerosity)表征的观点，认为个体的数字表征不仅仅局限于抽象的大小表征，或者精确的数字词系统，也受身体经验，如手指数数习惯和结构的影响。“具身数量”的观点在由Moeller et al. (2012)建构的理论认为，具身数量不局限于手指表征，还应推广到身体经验，表明数字认知的具身表征具有广泛性和可迁移性，可以从典型的手指表征扩展到身体运动的经验表征。

综合以往研究，具身数量可以引申为三个概念之间的相互关系，具身、空间和数字，具身数量所探讨的就是这三者之间的关系。空间和数字的关联最早可追溯到Galton (1880)的研究，他首次提出了数字具有空间特性的观点，之后Dehaene et al. (1993)采用奇偶判断任务发现了左手反应对小数的反应快，右手对大数反应快的空间数字关联，将数字和空间的关系具象化，Dehaene等将这种空间和数字的关联现象命名为“空间数字反应编码联合效应(the Spatial-Numerical Association of Response Codes Effect)”，简称SNARC效应。该效应的发现表明，数字在心理表征中的编码方式是空间编码，且对数字的空间认知是自动化和迅速被提取的。当前SNARC效应已经成为探讨数字认知和空间表征的重要模式和基础。后来的许多研究也在此基础上扩展，引申出SQUARC (Spatial Quantity Association of Response Code)、SMARC (Spatial Musical Association of Response Code)等类SNARC效应，丰富了类数字表示的或有顺序性的符号与空间关系的外延。

有关具身和数字、空间这三者的关联仍然围绕SNARC效应探讨，不过这三者关系的探讨需进一步深究SNARC的来源，一种最被认可的解释是数字(量级)和空间(Walsh, 2003)的共同顶区基底，对应于心理数字线的神经基础。支持这一观点的例证为顶叶是视空间处理的关键区域，顶叶损伤会导致顶叶综合征，涉及计算障碍、失写症、手指失认和左右混淆(Gerstmann, 1940)。另一种解释是“手数假设”，该假设认为SNARC效应的来源是手指计数习惯的方向(Fischer & Brugger, 2011)，手指计数根据不同的文化背景和个人习惯，有从左手到右手计数对应由小到大和从右至左计数对应小到大。手指计数既具有普遍性又具有跨文化变异性，在世界范围内，手指计数都是儿童在习得数字符号概念之前最常用的计数工具(胡艳蓉等，2014)。

从Domahs等(2010)提出数字表征受身体经验(如手指数数习惯)的影响到Moeller et al. (2012)进一步将具身数量从手指表征扩展到身体表征的演变历程，确立了具身数量的理论框架及近年来将数字与空间的关系放在具身背景下讨论的研究趋势，并可以大致将具身数量的研究分类为以手指为具身背景的数字认知研究和以非手指(包括手臂、头部等)为具身背景的数字认知研究。这其中既包括以SNARC效应为例解释具身数字与空间关系的研究，也有直接借助具身形式表达数字与具身之间紧密关系的研究，还有具体身体部位，最典型的是手指运动与数量加工可能的共同脑区等神经机制研究。在这篇文献综述中，具身数量主要定义为：是具身认知的一种，属于具身认知理论特征中具身性的例证(王礼申，谢丽芳，2021)，主要探究的是身体某部位或全身运动感知与数字认知之间的关系，具体表现为具身感知易化数字加工或具身运动激活数字空间方位定向。

2. 手指具身表征的数字认知研究

手指计数有着悠久的文化传统，当今也时常被使用，既被用来表达交流，也可以作为一种认知表征。手指数量表征内涵又可以进一步细分为手指计数和手指指代的语义。

2.1. 行为研究

行为实验中对手指计数的研究相对成熟，手指表征数字被认为有两种主要模式，一种为标准的手指组合姿势，是在特定文化下形成的约定俗成的手指数量表征方式，另一种是非标准的手指组合姿势。Di Luca和Pesenti (2008)采用这两种手指构型进行的两个实验表明，标准的手指组合姿势能够自动激活数字语义，而非标准的手指组合姿势则不能，且证明了手指组合的数量大小作为无意识地启动时能够加速阿拉伯数字的数量比较判断。基于手指来理解数字促进了儿童早期数学能力的发展，具体表现为基本运算能力的提高，通常来说，儿童手指运算策略的发展是对数学能力预测的一种指标。Badets et al. (2010)使用标准的手指计数姿势和木棒作为实验材料，探究手指数字表征在成人简单算术能力中所起的作用，采用反应—效应相容性范式发现了相容条件下手指数字表征方式的促进效应优于木棒表征数字的方式，而在不相容条件下二者对反应的抑制效应相当，这说明手指作为身体的一部分确实更能够引起反应—效应相容，进一步推断出身体经验对数字加工有影响，能够直接激活数字语义。宋晓蕾等(2017)在此实验的基础上，增加了中国人的手指数字表征方式，探究手指在中国人数字认知中的重要意义，发现中国人的手指数字表征方式的反应效应相容性优于外国人标准手指计数的结果。这为跨文化研究提供了依据，证明了群体经验对于具身数量的影响。

手指除了具有计数的表征含义外，还能够传达语义上的含义，并间接影响对数量的感知，前者属于“从语义到动作”的感知，后者属于“从动作到语义”的感知，而对“抓取”这一动作的感知正是在感知运动系统中实现的，语义和动作的交互影响可以通过数值这一抽象概念观察到，这符合具身语义学的解释(Gallese & Lakoff, 2005)。Badets & Pesenti (2010)向被试呈现手势“抓取”的动作，具体向被试呈现手指张开和手指紧握运动其中之一，然后呈现两个阿拉伯数字，要求被试根据呈现的手指运动复述阿拉伯数字中的奇数或偶数，结果表明手指紧握时被试对小数的反应快，手指张开时对大数的反应快。后来Badets et al. (2012)采用随机口头数字报告法，呈现手指运动图片后，让被试随机报告数字，结果发现在呈现手指紧握的图片后，被试更倾向于报告小的数字。这符合具身语义学概念，表明手指运动知觉对数字语义大小有影响。

基于手指的具身数量研究也常常结合SNARC效应来探究具身对数字认知的影响，因受具身认知观的影响，对SNARC效应来源就存在两种假设，其一为心理数字线，其二为手数假设。Prete和Tommasi (2020)使用阿拉伯数字和左右手的手心向上/手心向下图片作为刺激材料，进行奇偶判断，结果发现，手指图片和阿拉伯数字都存在SNARC效应，且手心朝下的表现要优于手心朝上的情况，这表明具身认知在数字认知过程中起了关键作用。

2.2. 神经机制研究

早期的神经影像学研究表明，在数字比较(Dehaene et al., 1996; Pesenti et al., 2000)，加法(Pesenti et al., 2000)，以及减法问题解决的过程中，手部运动的脑区被激活(Rueckert et al., 1996)。此外，手指计数的起始手进行5以下数字的呈现会激活对侧大脑半球(Tschentscher et al., 2012)。这些结果都强调了手指计数与数字之间脑区上的关联。

一项SDM-PSI元分析研究(Ranzini et al., 2022)统合了有关数字比较、手指抓握、手部伸够的共同神经基础，该研究是在数字加工对手部动作涉及的感觉运动机制被大量行为学研究证实的基础上进行的。研究纳入42项数字比较任务研究和58项手部抓握、手部伸够的研究(fMRI, PET)，结果发现用于符号数字比较的脑神经网络大多集中在手部抓握和手部伸够的脑神经网络之中，特别是在额顶区发现了两者较大的重叠，证实了数字加工和手部动作在神经网路上的密切关系。

探究数字认知具身性的ERP研究尚在少数，Soylu et al. (2019)比较了识别蒙特林、计数和非典型手指—数字联结的ERP成分。其中的蒙特林(Montring)是一种人们举起手指向他人展示数值大小的方法，常在社会交往中使用。研究发现了P300成分在不同的手指模式中存在差异，主要是在蒙特林和非典型手指构型之间存在差异。P300成分也被观察到用于手指数字手势的内化表征中对数学表现的促进作用，当典型手指模式表示数字时，简单加法任务表现出更快的反应(van den Berg et al., 2021)。Sabaghypour et al. (2023)探究了手指计数习惯与数字加工之间的关系，将被试划分为左启动者和右启动者，执行由数字大小作为启动刺激和手部识别作为目标组成的手部识别任务，设置一致和不一致条件，结果发现了一致条件下的反应时快于不一致条件，不一致条件下P300成分平均波幅显著增加，表现了数字的具身性，支持了手数表征的联结，印证了具身数量的观点。

3. 非手指具身表征的数字认知研究

Moeller et al. (2012)所提出的具身数量表征的理论框架认为，具身数量的概念可以超越基于手指的表征，延伸至更广泛的身体经验与数字之间的联系。而其他具身表征与数字关系的具身数量探讨所涉及的具身部位包括头部(Götz et al., 2020; Sosson et al., 2018; Rashidi-Ranjbar et al., 2014; Myachykov et al., 2020; Loetscher et al., 2008)、嘴部张口/闭口大小(Grade et al., 2017; Gentilucci et al., 2001)、眼球运动(Hartmann et al., 2014)、手臂运动(朱梦璐，2016；Cheng et al., 2015)、以及整个身体运动(Hartmann et al., 2012; Anelli et al., 2014)等。

Götz et al. (2020)给被试呈现了正视图人物肖像的照片，包括直视相机、头部向上和向下倾斜，采用随机数字生成法，让被试在看到照片后随机报告数字，结果发现被试在观看头部向下倾斜相对于头部上倾和正立角度，更倾向于报告小数字，这表明垂直方向头部朝向的这种具身表征能够在认知层面影响基于空间—数字联结的数字认知。Loetscher et al. (2008)设置了两种实验条件让被试进行数字口头报告，一种为基线条件，让被试的头保持正直；另一种条件则是头部偏向左或右，结果发现，与基线条件相比，当被试头部转向左侧时报告小数字的次数远高于基线条件并达到显著差异。这表明头部姿势，无论是垂直方向还是水平方向，作为具身表征都影响对数字的认知。

Grade et al. (2017)将嘴部的不同闭合大小作为动作刺激，让被试观察后随即报告数字，结果发现在呈现张口动作后被试倾向于报告更大的数字，进一步说明对嘴部张开图像的加工激活了与手部相同的感觉—运动系统，因为在言语的起源理论中，认为言语是由手势演化而来的(Corballis, 2009; Gentilucci & Corballis, 2006)，从而进一步激活了数字的语义加工。朱梦璐(2016)采用口头随机报告数字的范式，通过三个实验来比较被试单手臂或者双手臂，在向相同或者不同方向运动时，报告的小数字的数量差异，结果发现单手臂、双手臂左右运动时出现了SNARC效应。Anelli et al. (2014)通过关注全身运动是否影响算术计算来探究身体动作对数字加工的影响，要求被试在向左或向右走动时同时进行加法或减法的运算，结果表明一致性条件下的正确率更高(向左走执行减法运算、向右走执行加法运算)。Belli et al. (2021)同样采用随机报告数字的方法，研究呼吸是否会改变数量的产生和感知，结果表明被试在吸气后比呼气后平均产生更大的随机数。上述研究表明有关嘴部动作、手臂运动、全身运动和呼吸的具身表征都会影响数字认知，支持了具身数量的观点。

非手指具身表征的行为研究结果说明身体主动运动和仅有内部感觉的被动运动(看图像)都会影响空间注意的转移，进而影响数字的认知和加工，主要通过数字认知中的SNARC效应体现出来。但是非手指具身数量的研究范式较为单一，主要采用随机报告数字的方法，比较新颖的是Anelli et al. (2014)所采用的加减法运算方法，可为具身数量的进一步研究提供借鉴，也为之后范式的创新提供了可能。另外，对非手指具身数量的研究缺乏神经机制的研究，因而不能够在神经层面提供更为充足和全面的解释。

4. 数字认知的具身性——具身认知对数字空间表征的解释

不论是手指具身数量还是身体运动具身数量，研究具身与数量的关系基本可以划分为以被动静态图片激活(手指计数图片或手指抓握语义图片、嘴部张口大小图片)和身体主动运动(手指反应、头部、手臂等)两种。前者对数字的自动化启动源于对感知运动系统的唤醒，然后间接影响数字加工，而后者则是因为具身运动直接作用于数字加工，两者都支持具身数量的观点。

具身认知理论认为，组成我们知识的概念表征都建立在具体的感觉和运动经验的基础上，并直接在感觉运动水平得到加工；大脑中并不存在一个跨通道的表征和加工概念体系的模块(Fischer & Brugger, 2011; Myachykov et al., 2014)；当高级认知，例如数字加工发生时，低级的感知觉运动模块会得到再激活，相关的感知觉运动过程得到模拟。也就是说，在数字认知和空间注意分配中，空间位置的直接刺激、注意线索提示的空间朝向定位、以及身体运动引发的内感受器变化，可能都不同程度地激活了具体的感觉运动模块。在此过程中，顶叶皮层可能起到整合不同感觉运动模块的信息加工、并实现感觉运动模块与更高级皮层(例如额叶)间进行信息沟通的功能(葛慧，2014)。

另外对于具身认知为什么会影响数量表征的解释也可以从Walsh的理论中找到依据。Walsh (2003)认为，时间、空间和数量是一个综合的大小维度编码系统的一部分，数量和行为通过对大小维度共同的度量被联系在一起。因为身体运动行为与表征量有关，所以才会同数量大小加工有相互影响。

上述研究利用具身认知观点将具身和数字认知结合起来，将数字、空间、具身三者的关系放在具身视角下进行探讨，与具身数量的观点不谋而合，也为数字认知和具身认知两个领域的发展提供了一个新的交叉融合视角，为更深刻地了解数字认知的来源和身体与数量的关系注入新的角度和研究思路。

5. 具身研究展望

(1) 神经机制的探索还有待深入。对手指具身数量表征神经机制的探究相对来说比非手指具身数量的神经机制研究完善一些，通过以往的研究可以得出数字加工和手指计数的脑区存在重叠，大致位于顶叶的顶内沟区域。然而手指具身数量表征各个不同功能的具体区域和具身手指表征自动激活数量的神经机制仍处于未知，人类幼儿期手指和数量的交互作用、发展机理也值得探究。非手指具身数量的神经机制研究可能受限于身体的运动，因为身体处于运动状态时，需要解决的技术问题太多，研究也不易操作。这些问题都限制了研究身体运动对数量空间表征作用的神经机制。未来可以与虚拟现实结合，解决身体运动影响操作从而无法进行空间表征的问题，还可以运用ERP技术与fMRI技术相结合，精确定位和定时。

(2) 具身表征的数字认知研究可以结合新技术探寻生理层面的机制，如将手指运动的触觉刺激和虚拟现实相融合(de Carvalho Souza et al., 2023)。手指数字模式自动激活数字表征已被很多行为研究所证实，但对于这些效应到底是由具身性其本身导致的还是呈现刺激的知觉特征所驱动尚不清楚，可以通过创建一个VR环境来解决。在VR环境中，可以做到操纵被试的虚拟手，使虚拟手和真实手的感知产生心理冲突，从而根据新的可能性评估被试的新行为。具体方法是先给被试手部一个触觉刺激，让其举起手指做出触觉刺激感受到的手势数字，这将触发一个手指数字出现在屏幕上，该方法的目标是在触觉刺激与虚拟黑板上显示的数值匹配或不匹配的情况下，检测命名时间的差异。触觉刺激与VR的结合可以更好地理解身体经验在人类认知中的参与作用，也有助于我们理解身体感觉在VR沉浸式体验中的作用。

这种虚拟现实与感官模拟的跨通道结合除了在手指的触觉通道中构建三维空间之外，还可以应用在全身运动当中，操作虚拟身体运动，使其与真实身体运动相冲突，预估被试不同的反应从而做出评估。虚拟现实与具身认知相结合从原来在二维空间范围内的研究向三维空间转化，既突破了传统的研究方法和技术从而更加深入地研究具身数量的空间表征机制，也迎合了新时代背景下工业革命的发展趋势，促进虚拟现实技术在心理学中的应用。

(3) 具身数量的研究中研究范式相对单一，以随机口头报告数字法为主，常见的方法还有数字的加减运算。基于手指的具身数字表征行为研究主要有两条主线，一是感觉运动对数字加工影响的研究，比如手指运动对数字分类或计算的影响；第二个路线是研究特定手指模式的视觉识别如何促进对数字的心理表征，以及这种关联如何受到个人手指计数习惯的调节，即习惯从左手或右手开始计数的偏好，所采用的方法也基本与数字认知的传统研究方法相拟合，以数字大小比较法、奇偶判断法、随机报告数字法为主。未来具身数量的研究可以在身体运动引发内感受器运动的基础上，改进之前的范式或者采用相近领域的相关范式与具身数量融合，寻求具身数量在新的不同领域的拓展和创新。