影响动作图画命名的因素及其神经机制

The Predictors of Action Picture Naming and Its Neural Mechanisms

摘要: 综述了动作图画命名的影响因素及其神经机制。首先从心理语言学实验和临床诊断的应用上介绍了研究动作图画命名影响因素的意义。讨论了动词与名词的差异性，回顾总结了对多种语言动作图画命名影响因素的研究，讨论了印欧语系中相关的研究以及跨语言的比较。根据汉语自身的特点，分析了建立汉语动作图画数据库的重要性。最后分析讨论了图画命名的神经机制以及研究方向。

Abstract: The present article reviews the predictors of action pictures’ naming and its neural mechanisms. The application of these studies is introduced from the views of psycholinguistic experiments and clinical diagnosis firstly. The differences between nouns and verbs are then discussed, and action picture naming studies across languages as well as the methods are summarized. Third, studies of action pictures in mandarin Chinese and the uniqueness are reviewed. Fourth, the neural mechanisms of the predictors of picture naming are summarized and potential further researches are proposed.

1. 引言

词汇的各类知识信息在人脑中的表征和加工方式一直是认知心理学和心理语言学研究的热点之一。在任何一种语言中，名词和动词都是最重要的两类实词，在语言结构和功能中都起着重要的作用。词汇产生的研究主要集中在名词产生上，绝大多数词汇产生任务采用物体图画命名的方式(如Barry, Morrison, & Ellis, 1997; Cuetos, Samartino, & Ellis, 2012)。

临床上对语言障碍病人的诊断测试之一为图画命名。例如，在《皮博迪图片词汇测验》(the Peabody Picture Vocabulary Test)中，研究者使用了150组黑白图片来测量发音有困难的人或聋人的词汇能力，所包括的词汇有名词、动词和形容词。在《汉语失语症成套测验》(Aphasia Battery of Chinese, ABC)中，研究者也采用了图画命名的任务来测验受测者的语言能力。此外，在《标准失语症检查》(Standard Language Test of Aphasia, SLAT)和《语言障碍评量表》中都使用了看图说话和看图写字等语言产生任务。

目前，印欧语系中已经分别建立了动词图画和名词图画的数据库，研究者可以从中选择具有恰当指标的图画作为刺激材料，进行严格的实验设计。研究图画命名的影响因素，收集图画各项指标的数据，建立图画数据库，是心理语言学研究领域的基础工作，为进一步的研究奠定了坚实的基础。国内已经初步建立了图画名称为名词(舒华，程元善，张厚粲，1989；张清芳，杨玉芳，2003；Liu, Hao, Li, & Shu, 2011)和动词(陈永香，朱莉琪，2015)的数据库。本文综述影响动作图画命名的因素及其神经机制，为心理语言学研究以及如何利用汉语图画数据库提供研究思路。

2. 图画和图画名称的语言学特点

采用图画命名任务时，图画作为刺激材料，这其中涉及到了两类指标：一类为图画的特点，一类为图画名称的语言学特点，这些都是可能影响图画命名的因素。

2.1. 图画的特点

在图画特征方面，主要涉及图画的命名一致性(Name Agreement)、概念一致性(Concept Agreement)、视觉复杂性(Visual Complexity)和熟悉性(Familiarity)等因素。

命名一致性即被试对一幅图画所对应的名称认同的一致程度。根据Snodgrass和Vanderwart (1980)的研究，命名一致性用主要名称的百分比和H值来表示，其中，百分比表示的是被试命名反应的同质性，H值表示的是被试命名反应的异质性，即命名在被试整体上的分布情况。

$H={\displaystyle \underset{i=1}{\overset{k}{\sum }}{p}_i}{\log }_2\frac{1}{p_i}$

视觉复杂性即被试感觉图画中线条或细节的多少及其错综复杂程度。图画熟悉性即图画中物体或动作的熟悉性，是指被试在平时执行此动作或想到此动作或看到旁人执行此动作的熟悉程度。

2.2. 图画名称的语言学特点

在图画名称的语言学特点方面，研究者考虑了词语的表象一致性(Image Agreement)、具体性(Imageability)、获得年龄(Acquisition of Age, AOA)、以及论元结构(Argument Structure)、词频(Frequency)和词长(Length)等因素。

表象一致性即动作的心理表象和图画的一致性程度。在测量时，要求被试在头脑中形成一个动作的心理表象，随后屏幕中呈现与动词相对应的图画，然后被试将自己形成的心理表象与真实图画进行对比，并评定两者之间的匹配程度。图画名称的具体性即图画名称可以唤起心理表象的容易程度。图画名称的获得年龄即被试认为自己在哪一个年龄段已经能够理解某个单词。论元结构即被试在头脑中形成某个动作的心理表象时所需要参与角色的个数。在Yulia等(2014)的研究中，论元结构是从词典中查得的，此因素亦可以由语言学专家进行评定。

3. 对印欧语系的研究

3.1. 影响动作图画命名的因素

自从Lachman (1973)以及Snodgrass和Vanderwart (1980)对图画命名的影响因素进行了探索之后，对物体图画命名影响因素的研究就层出不穷。目前，对物体图画命名的研究已经相当多，包括对俄语(Tsaparina, Bonin, & Méot, 2011)、法语(Bonin, Peereman, Malardier, Méot, & Chalard, 2003)、英语(Snodgrass & Vanderwart,1980; Salmon, McMullen, & Filliter, 2010)、西班牙语(Cuetos et al., 2012)、荷兰语(Martein, 1995)、阿拉伯语(Boukadi, Zouaidi, & Wilson, 2016)和汉语(张清芳，杨玉芳，2003；Weekes, Shu, Hao, Liu, & Tan, 2007)等研究。相比而言，对动作图画命名的研究则较少。

动词和名词具备不同特性，最突出的一点是它们在句子中所起的语法作用不同：动词起功能性的作用，而名词起着论元的作用。动词的语音表达相比于名词也更加复杂(Gentner, 1982)。在图画命名任务中，名词比动词的命名反应时间长而且正确率低(Berndt, Burton, Haendiges, & Mitchum, 2002)。Analia，Lu，Huang，Bates和Dronkers (2011)对脑损伤者进行了研究，结果显示：无论是语言流畅者还是不流畅者，生成动词比生成名词时的错误率更高，在图画命名任务中这种效应也最强烈。鉴于动词和名词之间存在众多差异，近些年，越来越多的心理语言学家也就更加关注动作图画命名影响因素的研究。

最初的一些研究只关注了动作图画名称的各项指标。Fiez和Tranel (1997)最先对英语中280幅动作彩色照片进行了研究，测量了四项指标：表象一致性、熟悉性、命名一致性和视觉复杂性。Masterson和Druks (1998)对102幅黑白线条图测量了动作图画的视觉复杂性、具体性、熟悉性和获得年龄。早期的这两项研究均未考察各因素对图画命名时间的影响。

最近一项对俄语的研究(Yulia et al., 2014)测量了375幅动作图画及相应动词的常模数据，在此研究中同时考虑了动词所特有的三项指标，即论元结构(Argument Structure)、工具性(Instrumentality)和名称关联性(Name Relation)。其中，工具性是指在表达动词的概念时是否需要工具，此工具不包括身体部位。另外，名称关联性是指工具性动词和动词所对应的名词之间的语音相似性程度。随后的一些研究考察了图画的各项指标对图画命名过程的影响。Cuetos和Alija (2003)对西班牙语的动作图画命名过程进行了研究，研究者不仅在命名一致性等指标上使用相同的方法进行了标准化，而且测量了图画命名的时间，回归分析发现获得年龄和命名一致性是影响动作图画命名时间的重要因素。Schwitter，Boyer，Méot，Bonin和Laganaro (2004)研究了法语动作图画命名的影响因素，研究者首先将动作图画以及相应的动词在六项指标上进行了标准化，包括了命名一致性、表象一致性、视觉复杂性、表象变异性(Image variability)、熟悉性和获得年龄。研究发现命名一致性、表象一致性和获得年龄是影响图画命名反应时间的重要因素。Bonin，Boyer，Méot，Fayol和Droit (2004)比较了法语书写和口语命名动作图画的过程，结果发现命名一致性、表象一致性和获得年龄这3个因素都显著地影响书写和口语命名潜伏期。法语的两项研究在结果上非常的一致，都表明了命名一致性、表象一致性和获得年龄是影响动作图画命名的重要因素。Shao，Roelofs和Meyer (2013)在对荷兰语的动作图画的研究中采集了124幅动作图画的常模数据，结果显示：命名一致性、表象一致性、具体性、视觉复杂性和获得年龄是影响动作图画命名时间的主要因素。

以上几项研究综合表明，影响成人动作图画命名的因素主要包括命名一致性、表象一致性和获得年龄。

3.2. 跨语言比较研究

不同语言具备不同的特点，研究者不仅需要考察某种语言图画命名的影响因素，也需要通过跨语言的比较来考察哪些因素在不同语言之间表现出了跨语言的一致性影响，以及哪些因素在不同语言之间产生了不同的影响。

Bonin等(2004)在对法语动作图画的研究中与之前相类似的研究(Fiez & Tranel, 1997; Masterson & Druks, 1998; Szekely et al., 2005; Cuetos & Alija, 2003)进行了比较。结果发现：图画的命名一致性和视觉复杂度在不同语言中得分非常相似，但是不同语言中熟悉性和表象一致性之间存在显著差异。

一些研究者将使用了相同刺激图画的研究进行了相关分析和比较，包括Masterson和Druks (1998)对英语的研究、Cuetos和Alija (2003)对西班牙语的研究、Schwitter等(2004)对法语的研究、Shao等(2013)对荷兰语的研究以及Yulia等(2014)对俄语的研究。结果发现：熟悉性、视觉复杂性、获得年龄和词频在不同研究之间是显著相关的，英语与法语之间的相关显著高于西班牙语和法语之间的相关。在视觉复杂性和获得年龄两个指标上，法语分别与英语和西班牙语呈强相关，表明这两个指标具有跨语言间的一致性；相比而言，法语、英语和西班牙语这三种语言在表象一致性和词长两个指标上相关不显著，表明三类语言在同一幅动作图画上的表象一致性和图画名称的词长之间不具有跨语言的一致性。

Schwitter等(2004)同时又将结果与Bonin等(2004)的结果进行了比较，两项研究都采用法语动作图画作为研究材料，但不同之处是Schwitter等(2004)采用的是线条图，而Bonin等(2004)采用的是彩图。将两研究中相同指标的数据作比较，结果发现：实验在使用线条图作为刺激材料时，图画的命名一致性更高，这说明在心理语言学实验或者在临床研究中使用线条图可能更合适。

通过跨语言的比较可以得知：一些因素如命名一致性和获得年龄对动作图画命名的影响具有跨语言的一致性，而另一些因素如词频、词长和视觉复杂性对动作图画命名的影响在不同语言中的表现是不同的，这与不同语言自身的特点是有关的。

4. 对汉语的研究

到目前为止，关于动作图画命名影响因素的研究主要集中在印欧语系上，而对汉语的相关研究却屈指可数。汉藏语系与印欧语系存在很多差异，在汉语与英语的对比研究中也可以发现这一点。Tardif (1996)对儿童的言语习得进行了考察，发现：英语儿童表现出“名词优势”现象，名词习得早于动词；而汉语儿童表现出“亲动词”现象，即儿童早期先习得大量的动词。而且，Chan等(2011)的研究发现，仅14个月的汉语婴儿就可以将新词匹配到一个新的动作场景中，而同龄的英语儿童不能完成匹配任务。这些都说明了儿童在汉语与英语的习得和产生等方面可能存在差异。汉字本身具有象形的特点，在进行图画命名任务时，被试在看到图画时可能更容易检索出相应的图画名称，所以应该根据汉语自身的特点来研究汉语的产生。

与印欧语系相比，已有的研究也主要是考察物体图画的命名(舒华等，1989；张清芳，杨玉芳，2003；Liu et al., 2011)，研究主要发现了概念一致性、熟悉性、表象一致性、词频和获得年龄是影响图画命名潜伏期的主要因素。相比而言，对汉语动作图画命名影响因素的研究非常少，陈永香和朱莉琪(2015)对256幅动作图画在汉语成人群体中进行了标准化研究，评定了动作图画名称的H值、命名一致性、熟悉性、视觉复杂性、表象一致性和口语习得年龄等因素，并考察了影响动作图画命名反应时的因素，回归分析结果表明：H值、熟悉性和视觉复杂性是影响动作图画命名的主要因素，可解释动作图画命名反应时间的72.4%。比较动作图画和物体图画命名的研究，发现：图画名称的词频或获得年龄对汉语物体图画命名产生了重要影响，这一因素在印欧语系的动作图画命名中也产生了重要影响，但是在汉语动作图画命名中却未发现这一因素的影响作用。

汉语中名词和动词的认知产生过程也不同。研究发现获得年龄对汉语名词和动词加工的影响可能存在一些差异，获得年龄对名词加工过程解释量大于对动词(陈新葵，张积家，2010)。在西方字母语言的失语症患者中存在名词和动词的双分离现象(Luzzatti et al., 2002)。同样地，在汉语的失语症患者中也存在动词和名词分离的现象(韩在柱，舒华，张玉梅，周筠，2005)。

与字母语言相比，汉语动词最显著的特点是其具有义符性，汉字是形声字。在字母语言中，如英语，单词的词类由前缀或后缀来表示，而形声字具有表义的义符，用来表明词的类属与词义。义符分为一致和不一致，义符一致即汉字有标明动作器官或动作工具的义符；义符不一致即汉字中没有标明动作器官或动作工具的义符，或者义符与动作器官或动作工具不相符。因此，在汉语动作图画命名的研究中，还需要考虑义符一致性对命名过程的影响。

5. 图画命名影响因素的认知神经机制

研究者们不仅采用行为方法考察了图画命名的影响因素，还使用了事件相关电位技术(Event-related brain potentials, ERPs)和功能性核磁共振成像技术(Functional magnetic resonance imaging, fMRI)对影响图画命名因素的时间进程和空间定位进行了研究。

5.1. 时间进程

采用高时间分辨率的ERP技术，研究者考察了各因素是在哪个阶段影响图画命名时间进程的。Cheng，Schafer和Akyürek (2010)用ERP技术考察了名称一致性对图画命名的影响过程，发现名称一致性在刺激图画出现之后的早期起作用，从P1 (刺激图画出现之后约120 ms)持续到N2 (刺激图画出现之后290 ms)，此时间窗口通常与音韵编码过程有关。P1可能是由图画特性的不确定性引起的，而N2可能是由图画具有多个名称引起的。

Valente，Bürki和Laganaro (2014)考察了法语被试图画命名的影响因素及其时间进程，发现：视觉复杂性在图画出现之后的早期(140~180 ms)影响了图画命名过程，这与视觉物体识别过程有关；获得年龄、名称一致性和表象一致性从380 ms左右开始到命名结束一直在影响图画命名的过程。Martinovic，Gruber和Müller (2008)的研究也表明了线条图的视觉复杂性影响P1波幅，此时间窗口很可能与视觉加工和客体识别有关。

时间进程的研究结果并不是非常一致。有些研究(Attneave, 1957; Alario et al., 2004)发现图画越复杂，命名反应时间就会越长，而另一些研究却未发现复杂性对图画命名反应时间的影响(Paivio, Clark, Digdon, & Bons, 1989; Janssen, Pajtas, & Caramazza, 2011)，甚至还有研究得出了相反的结论(Szekely et al., 2005)，这表明视觉复杂性效应并不稳定。

Strijkers，Costa和Thierry (2010)用ERP技术研究了图画命名中词频效应的时间进程，发现在图画刺激呈现180 ms之后，在高频词和低频词之间出现了波形差异，此时间窗口与词汇选择有关，这表明词频在词汇选择阶段影响了图画命名过程。对获得年龄的ERP研究发现，AoA在图画刺激呈现后较晚的时间窗口起作用，这表明AoA在单词形式提取阶段影响了图画命名过程(Laganaro, Valente, & Perret, 2012)。

Shao，Roelofs，Acheson，Antje和Meyer (2014)的研究同时考虑了动词和名词。研究者控制了动词和名词的名称一致性高低，来考察在词汇选择过程中抑制控制的神经机制。实验中，被试对高名称一致性和低名称一致性的动作图画和物体图画进行命名，结果发现：在命名一致性低的条件下，平均命名反应时间更长，N2波幅更大，命名一致性高低确实会影响图画命名的加工过程。

综上，已有研究表明：在图画命名过程中，图画的命名一致性和视觉复杂性等指标影响了图画命名中的概念化阶段，与图画的视觉加工和客体识别有关；获得年龄和表象一致性影响了图画命名的形式编码阶段；词频可能在图画命名的单词选择阶段或音韵编码阶段起作用。关于时间进程的研究尚未达到完全一致的结果，研究者需要进一步考察各个因素到底在哪个阶段影响了图画命名的过程。

5.2. 空间定位

根据神经影像学的研究，动词和名词的产生过程激活了不同的脑区。Miceli，Silveri，Villa和Caramazza (1984)首次发现了名动两重分离(double-dissociation)现象。对正常人的研究也表明名词加工过程激活了左侧颞叶，而动词加工过程激活了左侧前额叶(Damasio & Tranel, 1993)。

Graves，Grabowski，Mehta和Gordon (2007)用fMRI技术进行了图画命名的研究，结果表明：低词频词语的产生与左侧颞上回后部的激活相关，此部分脑区与词汇–音韵加工过程有关。Liljeström等(2008)同时考察了物体命名和动作命名，实验分了三种条件：1) 对动作图画进行动作命名，2) 对动作图画进行物体命名，以及3) 对只有物体的图画进行物体命名。实验结果显示：在三种条件中，两侧枕颞区、顶叶以及左侧额叶都被激活，不同条件下又存在另外激活的脑区。进一步分析表明：被试在进行图画命名时可能更多地注意了物体的运动特性。实验中虽然没有明确地考察图画命名的影响因素，但也提示研究者们：物体所在的动作场景也会影响图画的命名。

Wilson等(2009)也采用fMRI技术考察了图画命名过程，结果表明：图画命名的言语产生过程受概念熟悉性、词频、词长以及反应时间的影响。研究者将反应时作为了一个因变量来考察哪些因素影响了哪些脑区的血氧水平，发现熟悉性较低的词语与两侧颞枕联合区的血氧水平有关，而此区域与视觉加工和概念准备阶段有关；词频较低的词语与左侧颞叶皮层后部和左侧颞顶联合区的血氧水平有关，这些脑区与词汇选择和语音编码阶段有关；词长效应也与特定的脑区有关，是从两侧颞横回延伸到颞上回中部以及颞上沟中部的，而左侧颞上沟中部血氧水平受反应时间的影响。

动词和名词在心理语言学特点上存在很多差异，其神经机制也不相同。越来越多的心理语言学者也开始考虑到这一点，对动词的研究投入了更多的关注。未来的研究可以采用ERP和fMRI等技术来考察动作图画命名和物体命名之间的异同点，这将为心理语言学深入的研究奠定基础。

6. 研究展望

世界上存在多种多样的语言，然而，在心理语言学研究中研究最多的仅是印欧语系，还有更多语言需要研究者们进行探讨。目前，对动作图画命名影响因素的研究已经涉及了几种语言，如英语、西班牙语、法语、荷兰语和汉语等。研究者们不仅需要探讨本族或本国的语言，也需要进行跨语言的比较。这不仅可以为心理语言学实验提供平衡实验材料的依据，还有利于临床上语言评估和诊断工具的改进，也会为儿童和成人学习不同的语言提供一套有用的图画语言习得工具。

对汉语动作图画命名影响因素的研究，研究者们需要结合汉语自身的特点建立一套汉语标准化的动词图画库，在不同群体(儿童，成人或老年人)中进行标准化，深入探讨汉语中动作图画命名的影响因素及其神经机制，并为心理语言学进一步的实验研究及其应用提供帮助。

基金项目

中国人民大学科学研究基金(中央高校基本科研业务费专项资金资助)项目(No. 16XNLG28)和国家自然科学基金面上项目(31471074)成果。

参考文献

NOTES

^*通讯作者。