从认知神经科学的角度看表情符号与真实面孔的异同

The Similarities and Differences between Emoji and Real Faces from the Perspective of Cognitive Neuroscience

摘要: 表情符号是一种对真实面孔简化后的图像，在当下基于互联网的交流中有着庞大的应用市场。目前，在表情符号的研究中存在争议性的问题有：表情符号是否可以归入面孔感知的范畴；二者之间的处理是否存在相似的神经基础；这些争议也为表情符号的后续研究指明了方向，即符号化的面孔在在人脸识别中起着什么样的作用；不同情感意义的表情符号与人类表情处理之间的反应差异；探讨表情符号刺激与脑电成分间的关系；采用多种方法的结合从不同层面深入揭示表情符号的认知机制。

Abstract: Emoji is a simplified image of real faces. It has a huge application market in current Internet-based communication. At present, there are controversial questions in the study of emoji: whether emoji can be classified into the category of face perception; whether there is a similar neural basis for the treatment between the two. These controversies also point the way to the follow-up study of emoji, that is, what role does the symbolized face play in face recognition; the difference between the expressions of different emotional meanings and human expression processing; the relationship between stimulation and EEG components; the combination of multiple methods reveals the cognitive mechanisms of emoji from different levels.

1. 引言

表情符号是一种类似真实面部表情的图形符号，相比较于人类的真实面孔，它所具有的面部特征往往被简化，省略或者被夸大。自1982年法尔曼教授在键盘上随意敲打出第一个笑脸符号“:-)”以来，这些由字符组成的表情就开始风靡于各种电子邮件、聊天软件中(Rongbin, 2019)。随着计算机通讯的进一步发展，表情符号的设计逐渐向真实人脸靠拢并快速成为广大网民在线传达情感的“官方语言”。在此背景下，各式各样的“表情包”和“斗图”等活动越来越受到年轻化群体的欢迎。

表情符号、表情包的流行除了设计者、自媒体作为推手以外，其本身也符合网友们的需要。互联网的发展使人们的沟通方式发生了重大改变，越来越多的人使用表情符号来传递情感状态(Prada et al., 2018)。Huang, Yen, & Zhang (2008)指出表情符号作为一种人性化的情感表达工具取代了面对面交流中自然面部变化的线索，它解决了面孔不可视的情况下对话信息会引起误解的尴尬情况，同时也为网友们提供了更多的乐趣和信息。Schuller和Batliner (2013)也曾提出表情符号可以改变人际间的互动倾向，影响人们的决策、情绪以及谈话的重点。因此，表情符号很好地适应了社交网络对非言语信息的需求(Weib, Gutzeit, Rodrigues, Mussel, & Hewig, 2018)。近年来，关于表情符号是如何被我们大脑处理的问题引起了认知神经科学家们的重视(Kappenman & Luck, 2012)。作者在对此相关领域的文献梳理中发现主要的争议集中在：大脑对表情符号与面部表情这两种非言语信息的处理是否存在着相似的神经活动机制。本文将以此入手，系统回顾了功能性核磁共振与事件相关电位的研究，并简要展望后续的研究方向。

2. 功能性核磁共振的研究

表情符号与真实面孔是否在同一脑区被处理是解决这一问题的关键，参与面部处理的脑结构之一是大脑的右侧梭状回(fusiform face area)，面孔失认症的患者该区会发生明显的病变(Kanwisher & Yovel 2006)。理论上来说，如果表情符号的处理涉及到人们对面孔的认知，那么右侧梭状回应会处于明显的激活状态。

最初的fMRI研究表明，孤立的表情符号在处理过程中并不激活与面孔识别相同的大脑区域。然而，它们激活了与情感处理相关的区域。Yuasa (2006)等研究者对比了被试观看快乐(^-^)、悲伤(T_T)的颜文字表情和面孔时发现，人类面孔激活了右侧梭状回、右额下回(right inferior frontal gyrus)、右额中回(right middle frontal gyrus)和右侧顶叶(right inferior parietal lobe)部分；表情符号虽然没有激活右侧梭状回，但激活了右额下回(如图1所示)。这些发现表明，表情符号可能与情绪辨别有关。

Figure 1. Shaded areas indicate the activity areas in (1) right fusiform gyrus (2) right inferior frontal gyrus (3) right middle frontal gyrus (4) right inferior parietal lobule

图1. 阴影区域表示(1)右侧梭状回(2)右侧额下回(3)右侧额中回(4)右侧顶叶下叶的活动区域

在后续的一项研究中，Yuasa, Saito, & Mukawa (2011)调查了在句子末尾添加表情符号时大脑的活动状态，结果发现表情符号与非语言信息的处理有关，句子末尾添加表情符号使大脑的非语言处理区域(左右侧额下回)更加活跃。此外，还观察到了与语言理解相关的布洛卡区域的脑活动增加，但右侧梭状会仍然未激活。Yuasa的结果表明，这种基于表情符号的情感识别与其它非语言线索达到的效果一样，但该处理过程并不涉及到对面孔的认知。在另一项研究中，Shin (2008)等人为了观察符号识别的神经基础，将真实面孔和真实房屋图片的大脑活动与其相应的图标进行了比较。结果发现表情符号的大脑皮层激活要大于皮质下的活动，其中主要涉及到额叶(frontal)与顶叶皮层(parietal cortex)，以及腹侧通路中的颞叶(temporo)和枕叶(occipital)连接处的激活。作者认为，这种激活对应于视觉概念形成的神经过程，将抽象性的视觉对象与具体化的物体区分开来。更有意义的是，他们观察到了被试在接触面孔符号期间双侧梭状回的激活。此外，Han (2014)等研究者观察了自闭症患者(autismspectrum disorder) (ASD)对表情符号和面部表情的梭状回活动情况。这些患者由于脑区发生的病变而产生了社交功能障碍，例如，ASD患者在看到情绪性面孔时梭状回不会出现活动(Critchley et al.,2000; Pierce et al., 2001)，在面部表情的辨别中亦没有显示出梭状回的激活(Schultz et al., 2000)。在Han (2014)的这项研究中，相比较于健康的被试，ASD患者在观看表情符号时右侧梭状回活动有着显著的增加(如图2所示)。

Figure 2. Brain activity in response to emotional words and facial emoticons

图2. 表情符号和面部表情的大脑活动

以上研究结果的不统一可能是因为实验材料与被试群体的选择不同导致的，比如，并不是所有的表情符号都有相同的人性化程度的，Yuasa (2006, 2011)等人在研究中所使用的表情符号则属于印刷体，与人脸的结构信息相去甚远。而Han (2014)等人的研究发现了ASD患者在识别表情符号时大脑梭状回的激活程度更高，可能是因为控制社会情感信息的补偿机制在发挥作用，所以这一结论尚不能推广到普通被试群体中。因此，关于表明符号和面部表情这两种非语言信息线索是否存在相似的神经机制的问题，还需进一步探讨。

3. 事件相关电位的研究

事件相关电位(event related potential)技术具有低成本、高时间分辨率的优点，能够实时反映认知过程的输出，且能在没有行为反应的情况下提供关于刺激处理的测量，现已被广泛的应用于大脑高级皮质功能的研究。已经发现的与面部处理相关的ERP成分是N170 (Taylor, Batty, & Itier, 2004; Rossion & Caharel, 2003; Woodman, 2010)，它是在面部刺激呈现后约170 ms的时间里达到峰值的负波，与面部的结构编码(Bentin et al., 1996; Allison et al., 1999; McCarthy et al., 1999)以及人脸的特征处理相关(Gosling and Eimer 2011; Liu, Harris, and Kanwisher 2002; Mühlberger et al. 2009)。目前已知的是，面部的示意图也会引起该成分的出现(Sagiv & Bentin, 2001; Babiloni et al., 2010)。

关于表情符号的EEG记录在最近几年里也开始出现，Comesana, Soares, Perea, PiEiro, Fraga, & Pinheiro, (2013)将表情符号作为内隐的情感启动刺激时发现它能起到很好的启动效应，与表情符号所对应的描述性情感词汇相比似乎有着独立的认知通道。随后，Churches (2014)等研究者单独比较了正立和倒置的表情符号的神经处理活动差异，发现了N170不同的波幅情况。具体为，表情符号在直立时引发较大N170波幅，反转会使N170的波幅降低(如图3所示)。他们认为，表情符号在直立时与面部知觉相类似，同样进行了构形处理。而关于倒置的表情符号引起较小的N170现象，Churches等研究者是这样解释的，表情符号中用来表示眼睛、鼻子、嘴巴的字符本身并不携带任何面孔信息，只有将它们视为一个整体时，才能与真实的面孔建立有意义的联系。也就是说，一旦倒置破坏了表情符号的结构时，它所包含的结构信息便已经失去了面孔的象征意义，变成了一个个零散的标点符号。这一结果暗示了表情符号虽然有与面孔相似的整体结构，但它的特征却不一定被我们进行面部处理。在另一项研究中，Taejin Park (2016)等研究者考察了表情符号在面部表情处理中与注意依赖的关系，发现了注意条件下的N170波幅在右半球对恐惧的表情符号表现出显著的情绪效应。在非注意条件下，任何的表情符号都没有表现出类似真实面孔表情所能够引起的情绪效应现象。所以他们认为，当人们投入足够多的注意力资源时，表情符号与人类情绪面孔的处理有着共同的神经活动基础。

Figure 3. Differences in amplitude between P7 (left) and P8 (right) electrode points N170 with emoji in conventional and inverted

图3. 表情符号在正立与倒置情况下P7(左)和P8(右)电极点N170的波幅差异情况

Cao & Zhao (2018)在比较表情符号和情感词汇早期处理阶段的差异时发现，相比于情感词汇，表情符号引起的N170波在右侧枕颞叶皮质区域显示出更高的振幅以及更长的潜伏期。同时，也发现了表情符号的处理具有右半球优势。最近的一项研究中，Gantiva, Sotaquira, Araujo, & Cuervo (2019)为了研究表情符号与真实面孔是否具有相似的神经处理过程，比较了开心、中性、愤怒三种情绪的面部图片以及表情符号的差异情况，结果表明表情符号引发的N170波幅显著的大于面孔(如图4)。

Figure 4. Comparison of N170 differences between happy (left), neutral (middle), and angry (right) emojis and real faces

图4. 愉快(左)、中性(中)、愤怒(右)的表情符号与真实面孔的N170差异对比

他们认为可以用表情符号中眼睛或嘴巴等特征的大小和显著性相对增加来解释，这些特征的变化反过来会增进皮质处理。这一假设与过往的一些研究相吻合，Bentin (1996)和Taylor, Batty, & Itier (2004)曾报告过只暴露眼睛的面部刺激与包含所有面部特征的人脸相比产生更高的N170振幅。Pesciarelli, Leo & Sarlo (2016)也曾提出过眼睛是被自动处理程度最高的面部特征，能够改变由面部刺激引起的神经生理反应的幅度和潜伏期的分布状态。所以与人脸相比，表情符号往往只包含眼睛、嘴巴等主要的面部特征并且这些特征具有更高的显著性，这种夸张的设计可能同时增进了个体大脑皮层的处理。

以上这些证据都显示出表情符号的面部特征与真实面孔有着相似的神经活动。因为N170本身就是面部特异性的指标(Itier & Taylor, 2004; Rossion et al., 2003)，结合源定位技术也已将它的产生源定位在了大脑的梭状回，即梭状回面孔识别区(fusiform face area) (Kanwisher, McDwemott, & Chun, 1997; Itier & Taylor, 2004)。多位研究者证实了表情符号的神经处理过程与面部表情十分相似，并且表情符号的面部特征似乎有着增强皮质处理的作用。

4. 小结与展望

总体而言，经过研究者们的努力，对上述问题进行了广泛而深入的探讨。但关于后续的研究方向，作者提出以下几点建议，为以后的研究者们提供系统研究的思路。

首先，关于表情符号的识别是否与真实面孔表情的识别相类似，或者说表情符号的识别属于面孔识别的子集还是分属两个完全不同的认知通道，仍然是后续的一个主要研究方向。最早期的研究表明表情符号与真实面孔是两个完全独立的子集，但后来的报道却表明两者之间存在类似的神经活动，这可能是因为我们的大脑正在不断地适应的结果。此外，相比较于真实人脸，儿童通常喜欢符号化的卡通人脸，这种面孔对于自闭症的患者来说通常也更加容易处理(Rosset et al., 2008)。Kendall (2016)等研究者经过实验也发现过表情刺激符号化的程度越高，识别的正确率也随之提高的现象。后续的研究可以探讨一下这种符号化的面孔在面部的识别中能够起到何种作用。

其次，研究者也可以从表情符号的情感信息与真实面孔表情的处理差异入手，观察表情符号产生的情绪效应是否会与真实面孔不同。比如，愤怒和恐惧的表情通常会增大N170的振幅(Batty & Taylor, 2003; Bublatzky et al., 2014; Ma et al., 2015)，快乐的表情也可以引起更大N170负波(Bublatzky et al., 2017)。后续的研究可以观察对不同情绪的表情符号识别过程中会产生怎样的神经机制活动。另外，人脸的识别会产生更大的LPP波幅，预示着更高的唤醒和注意的投入，也可以以此为指标检验表情符号是否参与与人脸相类似的调制。无论是表情符号还是真实的面孔，都包含了情绪识别的处理过程。而情绪面孔认知的研究方法主要包括情绪面孔数据库以及识别任务两部分(肖明岳，2019)，关于表情符号的研究也可以借鉴情绪面孔的研究方法完善这一领域。同时，也可以探讨表情符号所传递的情感信息对个体情绪调节的影响，为情绪调节在实践中的应用价值贡献力量(史书彦&潘发达，2018)。事实上，也并不是所有的表情符号都具有相同的人性化程度，研究不同表情符号的形象特点(如印刷体、颜文字、表情包)对情绪传达的影响，将有利于发展通信技术以促进社会公共关系的发展。

最后，表情符号自身庞大的应用市场彰显了其本身独特魅力。从认知神经层面对它的探讨将有助于了解表情符号感知背后的处理机制，推动这一新兴领域开发和利用。尽管这方面的研究还处于起步阶段，但我们的大脑正在通过不同的处理方式适应一个充满表情符号的新奇世界。