味觉与情绪面孔识别的跨通道研究

Cross-Modal Research on Taste and Emotion Face Recognition

摘要: 对面孔情绪的识别是人们日常社交活动的一项重要能力。联觉是感觉传递理论中的一种，即一种刺激在引起该通道感觉的同时引起了另一种通道的感觉。在大众的意识中，大脑对面部的识别是基于面部的视觉信息，但其实来自味觉、嗅觉、听觉等的信息也可能对面孔情绪识别产生影响。前人研究结果表明，气味可以影响面孔信息的加工和情绪的识别，如好闻的气味与积极情绪相连，难闻的气味与消极情绪相连。相较于其他感觉的跨通道研究，对味觉的研究起步较晚，但结果有限，主要集中在行为学和脑成像方面，因此对味觉的跨通道研究需进一步深入。文章从视觉、嗅觉、听觉与面孔情绪识别的联系到味觉影响情绪面孔识别来论证分析，最后再提出已知研究的不足和未来展望。

Abstract: Face emotion recognition is an important ability in people’s daily social interactions. Synesthesia, a concept in sensory transmission theory, refers to the phenomenon where one stimulus not only triggers a sensation in the corresponding sensory modality but also evokes sensations in other modalities. While the recognition of faces is commonly believed to be based on visual information, sensory inputs from taste, smell, and hearing may also influence face emotion recognition. Previous studies have shown that odors can affect the processing of facial information and emotion recognition, with pleasant smells being associated with positive emotions and unpleasant smells with negative emotions. Compared to research on other sensory cross-modal interactions, studies on taste are relatively new and limited, primarily focusing on behavioral and brain imaging aspects. Therefore, further research is needed to explore cross-modal interactions involving taste. This paper discusses the connection between visual, olfactory, auditory, and taste information in face emotion recognition, and then examines the influence of taste on emotion face recognition, followed by a discussion of the limitations of current research and future directions.

1. 味觉加工及其神经机制

在日常生活中，味觉是我们判断食物是否安全可食的重要依据。通过舌头上的味觉受体，食物的味道被感知并转换为神经信号，传递至大脑的不同区域进行处理。根据解剖学研究，舌头上的味蕾包含了多种感受器细胞，它们能够识别食物分子并产生对应的神经反应，最终传递到味觉核团以及丘脑的腹后侧核。经过一系列的神经连接后，信号到达味觉皮层，使我们得以感知食物的味道。

脑岛被认为是味觉信号传递和处理的关键区域。近年来的研究发现，脑岛内有多个区域负责接收来自丘脑的味觉信息，特别是在处理情感反应和味觉质量方面具有重要作用。Bender指出，脑岛和额叶岛盖在这一过程中起着至关重要的作用，协调处理不同类型的味觉信息[1]。

迄今为止，已有不少的研究对味觉加工的神经机制进行了一定的探索，使用不同的味觉任务范式，主要是集中在对味觉品质、强度、情感价值的研究上。嗅觉与情绪系统紧密相连，味觉和嗅觉一样，有研究结果表明，味觉也能够产生情绪体验。杏仁核、前额叶底部和纹状体都是味觉通路的下游区域，它们在食物奖励、厌恶和基于价值的决策中扮演不同的角色。有研究发现，杏仁核能够被情感上愉快或者情感上不愉快的味道激活[2]。杏仁核的活动，尤其是中央核和基底外侧杏仁核，与条件性味觉厌恶强烈相关。Phillips等人提出了一个腹侧情绪网络，包括杏仁核、脑岛、腹侧纹状体和前额叶皮层腹侧区域[3]，且越来越多的研究将腹侧情绪网络与化学感觉刺激的愉悦性编码联系起来，如口味、味道和气味，表明腹侧情绪网络能处理化学感觉刺激的愉悦性。有研究测量了年轻男子对味道刺激的大脑反应，使用独立成分分析(ICA)和混合效应模型，在常规产品数据中确定了一个与味觉愉悦度有关的与腹侧情感网络相似的大脑网络，包括杏仁核、腹侧前额叶、岛状体、纹状体和海马旁区域[4]。

味觉编码，指人类的味觉系统会对味觉物质进行分析和编码，以迅速确定是否摄入该物质。关于味觉体验的情绪编码，有研究认为在更高层次的大脑中心能够激活情绪编码。有研究发现，在眶额皮层中对味觉愉悦度评价的激活受到高级皮层前扣带皮层认知的调节。味觉初级皮层脑岛参与味觉多种特性的表征。人脑中味觉品质的表征是通过一个分布式群体代码表示的，在初级味觉皮层和处理愉悦性和厌恶性特征的区域都是如此。Avery等人使用高磁场下的超高分辨率功能性磁共振成像(fMRI)检验人类大脑中味觉的空间表征，发现甜、酸、咸味溶液激活了前部和中部脑岛，并涉及杏仁核、前额叶、背侧丘脑、纹状体[5]。Chikazoe等人使用分布式多体素活动模式，识别对各种味觉品质有差异敏感的活动区域。结果发现，脑岛和上盖，脑岛前部和中部区域能够区分所有的味觉品质。Pritchard等人使用功能性磁共振成像(fMRI)，确定了双侧脑岛、额叶、前腹侧脑岛能够对味觉品质进行编码[6]。这些研究发现了大脑的一些区域能够对味觉品质进行编码、解码，感知到味觉强度的变化，比如杏仁核、岛叶都对味觉强度有反应，进而又产生情绪体验，反映出个人能够根据喜欢或厌恶的味道体验到愉快或者不愉快的情绪。当前的研究多是采用fMRI在人们感知甜、咸、酸等溶液过程中检测大脑的活动，但在实验过程中的体验都是短暂的，而味觉是一个持续发展的过程，所以在味觉引发一段时间内大脑活动的研究还有待进一步完善。

2. 视觉与情绪面孔识别

已有研究发现，情绪背景可以诱发个体产生与背景效价类似的情绪色彩，影响后续面部表情的识别。金爽在其研究中探讨了不同效价的情绪背景对面部表情识别的影响。通过提供正面、负面和中性面孔的图片材料，结果显示，温暖情绪词汇的隐喻效价对面孔识别产生了显著的促进作用。这表明，情绪背景有助于增强面部表情情绪的识别能力，这种现象可被视为视觉通道中的情绪一致性效应[7]。这一效应在多项研究中得到了验证。如Righart和de Gelder 通过在情绪图片中加入情绪面孔，探索了不同背景效价对人脸表情的影响[8]。结果发现，在高兴背景下，参与者对高兴表情的反应速度明显快于其他情绪背景；而对于厌恶表情，反应速度则在厌恶背景下最快。这一现象进一步表明，情绪一致的背景能够促进对面部表情的识别，尤其是在背景与表情效价一致时，识别效果更加明显。

除情绪背景外，有研究者认为，背景颜色和明度也会影响对情绪面孔的识别。雒姌等人采用情绪面孔识别任务对中国文化背景下红色色调和明度的情绪效价进行考察，他们选取中国汉族大学生为被试，结果发现，高低明度的红色背景都会促进面孔积极情绪的识别，低明度背景颜色会促进面孔消极情绪识别[9]。个人认为这也可以解释为视觉通道的情绪一致性效应，因为我们通常认为红色、橙色之类的暖色代表温暖、积极向上，蓝色、紫色等冷色代表消极、抑郁，尤其是在中国这样的文化背景下，对红色赋予了更多积极意义，所以视觉感知到红色背景能促进积极情绪识别。

情绪背景对面部表情的影响不仅仅表现在行为层面，还在神经生理上得到了体现。当采用事件相关电位技术时，可以观察到情绪一致性效应与N710波幅的增大密切相关。Righart和de Gelder通过将恐惧或中性面孔与恐惧或中性背景图片结合，发现情绪背景对面孔加工有显著影响[10]。在恐惧背景下，面孔的N170波幅明显增大，特别是对恐怖面孔的反应更加显著。除N170外，其他脑电成分，如P2波幅，也在特定情绪背景下有所变化[11]。

对于情绪面孔和视觉的研究，少不了对脑成像的考察。Mobbs等人使用动态情绪图片作为情绪背景，研究了其对中性面孔识别的影响。结果发现，消极背景下的中性面孔被评定为更加消极，而积极背景则让面孔看起来更加积极。进一步的脑区分析显示，消极和积极背景下的面孔加工会引发双侧颞上沟、双侧颞极、前扣带回和右侧杏仁核等脑区的更强激活[12]。Kim通过短暂呈现恐惧或快乐面孔后再呈现中性面孔，发现恐惧面孔背景下的中性面孔会诱发杏仁核的更强激活[13]。杏仁核作为情绪处理的核心区域，在恐惧或消极情绪的加工中发挥着重要作用。Li 则通过ERP研究，发现恐惧背景下的“吃惊”面孔能够引起枕叶P1波的更大波幅，这进一步验证了情绪背景对面部表情的影响[14]。总的来说，这些脑成像研究揭示了杏仁核、前部扣带回、枕叶等都参与了面孔情绪加工，对情绪加工也都会受到背景情景的影响。对视觉通道的情绪识别研究已经非常成熟，很多研究者都发现了视觉、情绪的跨通道相互影响、相互作用。

3. 听觉与情绪面孔识别

其实声音信息不停地在影响我们的感知觉过程，所以除去视觉和嗅觉外，听觉在面孔情绪识别中的作用也是不容忽视的。de Gelder和Vroomen进行的一项研究中，实验呈现了面部表情和带有情绪语气的中性句子，结果表明，情绪性声音对面孔表情的识别产生了干扰[15]。Föcker等人也发现，当声音和面孔表情的情绪不一致时，被试的反应速度较慢，正确率较低。而当声音情绪与面部表情情绪相一致时，被试在面部表情识别中的表现明显更好[16]。Rigoulot和Pell进一步研究了不同情绪面孔和相应情绪声音对面孔识别的影响[17]。研究结果显示，当声音情绪和面孔情绪一致时，被试对面孔注视时间更长、频率更高，尤其是对恐惧情绪。由此可以发现，当声音情绪与面孔情绪效价一致时，人们在行为学上会有更好的表现。

在神经机制方面，愉快的音乐已被证明能够激活与奖赏相关的脑区，如腹侧盖膜区、下丘脑和脑岛[18]，这些区域的激活能够引发愉悦的情绪体验。Ethofer通过fMRI研究也发现，当面部表情伴随恐惧语气时，相比单独呈现面孔，杏仁核和索状回等脑区的激活更为强烈。值得注意的是，听觉的影响不仅是自愿的，更多是自动化的反应[19]。de Gelder使用ERP技术研究面孔情绪，结果发现在刺激呈现后110 ms就出现了N1成分，这个结论也就证实了听觉通道效应发生在早期，会自动地作用于情绪面孔识别过程，影响认知加工过程[20]。基于以上内容，可以听觉通道与面孔情绪识别之间也存在一定的联系。

4. 嗅觉与情绪面孔识别

相对于视觉与面孔情绪识别的研究，对于嗅觉和面孔情绪识别的研究相对较少，但从已有研究也能够发现嗅觉也存在这种跨通道的信息整合，从而影响情绪。唐玉榕研究气味背景对情绪面孔识别的影响，以200名大学生为被试，结果发现，愉快和中性气味条件下，被试对积极情绪识别正确率高且反应时间短；不愉快气味条件下，被试对消极情绪识别正确率高且反应时间短。但情绪面孔中快乐表情在不同气味背景下都存在识别优势。研究结果表明，气味确实会影响人们对面孔情绪的判断，不同气味的影响效果存在差异[21]。de Groot在2012年的研究表明，恐惧或者厌恶气味会刺激气味接收者呈现同样的面部表情[22]。这一发现与Seubert的研究结果相一致，他们通过设置积极气味、消极气味和无气味条件，发现无论是积极还是消极气味，均能提高被试对厌恶面孔的识别速度和准确性[23]。Lehrner探究背景气味对牙科诊所等待就诊的病人情绪的影响。将患者分成在等待时可以闻到橙子气味的实验组，和闻不到气味的控制组。结果发现，在闻到橙子气味的患者焦虑水平明显偏低，表现得更加积极。以上几项研究充分的说明了嗅觉对情绪的跨通道影响[24]。

嗅觉具有独特的生理特点，它不需要通过丘脑中继，而是直接投射到大脑皮层，这使得气味对情绪的影响具有直接性。一些研究表明，气味能够通过调节情绪状态来影响个体的情绪反应。例如，某些研究发现，愉快的气味可以使梦境变得更加积极，而令人不悦的气味则会使梦境变得更加负面。这表明，气味本身所携带的情绪效价具有调节情绪的潜力。

嗅觉与情绪处理的神经机制高度重合，尤其是在杏仁核、海马、眶额皮层和脑岛等大脑区域，这些区域既参与嗅觉的加工，也与情绪的产生和调节密切相关。Leppänen和Hietanen进行了一项ERP研究，被试的任务是在快乐、愤怒、恐惧、悲伤、中性面孔表情中识别出红色脸，同时设置愉快或厌恶气味，实验过程中使用脑电图提取事件相关电位。结果发现，面孔表情在面孔出现后约100 ms至480 ms左右调节了枕叶、中央和中央顶叶的脑反应[25]。在其他研究中，也能够发现不同的气味能够引发杏仁核的活动。由部分内容可以发现，在嗅觉对面孔情绪识别的影响同样表现出了一致性效应，也就是说当情绪与气味一致的情况下，识别成绩更好。这一现象表明，嗅觉可以通过激活情绪相关脑区，影响面部情绪的加工，进一步支持了情绪一致性效应的存在。在其他研究中，也有发现不同的气味刺激能够激发杏仁核等区域的活动，这些脑区在情绪的识别和加工过程中扮演着重要角色。因此，嗅觉作为一种情绪通道，不仅能调节情绪状态，还能通过影响大脑的情绪处理机制，进而影响对情绪面孔的识别。当然目前对情绪影响的跨通道研究多是针对视觉、嗅觉这些方面，其实触觉、听觉、味觉等也会对情绪产生影响，所以本篇综述主要是想从对视觉、嗅觉对情绪影响的研究出发，考虑味觉的跨通道影响及其脑机制。

5. 味觉的跨通道研究

味觉跨通道研究起步较晚，相比于对视觉、嗅觉、听觉，对味觉的跨通道研究是比较少的，对视觉和面孔情绪的研究就更是少之又少。多通道诱发是指，组合使用视觉、嗅觉、听觉等诱发材料，以达到更好诱发效果的情绪诱发方法。例如，Baumgartner通过同时呈现情绪图片和与之匹配的古典音乐，发现情绪图片和音乐的组合显著增强了情绪诱发的效果[26]。这种研究为味觉与视觉、听觉通道的交互作用提供了理论支持。进一步的研究也表明，视觉信息与味觉感知之间存在密切的交互作用。戴璐将被试随机分到甜、酸、咸、苦和控制组，让被试在品尝过不同味觉饮料后填写问卷。结果发现，甜味觉被试组在积极情感上显著高于酸、苦、咸和控制组；在消极情感上，甜、酸、苦、咸觉组被试的消极情感显著低于控制组。由此可以看出甜味更容易对人们产生积极影响[27]。

其实到目前为止也有一些研究证明，视觉和味觉通道信息可以发生交互作用，并且这种作用很可能是受到大脑高级皮层情绪和认知状态就是调节。有研究者发现颜色和形状的视觉差异的视觉信息与特定味觉认知具有明显的相关性。Karthikeyan的研究发现，被试通常会将看到的圆形物品与甜味相匹配，尖锐物品与酸味或苦味相匹配[28]。Pich等人的研究选取圆滑和尖锐的杯子，甜味和苦味两种味觉刺激，让被试从两个杯子中选择那个杯子中的溶液更甜和哪个杯子溶液更苦。研究结果发现了跨模态效应[29]。有学者通过fMRI研究发现，当参与者观看爱人的照片时，扣带回前皮质会被激活[30]，这与品尝甜味糖果时激活的脑区一致[31]。由此可以发现，视觉可以影响个人对味道的感知，视觉信息和味觉感知之间确实存在交互作用。

味觉作为一种带有情绪体验的化学感觉，同样也对视觉信息感知存在跨通道促进或抑制作用。Xiao等人在2014年采用Stroop范式设计ERP实验，让被试口中含着带甜味或酸味的糖块或维c片，并判断甜味或酸味的食物图片。结果发现，当口中感知到的味道与食物图片不匹配时的反应时明显慢于味道与食物图片匹配的条件。同时他们采用磁共振技术探究味觉对视觉影响的跨通道作用，脑成像结果发现额中回、舌回以及中央后回与视味觉的跨模态冲突控制有关[32]。Jabbi设计fMRI实验来研究味觉对情绪面孔识别的影响，让被试在甜、酸条件下对中性或愉悦面孔、中性或厌恶面孔进行判断，结果发现，不论在哪种条件下，被试判断愉悦面孔反应时都是最快的。fMRI结果发现，左侧中央后回、三角部额下回、枕上回、右侧颞中回、枕上回区域显著激活，验证了行为学结果[33]。

当然，除去视觉和味觉的相互作用，味觉和嗅觉之间的信息整合是常被研究的内容。Stevenson研究发现，在饮用蔗糖和柠檬酸溶液的同时通入焦糖气味，将使得人们对蔗糖溶液的甜度评价明显上升，而柠檬酸的酸度随之下降；反之，如果通入当归油的气味，则会显著地抑制对蔗糖溶液的甜味体验[34]。这些研究结果表明，味觉跨通道的研究证据有限，还需深入探究。

6. 总结和展望

本文的主要目的是研究味觉与情绪面孔识别的跨通道影响。通过回顾视觉、嗅觉、听觉与情绪面孔识别之间的关系，引出对味觉的跨通道研究。现有研究发现，甜味通常与积极情绪相连，识别为积极面孔，而苦味更容易产生消极情绪，识别为消极面孔。一系列行为学和脑电结果都证明了味觉的跨通道影响确实存在。

在有限的视味觉跨通道行为学、脑电和功能影像相关文献中，虽然可以找到支持视味觉跨通道信息整合的有限证据，但这种味觉和视觉相互作用的机制是否受到大脑情绪认知状态的调节，仍需要未来进一步的深入探究。未来的研究可以采用更多的功能磁共振分析方法，探索大脑情绪认知状态在跨通道加工中的调节作用。此外，未来的研究还可以考虑其他感官通道(如触觉、听觉)与味觉的交互作用，以更全面地理解多通道信息整合对情绪面孔识别的影响。

通过这些研究，我们可以更好地理解味觉如何通过跨通道机制影响情绪面孔识别，为情绪诱发和认知神经科学提供新的视角和方法。