焦虑障碍对奖赏和惩罚学习的影响及其机制

The Effect of Anxiety Disorder on Reward and Punishment Learning and Its Mechanism

摘要: 焦虑障碍是心理健康领域备受关注的重要议题。研究表明，焦虑障碍会显著影响患者的认知功能，特别是在注意力、记忆力和决策制定等核心认知加工领域。学习能力对于人类适应环境并实现持续发展至关重要，而焦虑可能对此产生负面影响，尤其在奖赏和惩罚学习过程中表现出来。然而，目前还不清楚焦虑障碍如何干扰这些关键的认知神经机制。本综述旨在系统梳理现有文献中关于焦虑障碍人群在奖赏和惩罚学习方面的研究成果，包括行为学、电生理学和神经影像学等方面的研究。本文旨在从奖赏和惩罚学习的角度出发，深入探究焦虑障碍对学习机制的影响，阐明学习过程中焦虑障碍所特有的认知神经基础，为未来焦虑障碍的临床诊断和治疗提供新的理论指导，并期望开发出更有效的干预策略。

Abstract: Anxiety disorders represent a critical issue within the field of mental health. Research has demonstrated that these disorders significantly impair cognitive functions, particularly core cognitive processes such as attention, memory, and decision-making. Learning ability is essential for human adaptation and sustained development, and anxiety may detrimentally affect this capacity, especially evident during reward and punishment learning. However, the specific mechanisms by which anxiety disorders disrupt these key cognitive and neural processes remain unclear. This review systematically synthesizes existing literature investigating reward and punishment learning in individuals with anxiety disorders, encompassing findings from behavioral investigations, electrophysiological studies, and neuroimaging evidence. By focusing on the perspective of reward and punishment learning, this paper aims to provide an in-depth exploration of how anxiety disorders impact learning mechanisms, elucidate the distinct cognitive and neural underpinnings characteristic of anxiety during the learning process, and offer new theoretical guidance for the future clinical diagnosis and treatment of anxiety disorders. Ultimately, this work seeks to inform the development of more effective intervention strategies.

1. 引言

焦虑障碍是一种常见的精神障碍，患者以极度的恐惧和焦虑以及与这些症状相关的行为异常为特征，美国《精神障碍诊断与统计手册》第五版(DSM-5)中把它分为分离性焦虑障碍、选择性缄默症、社交焦虑障碍、惊恐障碍、广场恐惧症、特定恐惧症和广泛性焦虑障碍(APA, 2013)。焦虑障碍在我国有着较高的流行率，最近一次全国性调查显示在我国的精神障碍疾病中，焦虑障碍的患病率最高，终身患病率约为7.6% (Huang et al., 2019)。焦虑障碍的出现和持续，给家庭和社会带来巨大的治疗成本。

在交互多变的世界中，适度的焦虑对个体的生存和发展具有一定的适应性，促使人们能够敏锐地避免潜在的威胁和干扰。除此之外，人们还需要通过不断地学习才能够实现对所处环境的适应和促进自身的发展。强化学习(Reinforcement Learning)作为指导个体通过观察环境和反馈来学习如何做出最优决策的最常用的一种学习形式，其中，奖赏学习和惩罚学习是强化学习中最常见的两种形式，奖赏学习指导个体以寻求更多奖赏而不断累计经验，惩罚学习指导个体以规避惩罚而不断进行学习，这两种学习形式对于个体促进发展和维持生存具有重要意义(Sutton & Barto, 2018)。然而，在适应环境的学习过程中，过度的焦虑以及焦虑障碍的存在会对个体的学习能力带来干扰，主要表现在影响个体在学习过程中所涉及的注意力分配、结果评估、应对策略等功能(Cohen et al., 2011)。

因此，本文旨在探讨焦虑影响学习的认知神经机制，梳理焦虑障碍的成因，及其在奖赏学习和惩罚学习中认知功能的缺陷和神经功能的紊乱，探寻焦虑及焦虑障碍影响的学习机制，有助于更全面地对焦虑障碍进行诊断以及寻找有效的治疗方法。

2. 焦虑障碍的成因

焦虑作为一种负性情绪状态，它是人类在面对不确定性情景时，为应对潜在的威胁，在主观上感到的紧张、忧虑、烦恼，同时伴随自主神经系统的激活(Bekker et al., 2003)。高焦虑个体对威胁信息具有明显的注意、记忆偏向，以及对模糊信息进行负面解释的偏向(Mathews & MacLeod, 2005)使人们在充满未知的生活中更容易产生过度的应激反应。

在引发焦虑障碍的外部环境因素方面，Grupe & Nitschke (2013)提出焦虑的不确定性和预期加工模型(uncertainty and anticipation model of anxiety, UAMA)认为，焦虑障碍产生的重要原因是由于无法忍受环境中的不确定性。在不确定的环境中，焦虑障碍患者往往对不确定结果产生威胁性预期和对环境中的非安全信息产生过度的注意偏向和行为规避。在这种特异性的认知行为模式下，焦虑与不确定环境之间的相互作用，焦虑障碍人群在不确定性的环境中更容易诱发焦虑，从而产生为减少不确定性的非适应性行为，例如担忧、寻求安慰、反复检查、过度警惕等行为(Grupe & Nitschke, 2013) (Brown et al., 2017) (McEvoy & Mahoney, 2012)，最终导致焦虑障碍症状的维持和恶化。

除了由外部的应激环境因素的影响以外，焦虑障碍还与自身无法忍受不确定性的特质、过度的诱发焦虑状态和认知神经功能等内部因素具有高度相关(Shackman et al., 2016)。例如，高特质焦虑人格在不确定的环境中更容易产生惩罚威胁的预期，从而导致过度的焦虑(Blanchard & Blanchard, 1989) (McNaughton & Corr, 2008)，也是一种患焦虑障碍的潜在因素。另外，焦虑障碍人群大脑活动异常以及不同脑区之间的功能网络连接的紊乱也是焦虑障碍产生的生物学因素，例如，在奖赏学习任务中，焦虑障碍个体纹状体对奖赏反馈的反应减弱(Delgado et al., 2000) (White et al., 2017)。在奖赏预期中，焦虑患者的尾状核(caudate nucleus)和壳核(putamen)内的活动减弱。而焦虑障碍个体在面对具有威胁性的惩罚结果时，则表现出杏仁核活动的过度活跃(Rosen & Schulkin, 1998)，表明焦虑障碍的学习异常有特定的神经基础。另外，Sylvester等人(2012)整理出大量相关文献发现，基于功能性磁共振技术的支持下，相比健康人群，焦虑障碍个体在学习过程中负责检测冲突和认知控制变化需要功能的突显网络(salience networks)活动增强；负责对新异刺激的注意的腹侧注意网络(ventral attention networks)活动增强；负责进行情绪调节、未来计划等认知功能的默认网络(default mode networks)活动减弱；负责认知控制能力的执行控制网络(executive control networks)活动减弱(Sylvester et al., 2012)。证明焦虑障碍个体具有特异性的功能网络模式。

因此，无论从外部不确定环境的诱因，还是个体无法忍受不确定的特质及神经基础，焦虑障碍的产生和维持均与在未知环境中的学习有密切的联系。

3. 焦虑障碍影响奖赏学习和惩罚学习的学习机制

学习是人类在进化适应所处环境过程中必不可少的一种能力，而焦虑障碍的发展则会对个体的适应性学习带来显著的影响，这些对学习带来干扰性的焦虑作用又会加剧个体在所处环境中的焦虑情况，形成一种恶性循环。因此，基于学习的角度探讨和总结焦虑障碍的异常具有重要的研究价值。根据经典的强化学习理论，学习往往是由个体追求奖赏的动机驱动的。从生存和发展的角度看，学习旨在优化个体的决策行为，使得决策结果尽可能符合预期。在奖赏学习过程中，个体需要在未知环境中掌握行为与奖赏之间的具体关系，以便最大化奖赏的获取(Bach & Dolan, 2012)。惩罚学习与奖赏学习相似，是一种个体对其行为不良后果进行编码的能力，也是塑造人类行为的重要基础。它不仅有助于优化决策过程和风险评估，还是促进个体适应不断变化环境的核心机制。通过施加惩罚，如罚款、批评或监禁等，惩罚学习促使个体在特定情境下调整自己的行为。这种有效的惩罚学习能够显著减少个体可能对自身造成伤害的潜在行为，从而提高其生存概率以及环境适应能力(Fehr & Fischbacher, 2003) (Henrich et al., 2010)。对于奖赏学习和惩罚学习之间的差异，有研究发现个体在奖赏学习和惩罚学习之间所采取的策略存在差异，个体在奖赏学习过程中更偏向采取灵活性较高的“基于模型”策略，在惩罚学习过程中更偏向采取灵活性较低的“目标坚持”策略，且焦虑程度更高的个体对“目标坚持”策略的依耐性更强(Sharp et al., 2022)。表明惩罚学习背景本身对个体学习能力存在影响，并且这种影响会受到焦虑的作用而加剧。

对此，基于双因素理论的观点认为，奖赏强化会增强奖赏获得行为的频率，惩罚强化会降低惩罚获得行为的频率。然而，相比单因素理论的观点，双因素理论认为奖赏强化和惩罚强化对行为频率的影响具有非对称性，奖赏和惩罚对行为的影响存在差异性。这种观点在后续的研究中得到了验证，Kubanek等人(2015)通过包含加分奖赏和减分惩罚的按键选择任务范式发现，随着加分值的提高，参与者重复获得加分行为的频率越高，但面对减分任务时，参与者重复获得减分行为的频率虽低于50%的基线水平，但其行为重复频率却并不会随着减分值的提高而越低(Kubanek et al., 2015)。该理论的验证性结果对于研究焦虑作用下的奖赏学习和惩罚学习机制具有重要的参考意义。

焦虑对奖赏学习和惩罚学习的影响，涉及注意、结果评估等认知过程的改变及其对应的神经功能变化。因此，本文梳理焦虑人群以及焦虑障碍患者分别在奖赏和惩罚学习研究中特异性的行为表现和神经生理活动，厘清焦虑的奖赏和惩罚学习的机制。

3.1. 焦虑障碍影响奖赏学习的认知机制

强化学习理论认为，学习是由追求奖赏的动机所驱动的。奖赏学习是个体在所处环境中习得行为与奖赏的特定关系，从而使自身在决策过程中获得最大化奖赏的方法，对维持人们适应环境和促进发展具有重要意义(Peterson et al., 2011)。在经典的爱荷华赌博任务范式(Iowa Gambling Task)中，Miu等人(2008)发现高焦虑个体更偏向于选择高概率低奖赏的保守选项，而放弃选择低概率高奖赏的选项(Miu et al., 2008)，表明高焦虑个体难以采取最优策略，难以促使自身累计奖赏的最大化。同样，在风险规避的气球模拟风险任务中(Balloon Analog Risk Task; BART)，当个体给气球打气的次数越多，将得到的奖赏金额也越多，但也伴随气球爆炸使所得奖赏清零的风险性也越大(Lauriola et al., 2014)。研究发现，随着个体的焦虑和担忧水平越高，他们过早放弃给气球打气的可能性越大，最终导致失去更多的潜在奖赏(Maner et al., 2007)。类似的研究也发现，焦虑水平与寻求积极强化相关的行为趋近系统(Behaviour Approach System, BAS)呈负相关关系(McNaughton & Corr, 2004)，这意味这焦虑障碍个体对待奖赏刺激相关积极强化物的敏感性较弱，在奖赏决策中更加保守，难以实现奖赏最大化的目标。

除此之外，在后续的研究中，Jiang等人(2017)则采用简单的“概率学习”任务范式研究高特质焦虑人群的奖赏学习能力。该范式让高特质焦虑人群在80%：20%的获胜概率选项比的不确定决策环境中通过前期决策的经验积累逐步形成奖赏累计最大化的行为策略。结果发现，在学习过程的前期阶段，高特质焦虑组选择优势选项的比率显著少于低特质焦虑组，表明受特质焦虑的影响，个体需要进行更多的试错才能掌握选项和奖赏之间的概率关联(Jiang et al., 2017)。

上述研究总体表明焦虑障碍与特质焦虑在不同程度导致个体的奖赏学习行为受损，使其在奖赏学习过程中偏离奖赏累积最大化的目标。并且，短暂的焦虑状态也会对个体的奖赏学习带来一定的影响，在未知的环境中，尤其是在波动性较大的不确定环境中，受短暂状态焦虑影响的个体难以做出有效的奖赏学习决策(Hein et al., 2021)，具体表现为难以清楚认识环境中的奖赏概率波动和根据环境的变化调整寻求奖赏的行为策略，表明即使是健康人群，其适应学习能力也会受暂时性焦虑情绪的影响。

3.2. 焦虑障碍影响惩罚学习的认知机制

惩罚学习作为强化学习的另一种形式，使个体在现实世界中“吃一堑，长一智”。然而，焦虑个体在惩罚学习中同样存在异常。强化敏感性理论中与规避惩罚强化物相关的行为抑制系统(Behaviour Inhibit System, BIS)提到，BIS更高的个体为了达到避免遭受惩罚的目的，会出现更强烈的抑制性行为(Smits & Boeck, 2006)。而个体的焦虑水平与BIS的敏感性存在正相关关系(Grey & McNaughton, 1982) (Craig et al., 2009)。研究中也发现，焦虑障碍患者更偏向于从消除厌恶刺激，而不是愉快的刺激来改变行为(Corr, 2013) (McNaughton & Gray, 2000)。即使在惩罚风险较低的情况下，焦虑个体还是表现出了过度回避行为(Charpentier et al., 2017)。然而，较高的惩罚敏感性并非是完全非适应性的，Jean-Richard-Dit-Bressel等人(2021)发现对惩罚敏感和不敏感的个体在检测和学习厌恶结果的意志控制力上存在显著差异，对惩罚不敏感的个体在惩罚学习过程中不能有效习得行为与惩罚之间的概率性关系。简而言之，当个体的惩罚敏感性不足时，也会导致自身难以从遭受惩罚的结果中去学习，再一次面临规避惩罚的决策时也难以实现规避惩罚的目标。而高焦虑或焦虑障碍人群则往往存在过高的惩罚敏感性。Browning等人(2015)发现，高特质焦虑群体在惩罚学习任务中，难以根据行为与惩罚之间概率关联的变化而及时调整有效规避惩罚的决策策略(Browning et al., 2015)。之后研究发现，焦虑个体更偏向于根据即时结果来学习规避惩罚，对惩罚结果的学习率更高(Aylward et al., 2020)。对此，Aylward等人(2020)同样以规避惩罚为目标的实验范式研究焦虑人群的惩罚学习机制的实验结果发现，在以规避电击为目标，伴随波动性的不确定的学习环境中，初步的实验结果分析发现焦虑障碍人群在惩罚学习任务中的惩罚学习率更高，意味着该类人群能够更快地从惩罚等负性结果中进行学习，更容易根据最近的负性结果来调整更新自身的行为。然而，在进行深入的分析后发现，焦虑障碍人群的高惩罚学习率同时还伴随着高失效参数(lapse)和高衰退参数(decay)，反映该类人群在更容易因负性结果而更新行为的同时，也更容易遗忘过往早期的行为经验。

从现实角度看，在面临潜在惩罚背景中的回避行为具有一定的适应性意义，然而，有研究指出特质焦虑作用下的个体在现实生活中往往存在过度泛化的回避行为，包括在无关惩罚或相对安全的环境中(Klein et al., 2020)。并且，高特质焦虑个体的过度回避行为会随着年龄的增长而加剧，例如，老年个体伴随着焦虑程度提高与相关认知功能衰退的叠加，其在日常决策和社交生活中体现出的回避倾向更为显著。该研究明确地从年龄角度指出了焦虑障碍产生的主要因素。

因此，高焦虑及焦虑障碍人群具有更高的惩罚敏感性，对惩罚概率的高估和对惩罚结果的过度回避，并产生对行为的过度抑制。而这种对于惩罚过度敏感的认知行为模式在决策者面对随机性较强的不确定性决策背景具有一定的适应性，但难以促使决策者基于过往经验总结出最有效的规避惩罚行为策略。然而，单靠观察焦虑障碍个体在高波动性不确定环境中的表现还不足以准确认识其学习机制，未来研究还需结合不同不确定环境背景探讨焦虑障碍人群的学习行为在所处环境中是否具有适应性作用。

4. 焦虑障碍影响学习的神经机制

从神经层面的角度，事件相关电位技术(Event Related Potential, ERP)依靠毫秒级的时间分辨率，能够帮助获取有效表征焦虑障碍个体特异性学习机制的神经标志物，能够更加客观地揭示焦虑维持和恶化的风险因素(Weinberg et al., 2016)。另外，功能性磁共振成像(functional magnetic resonance imaging, fMRI)技术结合ERP技术，分别借助其更高空间分辨率与更精确时间分辨率的优势，对于研究焦虑及焦虑障碍影响下的奖赏学习和惩罚学习相关的特异性神经环路有着极高的科学价值。

4.1. 焦虑障碍影响奖赏学习的神经机制

4.1.1. 焦虑障碍奖赏学习相关的电生理研究

奖赏正波(Reward-related P300, RewP)是一种在奖赏反馈后250~350 ms之间达到峰值的正ERP成分，反映了对比奖赏反馈和惩罚反馈之间差异的处理过程，该成分对反馈的效价敏感，并且相对于消极反馈，积极反馈会诱发更大的RewP成分(Proudfit, 2015)。因此，该成分作为反映大脑奖赏活动非常敏感的一种生理指标，对于探索焦虑障碍对奖赏学习的作用机制具重要的研究价值。例如，高特质焦虑和患广泛性焦虑障碍的儿童诱发的RewP的成分更小(Gu et al., 2010) (Kessel et al., 2015)，符合焦虑障碍的奖赏敏感性弱的特性。然而，另外研究发现，社交焦虑儿童在面对社会性反馈时会诱发更大的RewP成分(Bar-Haim et al., 2009) (Lahat et al., 2018)，对此，考虑到金钱奖赏和社会奖赏之间反馈性质上的差异，除反馈效价之外，RewP的大小也会受到反馈性质的调节。并且，不同年龄阶段的个体存在的对不同类型反馈的重视度差异可能也是导致RewP成分大小差异的重要原因。因此，RewP成分作为检验焦虑障碍对奖赏学习的客观指标，未来的研究也可以从不同类型奖赏反馈的角度探讨不同阶段焦虑障碍人群的奖赏学习机制异常之处。

奖赏线索可以指导个体决策后对奖赏产生预期，有利于个体在学习的过程中实现最大化奖赏的目标。Cue-P3成分作为在呈现线索刺激后300~600 ms的一种正ERP成分，被认为反应了个体对奖赏刺激的注意分配(Novak et al., 2016)。然而，在奖赏学习中仅发现抑郁症患者的Cue-P3的波幅更小(Song et al., 2019) (Wang et al., 2021)，结合焦虑障碍和抑郁症具有一定的共病性(Kalin, 2020)，焦虑障碍患者基于奖赏预期的学习异常是否也体现在Cue-P3成分上在未来的研究中值得探讨。

上述两种电生理指标，在研究关于特殊人群在奖赏学习机制中，可以分别作为探索其结果评估和动机程度的神经生物学证据。然而，这类指标在已有的研究中主要被应用于抑郁类人群的研究中，而对于焦虑及焦虑障碍人群的应用研究则相对空缺(Arias-Carrión & Pöppel, 2007)。

4.1.2. 焦虑障碍奖赏学习相关的神经基础研究

焦虑障碍也影响了奖赏学习的大脑环路。大脑的奖赏系统包含了不同的大脑结构，例如中脑(midbrain)；腹侧纹状体(ventral striatum)；眶额叶(orbital frontal)和中前额叶皮层(mesial prefrontal) (Cox & Witten, 2019) (Berke, 2018)。在奖赏反馈中，无论在静息态还是学习任务中，焦虑障碍个体的纹状体对奖赏的反应减弱)。在奖赏预期中，焦虑障碍个体的尾状核(caudate nucleus)和壳核(putamen)内的活动减弱，这意味着焦虑障碍预期得到奖赏的动机减弱。例如，Bashford-Largo等人(2021)通过观察患广泛性焦虑障碍的青少年在趋近/回避任务范式中的大脑神经活动发现，在涉及奖赏相关的大脑区域中，相比控制组青少年，广泛性焦虑障碍青少年面对奖赏时在尾状核、壳核、中扣带回/中央旁小叶以及额上回和额中回这些区域的活动更弱，并且他们的这些脑区域在面对奖赏和惩罚之间所表现出的差异反应更弱，表明了病理性焦虑对个体在处理奖赏相关信息方面的功能破坏。然而，其他研究发现，当面对潜在价值更高的奖赏线索时，广泛性焦虑个体的尾状核和壳核的活动表现出比健康人群更高的激活程度(Benson et al., 2015)，表明奖赏预期的大小可以调节焦虑障碍对奖赏的学习。另外，伏隔核(nucleus accumben)也作为大脑奖赏系统的重要区域，针对社交焦虑人群的研究也发现，在进行社会性奖赏预期时，高社交焦虑个体的伏隔核活动迟钝(Beltzer et al., 2019)。

另外，Grupe和Nitschke (2013)从神经系统的角度，对焦虑影响奖赏学习的机制提出了猜想。他们指出：根据强化学习理论，大脑内的扣带前回皮层(anterior cingulate cortex, ACC)负责评价实际结果与决策则预期结果的差异性，当遇到与预期不符的负反馈时会在ACC内诱发“预期错误信号”，同时指导个体即使调整决策策略。但是，焦虑情绪所引起的生理变化会干扰ACC的激活，致使高焦虑个体不能准确地对结果进行预期。除此之外，在联结学习过程中起重要作用的杏仁核活动也会受到焦虑水平的影响，促使高焦虑者的杏仁核过度活跃，导致其在奖赏学习过程中的联结学习能力受损。

腹侧被盖区(VTA)的多巴胺神经元在构建人类对刺激和奖赏之间的联系中起着重要的介导作用。已有许多研究发现原始奖赏和社会性奖赏能够有效激活该区域的多巴胺神经元(Hernandez & Hoebel, 1988)，并且，当通过训练或实验性的操纵将中性刺激与奖赏建立关联后，个体在面临中性刺激时同样会激活VTA的多巴胺神经元(Galaj & Ranaldi, 2018)。因此，对于奖赏学习的研究而言，该区域的激活程度可以作为神经探测点，反映个体在强化学习过程中对奖赏强化的认知关联程度。

上述研究提到了焦虑障碍个体在奖赏加工中多个关键脑区(纹状体、前额叶皮层、ACC、VTA)存在神经活动异常的证据。然而，目前仍然存在局限性，这些研究结果存在不一致性，其中可能受多种调节变量(奖赏类型、任务)和被试类型的影响。另外，虽然实证研究分别发现了涉及焦虑障碍个体在奖赏学习中的关键脑区，但缺乏一个整合多巴胺能系统、预期错误计算(ACC/VTA)、情绪调节(杏仁核)以及目标导向行为(PFC-纹状体环路)的神经计算模型来解释焦虑如何具体破坏奖赏学习过程。对此，未来的研究需要更细致地考虑各类调节变量，通过利用多模态方法(如结合fMRI与EEG)并发展更精细的计算模型来填补焦虑障碍人群神经活动与行为异常之间的鸿沟。

4.2. 焦虑障碍影响惩罚学习的神经机制

4.2.1. 焦虑障碍与惩罚学习相关的电生理研究

反馈相关负性(FRN)是在结果反馈后250~400 ms之间达到峰值的成分(Walsh & Anderson, 2012)，FRN成分反映了实际结果与预期结果差异，当个体面对出乎意料的结果时，会比预期结果时诱发的FRN成分更大(Ferdinand et al., 2012)，与惩罚反馈相关密切(Sambrook & Goslin, 2015)。在货币赌博的任务中，高焦虑个体在面对惩罚反馈时比低焦虑个体的FRN更小(Balconi & Crivelli, 2010)。对此，基于强化学习理论的解释，人们在不确定的环境中，会根据实际结果和预期结果之间的差异而产生一种预期误差(PE)，并利用这种误差来指导后续的学习和行为(Ferdinand et al., 2016)，而这种预期误差也相当于一种个体对结果的意料程度，结合焦虑人群对未来容易持悲观态度的特征，当面临负性结果时，反而会更符合他们的预期(He et al., 2017)。P3也是一种在结果反馈呈现后400~600 ms之间达到峰值的正向波(Whitton et al., 2015)，在决策的过程中，P3成分的变化反映了人们对根据结果而调整信息的程度(San Martín et al., 2013)。另外，该成分还与注意力分配策略的调整和行为抑制有关(Glazer et al., 2018) (Bruin et al., 2000)。当焦虑障碍在抑制与任务无关的刺激时，其P3成分会显著更小(Huster et al., 2013)，这意味着焦虑障碍患者可能习得最优化决策策略的过程中，难以有效地抑制与任务无关刺激的干扰。另外，在Xia等人(2021)的研究发现，在概率逆转的实验范式中，高特质焦虑人群比低特质焦虑人群在奖赏学习过程中存在更差的学习行为表现，具体表现为，高特质焦虑人群在面对金钱遗漏的结果后，在之后做出行为变更的几率更小，同时在该情况下所探测到的P3更小。一定程度上反映了在高特质焦虑的影响下，个体很难灵活调整策略以在未来决策中获得更好结果，同时，高特质焦虑人群在概率逆转实验范式中的P3也与其行为表现存在一定关联，表明P3在一定程度上可以反映个体在不确定环境中的决策灵活性(Xia et al., 2021)。

关联性负变波(contingent-negative variation, CNV)，是一种伴随着“警告刺激”而出现的与动作准备相关的负波，是注意和觉醒的心理生理学标志。CNV可以分为早期和晚期两部分，分别在动作前500 ms和1500~2000 ms这两段时间产生，该成分被认为其峰值和波幅受到动机和努力程度的影响，例如在接受奖惩时的波幅增强(Bechor et al., 2019)。而已有研究表明，高焦虑人群在面对惩罚刺激时，CNV的振幅更大，验证了高焦虑人群对消极刺激会分配更多的注意力资源(Zhang et al., 2017)，说明高焦虑人群早在惩罚学习的预期阶段已经出现注意资源分配不均。

4.2.2. 焦虑障碍与惩罚学习相关的神经基础研究

杏仁核、腹侧纹状体和眶额叶皮层与惩罚学习有关(Carretié et al., 2009)。焦虑障碍个体在面对具有威胁性的惩罚结果时，表现出杏仁核活动的过度活跃(Gottfried et al., 2002) (Gottfried et al., 2003)，这表明焦虑障碍个体在不确定的惩罚学习与异常的情绪反应有关。腹侧纹状体和眶额叶皮层，是负责个体注意力资源分配和对未来事件提供主观价值的重要脑区(O’Doherty et al., 2002) (Tobler et al., 2006)。对此，焦虑的不确定性和预期加工模型提出，焦虑障碍个体对威胁性刺激所表现出杏仁核的高度激活，会介导腹侧纹状体和眶额叶皮层的活动，使其对潜在的惩罚刺激将分配更多的注意力和产生高估厌恶结果发生的主观预期，使得焦虑障碍个体形成威胁性注意偏向和过度警惕的认知行为模式，在以规避惩罚为目的的学习过程中调用过多的认知资源，导致学习的异常(Ghashghaei & Barbas, 2002) (Haber & Knutson, 2010)｡

预期误差作为促进个体强化学习的重要条件，而腹侧纹状体、腹内侧前额叶皮层和后扣带皮层作为反馈过程中的预期误差信号传导的重要区域(Clithero & Rangel, 2014)。对此，White等人(2017)通过观察广泛性焦虑障碍个体在完成规避厌恶刺激的任务时的脑成像结果发现，相比健康个体，广泛性焦虑障碍个体在反馈阶段的预期误差与腹内侧前额叶皮层、腹侧纹状体和其他涉及决策的脑区的活动之间的相关性明显降低，并且他们在面对惩罚时的预期误差与双侧豆状核/壳核的活动之间的相关性也明显降低，结合他们基于强化学习能力受损的行为表现，反映了焦虑障碍个体在运用预期误差来指导后续行为进行学习的相关功能脑区存在异常，导致相应功能脑区介导预期误差失效，使个体难以整合过往的成败经验进行有效学习。

背侧前扣带回作为大脑系统中处理负面情绪的中心节点(Shackman et al., 2016)，同时也是计算不确定环境下适应学习率来促进强化学习的重要脑区(Rushworth et al., 2011)。对此，Piray等人(2019)通过社会性概率逆转任务范式探索高社交焦虑个体的学习适应性的研究发现，在面对情绪(愤怒面孔)线索时，低社交焦虑个体的背侧前扣带皮层活动与其学习率呈现出明显的相关关系，而高社交焦虑个体则不存在这种相关性，结合该类人群在学习任务中行为的低动态性特征，表明了高社交焦虑作用下的个体在适应学习过程与背侧前扣带回皮层活动之间的断层现象。一定程度上反映了焦虑对个体面对厌恶性刺激进行适应性学习的干扰作用。

腹侧被盖区不仅是表征奖赏学习的重要区域，同样对惩罚学习也具备一定的表征功能，有研究表明，腹侧被盖区和被内侧前额叶皮层的神经活动能够有效反映个体的行为与惩罚风险之间的关系(Park & Moghaddam, 2016)。在伴有惩罚风险的奖赏学习任务中，持续的暴露在易诱发焦虑的压力环境中会使得前额叶皮层中的多巴胺进行敏感性的释放(Del Arco et al., 2017)。当个体在纯粹的奖赏学习任务中，其腹侧被盖区与被内侧前额叶的活动具有一定的同步性，而当奖赏学习任务中加入惩罚的偶发因素后，个体腹侧被盖区和被内侧前额叶的活动同步性明显减弱。但是提出该结论的研究主要通过比较实验对象在伴有和不伴有潜在惩罚的奖赏学习任务中的实验结果所发现，而这些脑区在完全以规避惩罚为目的的惩罚学习过程中的活动如何，未来还需深入的研究来证实。

同样，上述关于焦虑障碍人群的电生理和神经基础的研究也存在着由于任务类型和被试类型的差异而导致研究结果存在差异性，难以整合为一套能够有效解释焦虑障碍人群惩罚学习机制异常的神经计算模型。总而言之，未来研究可以基于分离性的角度，结合更精细的计算模型来分别探讨焦虑障碍人群在奖赏学习和惩罚学习过程中独特性的计算行为和认知神经机制，构建有效的焦虑障碍人群的奖赏学习和惩罚学习机制模型。

5. 研究展望

梳理焦虑影响奖赏学习和惩罚学习相关的研究，焦虑及焦虑障碍在认知上表现出对奖赏的低敏感和惩罚的高敏感可能是其产生学习障碍的原因。从神经机制的角度上，也发现焦虑个体与奖赏和惩罚学习有相关的电生理成分和神经基础，主要表现为与奖赏相关的电生理成分和脑区功能减弱，与惩罚相关的电生理成分以及相关脑区功能增强。虽然焦虑对奖惩学习取得了一定的研究进展，但仍有如下问题值得探讨：

首先，焦虑障碍个体具有无法忍受不确定性的特点，在不确定环境中难以习得最优的决策，进而导致病理性担忧和广泛性焦虑障碍(Sharp et al., 2022)，而现实中，人们常需要在不确定的环境中进行学习和决策。现有研究中，被试通过指导语被动地对行为与反馈的关系进行学习。而在不确定环境中，个体主要通过与环境的交互进行主动学习。并且，不确定环境也存在多样性的特征，例如，实证研究中常用的简单概率学习任务和概率反转学习任务分别以低波动性和高波动性的不确定性环境为学习背景，而这种存在波动性差异的不确定环境也与个体不同程度学习率适配(低波动性不确定环境以较低学习率为适应性学习；高波动性不确定环境以较高学习率为适应性学习) (Browning et al., 2015; Aylward et al., 2020)。因此，结合人类在不确定环境中进行学习和决策的普遍性和不确定环境自身的复杂性，焦虑障碍个体在不确定环境中如何主动地学习奖赏和惩罚有待深入考察。

其次，焦虑障碍在奖赏和惩罚学习过程中有着共同的神经基础，在奖赏和惩罚学习任务中均涉及杏仁核、纹状体和眶额叶的活动。然而，有关奖赏学习方面的大部分研究主要以抑郁类人群为研究对象，并普遍发现抑郁类人群的多巴胺信号减弱和对奖赏信号不敏感(Pedersen & Frank, 2020)。考虑到焦虑障碍和抑郁具有高共病率的情况，后续研究还需要量化导致焦虑人群在奖赏学习方面的异常结果中抑郁特质的作用，尽可能厘清焦虑与抑郁对奖赏学习以及惩罚学习的影响。另外，还需考虑强化物多性质的特征，奖赏和惩罚的大小、时间(预期或反馈)、类型(金钱或社会刺激)对焦虑个体的学习及其相应的脑机制产生何种影响仍需深入考察，也值得探讨。

再次，以往对焦虑障碍的认知行为模式的研究，大多对行为反应的平均，往往难以对心理加工过程进行精细划分。而新兴的计算模型(如强化飘移扩散模型，Reinforcement Learning Drift Difussion Model)，整合了强化学习模型和漂移扩散模型两者的优势，不仅利用每个试次的信息拟合学习率，也可以量化谨慎性、反应偏好等心理过程(Ratcliff et al., 2016) (Robichaud et al., 2019)。可以利用计算模型精确展露焦虑障碍影响学习的认知过程。

最后，焦虑障碍患者在学习过程中，其异常的学习行为表现背后同时往往还伴随着电生理活动和脑区域活动的异常。经颅磁刺激(Transcranial Magnetic Stimulation, TMS)作为一种可针对性调节大脑具体区域神以及相关功能网络神经活动的一种技术，对于焦虑障碍的治疗具有重要意义(Cheng et al., 2022)。但同时，认知行为训练作为一种低成本、低创性的行为疗法，针对焦虑障碍患者学习过程中的注意力、结果评估等方面具有良好的校正效果(Goldin et al., 2007)。未来研究可尝试使用经颅磁刺激对奖赏和惩罚学习共有的神经基础(杏仁核、纹状体和眶额叶)进行干预，结合认知行为训练，以提高焦虑个体的学习能力，使其重新适应环境，提高生活质量。