1. 引言
近年来，随着移动互联网技术的进步，直播电商在中国呈爆发式增长，已成为数字营销的核心赛道。截至2024年6月，电商直播用户5.97亿，占网民总数54.7% [1]，整个2024年中国直播电商市场规模已达5.8万亿元[2]。与传统图文营销相比，直播电商通过实时互动、多模态信息呈现和社会临场感等方式显著提升了消费者参与度[3]，从而赋予直播电商更好的营销效果。
现有研究对直播电商营销效果为何更有效的解释主要聚焦于信任机制与社会影响两大理论路径。基于信任机制的模型认为，直播电商通过主播的专业性、可信度和亲密互动降低消费者的风险感知，从而促进购买[4]。基于社会影响的模型强调直播间的群体效应(如从众、社会认同)，认为弹幕、实时销量展示等线索通过社会临场感[5]与观察学习[6]驱动消费行为。这两条路径虽然揭示了人际与群体层面的作用，却共同忽略了直播间多通道视听信息如何被消费者实时整合这一底层心理机制，一方面，信任机制相关研究多聚焦主播个人特质(如吸引力、专业性) [7]，忽视了视听信息设计(如语音语调与画面节奏的匹配)如何动态影响信任形成。另一方面，社会影响机制的研究将弹幕、音乐等视听线索简化为直播营销分析的默认背景，但未能解释这些视听信息如何放大群体效应。现有模型隐含有消费者能够被动、有效地接收并理性处理所有信息流的假设，这与直播高密度的多模态信息特征不相符。
为弥补上述缺口，本研究引入“视听整合能力”视角，基于多资源理论和S-O-R模型，构建视听整合通过“多通道协同–认知增益–情感放大–行为转化”影响直播营销效果的四阶段模型，并进一步提出可落地的优化策略。
2. 视听整合能力与直播电商
2.1. 视听整合能力的定义
视听整合是指将视觉与听觉通道的信息融合为稳定、统一、连贯的知觉表征的过程[8]。例如，在嘈杂环境中，人们借助说话者的口型仍可准确识别语音，此即视听整合。著名的麦格克效应(McGurk Effect)是经典的视听通道整合现象，即当口型/ka/与语音/ta/同时呈现时，人们在听觉上会感知为/ta/[9]。该现象在婴儿早期即已出现[10]，并在后续信息加工中持续发挥关键作用。
2.2. 直播电商的定义
直播电商是直播技术与电子商务融合形成的新型零售业态，通过主播与消费者的实时互动、视频化商品展示与情境化叙事，增强信任并促成购买[3]。直播电商是电视购物与电子商务在直播新媒体技术下的融汇贯通，是社会化媒体与购物过程的有机结合的新型电子商务模式。相较于传统电商，直播电商兼具直播和电商的双重特征，并衍生出电子化、便利性、真实性、实时性与互动性等新属性。
3. 视听整合的理论基础
3.1. 多资源理论
多资源理论认为，人在知觉阶段拥有视觉、听觉、触觉等多种独立资源。若两项任务占用同一维度资源，则产生竞争并降低绩效；反之，若资源互不重叠，则可实现“多通道并行”，显著提升加工效率[11]。在电商直播营销过程中，同时呈现的视觉和听觉信息并不会占用彼此的加工资源，并且相比于单通道信息，来自双通道的信息更能促进消费者对营销信息的理解，保留更加深刻的印象。但是，在直播中，营销人员必须要保证所传达的视觉和听觉信息在认知上的一致性，否则将会干扰消费者同时加工两种感觉通道的信息，而难以实现视听整合。
3.2. S-O-R模型
S-O-R模型广泛应用于营销、消费者行为及信息系统用户行为等研究领域，该模型揭示了环境刺激如何通过心理机制驱动个体行为：其中，S代表引发行为的外源或内源刺激，O涵盖个体对刺激进行信息加工时所激发的认知评估与情感反应，R则是心理活动外化的具体行为表现[12]。在直播中，主播表情、场景布置、语音描述、背景音乐等均可视为环境刺激；消费者整合视听信息后产生认知评估(如主播可信、产品优质)与情感反应(如愉悦、兴奋)，最终表现为点击、加购、支付等行为。
3.3. 多资源理论和S-O-R模型的动态关系
多资源理论与S-O-R模型在解释视听整合能力如何影响直播电商营销效果时存在功能互补与动态嵌套的理论关系。多资源理论从认知资源分配维度揭示了视觉与听觉通道并行处理的可行性[11]，为S-O-R模型中“刺激–机体–反应”的连续转化提供认知带宽保障；而S-O-R模型则通过心理加工序列解释了多通道信息如何经由认知评估与情感反应外化为消费行为。二者通过功能互补形成理论协同：多资源理论优化的资源分配策略(如减少跨通道切换成本)能够赋予S-O-R模型中“机体”阶段的认知增益与情感放大，S-O-R模型定义的行为转化目标则为多资源分配提供优化方向。实证研究表明，当视听信息在时空、语义及情绪维度保持耦合时(如促销口播与倒计时动画同步)，多资源理论支持的并行处理可显著加速S-O-R链式反应[13]。这种动态交互机制为直播电商构建“资源供给–心理加工–行为输出”的闭环优化系统提供了理论基础。
4. 视听整合能力对直播电商营销效果的作用机制
4.1. 多通道协同
多通道协同即当视觉、听觉通道的信息在时空、语义、情绪维度高度耦合时，消费者对信息处理效率显著提升。
对于时空纬度，视觉与听觉刺激若在同一时间窗口内呈现(通常<300 ms)，大脑更容易将其整合为同一事件，产生冗余增益效应[14]，并且在加工来自同一空间位置的视听信息，整合效率更高，反应更快。对于语义纬度，当视觉与听觉信息在语义层面具有一致性或互补性(如“质量好”画面配“鼓掌声”)，大脑能快速建立对应关系，减少认知负荷，提高记忆效果。例如人们对语义一致性高的视听信息加工具有行为反应优势[15]，在学习具有语义一致性的图片–声音刺激组合之后的自由回忆成绩要好于纯声音或图片的回忆[16]。对于情绪纬度，当视觉与听觉通道传递的情绪信息一致(如促销画面配合快节奏音乐)，会增强情绪表征的稳定性和显著性，提高情绪诱发强度，促进协同处理。
因此，当消费者在观看直播的过程中，通过对视听信息的整合达到多通道协同，可以实现对信息的有效加工，进而促进对直播间的营销信息认识和理解。
4.2. 认知增益
认知增益是指当消费者在接收视觉信息和听觉信息时，大脑能够把原本需要分别占用视觉工作记忆与听觉工作记忆的加工任务，整合到一个跨模态的融合表征中。这种整合一方面通过减少跨通道注意切换、降低冗余编码来削减外在认知负荷，另一方面通过双通道并行的冗余增益提升有效工作记忆容量[17]，使消费者在同等时间内能够编码、比较并决策更复杂的商品信息。
在电商直播环境下，主播的口头促销与屏幕上的图文标签、价格动画、库存进度条等视觉元素通过保持高语义一致性，触发视听整合机制：听觉通道的节奏、语调与视觉通道的颜色、动效等信息被整合为同一表征，消费者无需交替关注主播口播与屏幕文字，从而避免资源分散；与此同时，相同的语义信息在视觉和听觉系统中被并行强化，形成冗余增益，允许工作记忆在有限时间内同时保持商品属性、优惠幅度、库存余量、用户评价等多维信息，进而提升整体信息处理效率与决策质量。
4.3. 情感放大
情感放大指视听整合通过情绪一致性、社会临场与感官沉浸三条路径，放大情感唤醒，进而提升品牌好感与购买冲动[18]。情绪一致性即视觉内容与听觉内容在情绪效价(积极/消极)与唤醒度(高/低)上高度匹配，触发跨通道情绪共振，降低认知冲突。社会临场即消费者在观看过程中感知到主播或其他用户“真实存在”并与之产生人际互动的心理体验，从而缩短心理距离、强化信任与情感依附。感官沉浸即通过视听协同刺激，让消费者产生“身临其境”的心流状态，注意力被完全包裹在主播的叙事场景中。
消费者在观看直播时，当主播以高唤醒的积极语调推荐产品时，画面同步呈现高饱和度的暖色灯光、快速切换的特写镜头与弹幕中滚动出现的“已下单”互动，视听通道在情绪效价与唤醒度上达成一致，迅速诱发观众的情绪共振；同步的实时问答、点赞特效及用户头像浮现进一步营造“面对面”的社会临场，削弱屏幕带来的媒介距离，使观众更易对主播产生类人际信任；而环绕式音效与全屏动态视觉信息流的持续协同，则让观众进入高度沉浸的心流状态，注意力被吸引在直播叙事之中。在此高唤醒、高投入的情感场域里，品牌信息与积极情绪被深度绑定，消费者对品牌的好感度与即时购买冲动被显著放大，从而完成从情感共鸣到消费转化的过渡。
4.4. 行为转化
行为转化阶段的核心逻辑，在于视听整合借助即时反馈闭环将原本分散的知觉线索压缩进一个高度同步的时间窗口，从而触发刺激–机体–反应(SOR)链式效应。依据时间压力理论，听觉紧迫性线索(如倒计时语音的节奏、音量)与视觉稀缺性线索(如库存条长度、颜色对比与动态闪烁)在跨通道冗余作用下叠加放大[19]，形成共振。这种共振激活前景理论中的损失厌恶框架，使得用户对潜在损失的敏感度在短时间内大幅上升，将前期累积的认知评估与情感唤醒迅速外化为点击动作，完成从“机体”到“反应”的过渡。
5. 直播电商营销中的视听信息优化建议
5.1. 建立视听协同的直播脚本
直播电商中呈现的视觉和听觉信息应保证时间–语义–情绪耦合，建立具有视听一致性的直播脚本。其一，可使用专业的直播监控软件(如OBS Studio、FFmpeg等)，实时检测直播中的视觉和听觉信息在时间上是否同步，若发现声音或画面延迟高于300 ms [14]，则需及时进行校正。其二，在制定直播话术时，为每个核心卖点设计对应的简单手势或手写牌等视觉信息，如主播口述“限时折扣”时同步展示对应手写折扣牌，以实现视听信息在语义上的一致性。其三，采用情绪调性表达统一的灯光色温与背景音乐。通过以上三点确保视听信息的三维度耦合，由此，原本分散的通道线索可被整合为单一事件表征，视听信息得以最大化协同。
5.2. 实时提供关键的视觉营销信息
借助跨模态融合表征的冗余增益效应，在直播界面中构建可降低外在认知负荷的信息架构。依据双通道认知负荷理论，可将听觉通道的促销语汇与视觉通道的价格标签、色彩动效等符号系统整合为共享语义空间的单一表征。利用实时字幕与图像识别算法，在主播口播关键词出现的同时，在屏幕上弹出与之对应的动态信息图片，并保持图片出现–更新–消失的节奏与主播语速一致，使观众无需额外调整注意力即可将听觉与视觉信息自然整合，避免在视觉与听觉工作记忆子系统间进行注意切换，从而释放出额外的认知资源，用于并行加工商品属性、优惠幅度及库存状态等多维信息，最终提升复杂商品情境下的决策效率。
5.3. 打造沉浸式直播情境
基于跨通道情绪耦合模型，构建用于情绪唤起三层递进式直播情境，以放大受众的积极情绪唤醒与品牌偏好：第一层，通过语调、灯光、背景音乐的动态协同机制实现初级情绪同步。例如，当主播用轻快上扬的语调介绍产品亮点时，灯光会同步切换为明亮暖色调，背景音乐也随之转为节奏明快的旋律；而当主播放缓语速、用温和语气讲述品牌故事时，灯光会调至柔和的暖黄光，背景音乐切换为舒缓的纯音乐。这种实时联动会精准贴合观众情绪唤醒的波动节奏，实现初级情绪同步；第二层，通过智能互动插件实时捕捉高互动观众(如频繁发送弹幕、点赞的用户)，将其头像以动态浮窗形式有序排列在主播画面的两侧或底部边缘，诱发了面对面的人际临场，让观众有被重视感，激发参与热情。其他观众受群体情绪感染，易生好奇与信任，形成情绪共鸣循环，增强情绪卷入。第三层，运用纯净直播画面与空间环绕音场诱发心流体验。纯净直播画面剔除直播间冗余元素，仅聚焦产品细节与主播动态，让观众视觉焦点高度集中；空间环绕音场则模拟真实声场，主播讲解声如在耳畔，立体可感，从而促使消费者身心进入沉浸状态。三层情境的共同作用将有效提高消费者对直播间的情绪卷入程度，从而系统性地提升品牌情感价值的表征强度。
5.4. 提高跨通道损失厌恶
在时间压缩框架下嵌入跨通道损失线索，可将短时神经兴奋快速变现为点击行为。以前景理论中的损失厌恶与时间压力模型为理论依据，在直播中可通过AI算法逐步抬升倒计时语音的节奏与音高，同时以指数速率缩减视觉进度条长度并增强闪烁对比度；一键下单按钮则被锚定于声源空间坐标下方，实现听觉紧迫性与视觉稀缺性的同步映射。上述跨通道信息在较短的时间窗内叠加放大损失感知，驱动刺激–机体–反应链的阈值陡降，进而将神经层面的行动倾向量化为转化率提升。
6. 总结与展望
充分利用消费者视听整合能力对于提升直播电商营销效果具有重要作用。本文概述了视听整合能力和直播电商的定义、视听整合能力的理论基础，以“多通道协同–认知增益–情绪放大–行为转化”四个环节探讨视听整合能力的作用机制，并以此为基础对如何利用消费者视听整合能力以促进直播电商营销提出具体建议，通过确保视听信息一致性、实时提供关键视觉营销信息、打造沉浸式直播情境、提高跨通道损失厌恶，将促进直播间观众的消费行为。
未来研究可以通过纵向追踪，进一步区分短时冲动购买与长期品牌忠诚在视听整合路径上的差异化心理机制，警惕高频感官刺激对品牌资产造成的稀释效应，并探索可持续的情感沉淀策略。并且随着AR/VR直播将触觉反馈与空间化听觉引入消费场景，视听整合将由双通道扩展为“视–听–触–空间”四维耦合，亟需构建多模态整合模型。