基于动态聚类算法的情绪对模拟驾驶仿真视觉关注度影响研究

A Study on the Effect of Emotion on Visual Attention in Driving Simulation Based on Dynamic Clustering Algorithm

摘要: 为防范并减缓因驾驶员情绪波动所导致的交通事故，本研究探讨了模拟仿真驾驶过程中情绪对驾驶员视觉关注度的影响。首先诱发被试人员产生正常情绪与愤怒情绪。其次基于眼动实验分析两组被试人员的视觉注意关注状态，得到了两组被试人员的眼动轨迹图、热点图、眼跳等眼动指标进行分析情绪对视觉关注的影响，之后利用动态聚类算法对注视点进行聚类，呈现出被试人员不同的感兴趣的区域，分析被试人员对车外信息处理情况对比。最后结果表明：愤怒情绪下的被试人员处理车外信息较慢，视野活动轨迹较窄，反应速度较慢。本研究有助于更深入地探究愤怒情绪与道路行驶安全之间的联系，并为开发有效的交通安全策略提供科学依据。

Abstract: In order to prevent and mitigate traffic accidents caused by drivers’ emotional fluctuations, this study investigated the effects of emotions on drivers’ visual attention during simulated driving. Firstly, the subjects were induced to produce normal emotions and angry emotions. Secondly, based on the eye movement experiment to analyze the visual attention focus state of the two groups of subjects, the eye movement trajectory map, hotspot map, eye hopping and other eye movement in-dexes of the two groups of subjects were obtained to analyze the effect of emotion on visual atten-tion, and after that, a dynamic clustering algorithm was utilized to cluster the focus points, pre-senting different regions of interest of the subjects, and to analyze the comparison of the subjects’ processing of information outside of the vehicle. The final results show that the subjects under the emotion of anger process out-of-vehicle information slower, have narrower trajectories of visual field activity, and have slower reaction speeds. This study helps to explore the link between anger mood and road driving safety more deeply, and provides a scientific basis for developing effective traffic safety strategies.

1. 引言

在当今社会，交通事故给人们带来了严重的人员伤害和财产损失。而愤怒情绪，作为一种不良情绪，被视为引发交通事故的重要元素之一 [1] 。在驾驶过程中，愤怒情绪可能会导致驾驶员的视觉关注发生变化，从而对驾驶行为产生负面影响 [2] 。在驾驶过程中，驾驶员的视野能够看到车内装饰与车外道路环境 [3] ，例如车内的方向盘、仪表盘、中控屏、副驾座位和桌面等，以及车外的行人、路面状况、建筑物等各种突发事物 [4] 。汽车驾驶是一个需要付出很强的认知能力去完成这一个驾驶过程 [5] ，驾驶多年的经验提示我们应将注意力集中在最感兴趣的区域，但是驾驶过程中当我们情绪发生改变，愤怒情绪会如何影响驾驶员在不同环境中的视觉关注，目前尚未得到深入研究。因此，研究愤怒情绪对驾驶员视觉关注的影响具有重要的现实意义。

目前，国内外许多学者研究了情绪、视觉关注等相关的驾驶研究。消极和积极情绪的诱发导致了分散注意力和涉及任务无关思维的明显增加，Christoff等人将这种分心描述为在相对自由产生的精神状态，或者在没有高度集中注意力的任务存在时的一系列精神状态 [6] 。Cai等人指出，愤怒和兴奋情绪可能导致驾驶者行驶速度更高、方向盘角度更大的偏差，而悲伤的司机则可能表现出对危险感知的受损 [7] 。张殿业等人认为，驾驶员的交感神经兴奋度和情绪唤醒水平会对驾驶行为的安全性产生影响 [8] 。为研究驾驶员的分心行为，Ahlstrom等人开展了实际道路环境下的驾驶试验，从整体和局部两个尺度分析了驾驶员的视觉注意情况 [9] 。张萌等人构建了一个人际情绪危险性的网络拓扑模型，以深入探究人际关系对驾驶情绪的影响 [10] 。国内外对驾驶行为的研究主要聚焦在疲劳驾驶和分心驾驶两个方面，而关于驾驶过程中的愤怒情绪对驾驶员视觉关注影响研究相对较少。

为深入研究愤怒情绪对驾驶员的视觉关注影响，本文提出了一种结合眼动指标和动态聚类算法的研究方法。通过比较分析驾驶员在愤怒情绪和正常情绪下的眼动数据，然后结合动态聚类算法对感兴趣区域关注度的进行分析，探究在正常和愤怒情绪下驾驶员视觉关注之间的不同点。本研究有助于更深入地探究愤怒情绪与道路行驶安全之间的联系，并为开发有效的交通安全策略提供科学依据。

2. 相关理论

2.1. 眼动信号处理与分析

2.1.1. 眼动数据预处理

在捕捉眼动信号时，由于人为的主观或客观因素，可能会引入噪声和其他干扰信号，例如缺失值、异常点等。因此，通常在进行眼动信号分析之前，需要进行预处理操作以清理数据 [11] 。这些预处理操作包括有：1) 直接删除法，即删除缺失值。因为缺失值通常源自短暂的眨眼等瞬间，而且现代眼动追踪仪的采样率通常非常高，因此，直接删除缺失值不会明显影响数据估计偏差和眼动追踪结果。尽管这种方法会导致一些信息的丢失，但在缺失值较少且对整个样本研究影响较小的情况下，这种简便易行的处理方法仍然适用。2) 插补法，插补法是一种处理眼动数据缺失值的方法，因为眼动数据是时序数据，遇到缺失值时，可以使用各种统计学方法进行填补。常见的插补方法包括利用数据的均值、中位数、 $K$ 最近距离邻法、以及多重插补法等来替换缺失值。这种途径通过数据挖掘来填充缺失值，旨在获得更贴近真实情况的结果，尽管可能不完全契合客观事实。插补法的运用有助于增进数据的完整性，但在一些情况下可能对数据进行了一定程度的人为处理。3) 深度学习，一种方法是在原始数据上进行数据挖掘，以期获得更有价值的信息 [12] 。例如，可以尝试运用深度学习或贝叶斯网络等技术来实现这一目标。这种做法有助于揭示数据中潜藏的规律和联系，进而更好地理解数据所蕴含的含义和潜在价值。

2.1.2. 眼动指标

在眼动实验中，常用的指标包括注视点和眼动。注视是眼睛有意识或无意识地聚焦在某些信息上的过程，可以通过注视获取丰富的场景信息，持续时间通常为50~60 ms [13] 。眼动是眼球在不同点之间迅速跳转的运动，速度极快，通常难以获得有效的视觉信息，相邻的眼动点组成眼动路径，展现被试的视觉搜索过程。此外，热图被用来可视化眼睛注视点数据，而感兴趣区域用于衡量目标刺激对被试的吸引程度。在实际的眼动数据分析中，还存在其他指标，如首次注视时间、首次注视持续时间、平均注视持续时间、总注视时间以及回视次数等，这些指标从不同角度反映眼动特点，并对实验结果的分析起到重要作用 [14] 。

2.2. 动态聚类算法

聚类是机器学习领域常见的一种无监督学习算法，与有监督学习(例如分类、标注等)不同 [15] 。在聚类中，我们并不提前知道样本的标签，而是通过数据之间的关系将样本划分成不同的类别，以便让同类样本之间的相似性更加突出，不同类别之间的相似度更低，从而增加类内聚性，减少类间距离。

动态聚类算法的目标是通过最小化聚类内所有样本与聚类中心的距离平方和，从而达到更紧凑的聚类效果。其工作原理是首先选择 $k$ 个初始聚类中心，根据一定的聚类标准，将其他样本分配到最近的类别，建立起初始分类。随后，对这一初始分类的合理性进行评估，若不尽如人意，则开始不断进行迭代，直至得到合理的分类结果。在本文中，我们决定采用k-means算法作为我们的选择 [16] 。

k-means算法的基本思想是在任意选取 $k$ 个聚类中心的基础上，依据最小距离的原则将每个样本归入适当的类别中。然后，通过不断计算聚类中心并调整样本的分类，最终使得各个样本到其所属类别的距离平方和最小化。假设待分类的模式特征矢量集 $X=\left\{X_1,X_2,\cdots ,X_{n-1},X_n\right\}$ ， $n\in R$ ，对第 $j$ 个聚类集，定义准则函数为：

$J_j={\displaystyle \underset{i=1}{\overset{N_j}{\sum }}{\Vert X_i-Z_i\Vert }^2},X_i\in S_j$ (1)

其中， $J_j$ 为第 $j$ 个聚类集， $N_j$ 为第 $j$ 个聚类集 $S_j$ 中所包含的样本个数， $i$ 为样本序号， $Z_i$ 作为聚类中心，对于每个聚类，我们采用的准则函数如下：

$J_j={\displaystyle \underset{j=1}{\overset{K}{\sum }}{\displaystyle \underset{i=1}{\overset{N_j}{\sum }}{\Vert X_i-Z_i\Vert }^2}},X_i\in S_j$ (2)

对于聚类 $j$ ，应有：

$\frac{\partial J_j}{\partial Z_j}=0$ (3)

因此，聚类的计算过程即是不断循环计算上述公式，以确保满足准则条件。

3. 实验

3.1. 实验设计

本试验是针对在郊区道路驾驶中不同情绪下驾驶员视角注意力关注的模拟仿真实验。我们收集了一段郊区道路第一人称驾驶模拟的视频 [17] ，该视频共7 min，对视频进行剪辑，将其分成四个不同代表意义的部分：驾驶起步、驾驶直行、驾驶左转、驾驶右转。每个视频持续15 s，帧率为30 fps。实验包含四个小节，每个小节包含一张背景校准图片和一个实验样本视频，背景校准图片和实验样本视频依次呈现，背景校准图片为4 s，实验样本视频15 s。被试组分为两组分别为组1为正常和组2为情绪诱发组。两组被试参与四个小节依次为驾驶起步、驾驶直行、驾驶左转、驾驶右转，每个小节做完之后，为被试安排休息时间，然后继续实验的下一节，直到实验的全部完成，如图1是整个实验流程。

Figure 1. Experimental flow chart

图1. 实验流程图

3.2. 实验设备

我们选用了德国SM公司的RED桌面型眼动仪作为硬件设备，配置包括一台自配的笔记本电脑、一个液晶显示屏以及一个去红外追踪组件。在软件方面，我们使用了眼动实验设计软件Experiment Center、眼动数据记录软件iView X，以及眼动数据分析软件BeGaze。

3.3. 实验对象

实验共邀请30名在校师生作为实验被试，他们的平均年龄为24.35岁，范围从19岁到35岁。所有参与者都拥有有效的驾驶执照并定期开车。所选被试人员容易集中注意力，实验结果呈现积极趋势，因此该研究适于探究驾驶员在驾驶过程中的注意力关注。

3.4. 实验流程

3.4.1. 情绪诱发

被试人员分两种，组1：正常组(情绪为正常情绪)被要求观看一些愉悦放松的视频与图片；组2：诱发组(情绪被诱发为愤怒)被要求观看一段5 min视频和30张图片，其中内容包括：堵车、驾驶员疯狂按喇叭、在驾驶过程中怒骂别人等情绪诱发视频与图片 [18] 。之后被试者填写九点情绪量表，验证情绪诱导是否成功。

3.4.2. 测试过程

实验共2组，为组1 (正常情绪被试组)与组2 (情绪诱发组)，四小节样本实验视频为：驾驶起步、驾驶直行、驾驶左转、驾驶右转。1) 主试简要介绍实验指导，以下是指导内容：本实验要求你假设自己是视频中驾驶第一人称的驾驶员，从一个驾驶员的角度出发认真观看和模拟驾驶情景。2) 将被试分为两组，并对每组的参与者进行情绪诱发，随后填写情绪评估表。3) 引导被试人员就坐于距离眼动仪器0.5米的位置，确保头部固定不动。4) 实验进行时，每一小节都包括背景校准图片4 s和样本实验视频15 s，首先对被试逐一进行各小节单眼校准，随后样本实验视频持续15 s，四小节模拟驾驶仿真实验的顺序为：驾驶起步、驾驶直行、驾驶左转、驾驶右转。每个小节做完后，为被试安排休息时间，然后继续实验的下一节，直到实验的全部完成。

4. 结果分析

4.1. 眼动特性分析

对实验中的四小节实验样本视频每隔30帧各抽取一张图像，每小节实验样本视频取得15张图像，该视频共抽取60张实验样本图像。实验对两组不同情绪下的眼动数据和60张实验样本推向进行统计分析，主要包括统计分析了被试人员的眼动轨迹图、视觉显著图、和相关眼动指标统计参数等。

4.1.1. 眼动轨迹图分析

对生成的60张实验样本图像中，实验分析了正常组和诱发组被试人员的眼动轨迹图。图2展示了正常组被试1与诱发组被试1在观看这四小节视频第30帧的眼动轨迹图。

图2中，第一行为原图，第二行为正常组被试的眼动轨迹图(正常情绪)，第三行为诱发组(情绪被诱发为愤怒)。图中在绿线表示被试人员的眼动轨迹路线，圆半径的大小表示注视时间的停留，随着圆的半径增大，被试人员投入注意力的时间也随之增加；相反，当圆的半径减小时，表示被试人员注视投入的注意力时间较短。

由图2可知，在观看四小节实验样本视频时，处于不同情绪状态的被试人员的眼动轨迹路线呈现显著差异。整体上看，两种被试的视线基本全部处于路面前方远处。正常组被试的眼动注视轨迹相对于诱发组的范围更加宽广，注视点分布相对集中，被试的眼动轨迹始终保持在驾驶员视野范围内，以确保安全的路面行为管理。在诱发组的眼动轨迹中，相对于正常组，轨迹范围更小且更为集中。这种差异在模拟驾驶的起步、左转和右转过程中表现得非常明显。比如在驾驶起步中，诱发组的注视关注度非常的集中，只观察了驾驶行为的正前方，对正前方周围的事物观察感知比较少，在后视镜的眼动轨迹路线也表现的非常的明显。诱发组在道路前方的视线里面的注视关注点非常的集中，其中一点尤为突出，圆的半径较大，与正常组相比，被试对驾驶起步环境中的事物捕捉能力是比正常组的事物捕捉能力欠缺的。在驾驶左转的驾驶情景中，情景模拟中，路边出现了路人的身影，被试人员在路面驾驶行为安全管理的准则下，及时地观察了左右环境的路况。但两组被试人员的眼动轨迹存在很大的差异，对正前方的路面的轨迹大致相同，但在路面左右边人的关注度捕捉上的轨迹存在了很大差异，诱发组观察的轨迹都要偏人群靠内一点的轨迹，注视点不在人群中也是偏离群，对比与诱发组，正常组轨迹注视点离人群中央比较集中，对处理人群的动向明显比诱发组好。

Figure 2. Eye movement trajectory map

图2. 眼动轨迹图

综上分析，我们可以得出，在模拟驾驶的情景中正常组的被试人员更容易捕捉到驾驶车外环境的事物，比如在车外环境中的人、建筑物、植物等，诱发组的被试人员在情绪影响下，除了保持最基本的驾驶行为安全管理的基本认知外，他们在关注度和对周围事物的处理上相对于正常组稍显不足。正常组被试人员在正常情绪的驾驶下，更多的受到先验知识的影响，到他们看到不同情景下的驾驶样本视频时，先验知识的引导总会使他们去快速搜索排除驾驶环境中存在危险的相关知识，所以在眼动轨迹中轨迹范围相对于诱发组来说要宽阔一些。，他们的眼动轨迹视线也是那么的有规律总是在关注着车外的突发情况。对于诱发组的被试人员，由于情绪的影响，大脑的认知上影响大脑的神经传递，从而减慢反应速度，使驾驶员难以及时做出正确的应对，缺乏对道路和交通状况的专注，交通事故的风险因此增加。

4.1.2. 热点面积图分析

在模拟驾驶过程中，被试人员的视觉感知区域是研究他们视觉关注的另一个关键方面。它反映了被试人员感兴趣的区域在哪里和被试人员的感兴趣程度。如图3，该视觉感知热图是将被试人员眼动注视点与二维高斯函数按照注视时间长短卷积得到的。

图3中，第一行为原图，第二行为正常组，第三行为诱发组。在视觉感知热图中，颜色越深的区域代表被试人员注视的时间越长，这直观地展示了他们眼睛的注视区域和注视程度。

由图3可以看出，我们可以发现，在两种不同情绪下，被试人员的视觉感知热图呈现出许多相似的特征，但同时也存在许多差异。直观上看，在四小节模拟情景中，两组被试人员的视觉感知热图存在许多共同区域，对每一类模拟驾驶情景，正常组被试人员的关注区域更多的关注路面正前方，也会关注驾驶环境周围的路况，在区域面积总体上偏大。而诱发组被试人员关注区域基本只局限与路面正前方，关注点非常的集中，与正常组相比，他们对路况的关注度稍低，注视区域的面积整体上较小。

Figure 3. Hot spot area map

图3. 热点面积图

为了更加清晰展示这种差异，实验统计了两组被试在观看四小节驾驶模拟实验样本视频时的平均视觉感知热图面积大小和前2 s的眼跳次数，结果如图4和图5，从图4的统计数据可以很清晰的验证这种差异，正常组被试人员的视觉感知区域偏大并且集中，视觉感知面积偏大，在模拟驾驶过程中表现出更高的路面情况处理能力和驾驶行为安全管理水平；相反，诱发组被试人员的视觉感知区域小并且很集中，在与模拟驾驶的过程中，他们的视觉关注点非常的集中，视觉感知面积对比与正常组来说很小。图5中，在前500 ms，正常组的被试人员与诱发组的被试人员的眼跳次数差不多，说明正常组和诱发组的被试人员在视觉注意力关注程度上相差不大。在关注车外驾驶环境的路况上关注度更高，在500 ms以后，正常组被试人员的眼跳次数迅速增加，并迅速达到最高值，说明被试人员已快速搜索到重要关注区域，在诱发组被试人员眼跳次数缓慢增加，搜索目标区域单一且速度慢。由此可见，两组不同情绪下搜索模式上呈现很大差异，有经验的被试人员在完成任务过程中住宿次数更多，搜索目标目的性更强，眼跳次数与此无关的相关性较低。

综上分析，我们可以发现，在模拟驾驶的实验中两组被试人员产生了不同的实验结果，正常组被试人员由于驾驶行为安全管理的影响，他们更加容易的关注与当前驾驶情况相关的区域，关注度很高，在诱发组被试人员也会受到驾驶行为安全管理的影响，他们也会关注车外的情况，但关注度不是很高，但在主要关注区域关注度很高。在两种不同情绪下存在显著的本质区别，正常组与诱发组都会受到先验知识驾驶行为安全管理的影响，由于情绪的干扰，诱发组的被试人员在决策和判断能力上受到了影响，这可能导致驾驶员分心并做出错误的决定。在驾驶模拟实验中，诱发组和正常组之间存在相似之处，出于被试人员本身属性所导致。在正常组中被试人员在模拟驾驶情景中熟知所需注意事项，所以更加的关注相关的驾驶情况。

Figure 4. Hot spot average area map

图4. 热点平均面积图

Figure 5. Number of eye jumps in the first 2 s

图5. 前2 s眼跳次数

4.2. 基于动态聚类算法的感兴趣区域分析

在4.1节中，两种不同情绪下多规格眼动指标呈现显著差异，表明受到两种不同情绪影响下的被试人员在模拟驾驶过程中确实呈现出不同的时间注意关注特点。但是在实际驾驶过程中，驾驶人员的驾驶能力是一个逐渐趋于成熟的过程，驾驶绩效的评价更多针对的是能力逐渐成熟的驾驶人员。模拟驾驶过程中的感兴趣区域是对被试人员视觉注意关注评价的重要方面，因此研究正常情绪下被试人员的感兴趣区域具有重要意义。

实验对正常组三名被试人员和诱发组的一名被试人员，对他们命名为：被试1、被试2、被试3、被试4 (诱发组)，本实验采用k-means算法对四名被试人员产生的眼动注视点进行聚类，图6展示了四位被试人员在四小节模拟驾驶实验样本视频中产生的聚类结果图。

在图6(a)的驾驶起步中，四名被试人员视野正前方集中了大量注视点，是驾驶起步驾驶过程中最感兴趣的区域，从后视镜来看，正常组的三名被试比诱发组的被试注视点的数目明显多，在驾驶前方向中，除了正前方，正常组被试人员在位于视野左边的草地，右边的建筑物也吸引了一定的注视数目，比如对于被试1与被试3，是被试人员的次要感兴趣区域。

图6(b)的驾驶直行中，正常组与诱发组的被试注视点主要在位于正前方的比较多，但在次要感兴趣的区域上，在视野的右侧的石护栏、坡等吸引了三位被试人员的注视，在右边的草坪也吸引了被试2的一小部分注意。

图6(c)的驾驶左转中，正常组被试人员与诱发组被试人员最感兴趣区域在前方左转的白实线上，对视野中左右路人的关注度上关注点明显不同，被试4明显低于其他三人，在正常组三人的次要感兴趣的关注点主要集中在了路人的身上，对他们关注点的程度也不尽相同，被试1与被试3在右边人群的注视点明显比被试2多，在左边人群中被试2与被试3比被被试1的注视点多。在视野正前方的一些大树也吸引了被试2的一些注意。

图6(d)的驾驶右转中，位于正方前右转的白实线路面和视野右边的铁护栏引起了四位被试人员的最主要的视觉注意，但在注视点上从视觉上正常组的注视点比诱发组的注视点更多和分布均匀。在视野右边的草丛和视野左边的山坡也吸引了正常组三名被试人员的注意力，被试3在左边山坡的注视点明显多于其他两人。四名被试人员在路况的处理上比路况周围环境的处理上明显关注度不一样，可见负责处理的信息程度也不一样。

Figure 6. Region of interest clustering results for four driving scenarios

图6. 四种驾驶情景感兴趣区域聚类结果

从以上分析可得，在愤怒的情绪模拟驾驶实验对比下，在模拟驾驶过程中，正常情绪下的被试人员对于不同兴趣区域表现出多样化的关注。除了主要的路面视野，正常情绪组还对路面环境中的其他元素产生了次要的兴趣关注。综合而言，在这四种不同的模拟驾驶情景中，位于正前方的模拟驾驶路面状况区域注视点次数最多，始终是被试人员最集中注意关注的地方，这对那些在驾驶中可能遭遇路怒症的人具有重要的指导作用。

5. 结论

综合以上分析结果，我们可以得出以下结论。

1) 被试人员在正常情绪下视觉注意相较于愤怒情绪更集中，正常情绪下注视点个数、平均注视时长、眼跳次数等指标都优于愤怒情绪。

2) 通过对眼动轨迹图与热点面积图的分析，愤怒情绪下被试人员视觉关注的感兴趣区域相较于正常情绪的感兴趣区域较少，并且愤怒情绪下被试人员的捕捉信息能力相较于正常情绪下被试人员较弱。

3) 基于动态聚类算法对眼动指标的数据进行感兴趣分析，进一步预测了两种情绪下被试人员感兴趣区域的视觉关注，从主次两种感兴趣区域方面进行分析进一步说明了正常情绪下被试人员的信息捕捉能力、注意力集中上相较于愤怒情绪下被试人员更强。

基金项目

课题来源：贵州省省级科技计划重点项目；

课题名称：面向车载终端自然人机交互控制的用户共识手势动作图像识别研究；

课题编号：黔科合基础-ZK[2023]重点015，2023-01-01~2026-12-31。

参考文献