背景复杂度与搜索目标个数对动态视觉搜索轨迹的影响

Effect of Background Complexity and Search Target Number on Visual Search Trajectory

摘要: 目的：本研究旨在探讨动态视觉搜索过程中背景复杂度和搜索目标个数对视觉搜索轨迹的影响。方法：招募31位受试者通过眼动仪收集其在空白背景、低复杂度背景和高复杂度背景下的单目标、双目标和三目标视觉搜索任务中的眼动数据。结果：(1) 背景复杂度对动态视觉搜索影响较小。(2) 随着搜索目标数量增加，动态视觉搜索难度显著提高。(3) 搜索目标消失后，受试者的视觉搜索轨迹大致呈直线，方向与搜索目标消失前的运动方向相反或相同。结论：本研究填补了对视觉搜索目标消失后的动态视觉搜索轨迹的研究空白，为理解动态视觉搜索提供了关键见解。

Abstract: Objective: This study aims to explore the impact of background complexity and the number of search targets on visual search trajectories during dynamic visual search processes. Methods: Thirty-one participants were recruited, and their eye movement data were collected using an eye tracker during single-target, dual-target, and triple-target visual search tasks in blank, low-complexity, and high-complexity backgrounds. Results: (1) Background complexity has a minor impact on visual search. (2) As the number of search targets increases, the difficulty of visual search significantly rises. (3) After the disappearance of search targets, participants’ visual search trajectories generally follow a straight line, either in the opposite or the same direction as the motion before the target disappearance. Conclusion: This study addresses the research gap in dynamic visual search trajectories after the disappearance of search targets, providing crucial insights for understanding dynamic visual search.

1. 引言

视觉搜索(Visual Search)是人类获取外界信息的一种重要方式，是指通过一系列的眼跳(Saccades)与注视(Fixation)获取外界的刺激信息，从而完成信息加工的过程[1]。视觉搜索在工业检测、安检以及军事等领域均有着广泛应用，一直是生理学、心理学及人因工程领域的重要研究内容[2]。依据受试者在搜寻过程中的搜寻范围、搜寻对象和搜寻背景的相对位置是否发生改变，可以把视觉搜索分为静态视觉搜索(Static Visual Search)和动态视觉搜索(Dynamic Visual Search) [3]。现有关于视觉搜寻的研究成果大多集中于在有干扰的条件下寻找单一的视觉搜索目标上，并对其进行判断和响应[4]。然而，现实中往往存在着多个搜索目标共存的情况。此外，以往的研究指出，随着背景复杂度的增加，视觉搜索效率会下降。研究表明，显示杂波(Visual Clutter)——即高数据密度、显示组织混乱以及大量无关信息导致性能下降的情况[5]，对视觉搜索性能产生负面影响[6]。但是，目前关于背景复杂度对搜索目标消失后的视觉搜索轨迹的影响的研究还较少。

综上，本文将运用眼动追踪技术，分析背景复杂度和搜索目标个数对视觉搜索轨迹的影响，并探究此过程中眼动轨迹的变化。

2. 背景复杂度设定及相关指标设计

2.1. 背景复杂度

“杂乱”是人们在对景象进行视觉认知过程中所表现出来的一种特殊表现形式。根据目前已有的研究，主流观点通常以特征拥塞程度(Feature Congestion, FC)、子带熵(Subband Entropy SE)和边界密度(Edge Density, ED)来反映背景复杂度[7]。本研究选取了特征拥塞度作为测量背景复杂度的指标。实验中，空白背景的特征拥塞度为1.2483，低复杂度背景的特征拥塞度为6.2523，高复杂度背景的特征拥塞度为11.7798。

2.2. 眼动指标

眼动指标具有出色的生态效度和时空分辨率，能够真实反映个体的认知过程特征[8]。本文将采用常用的眼动指标：凝视点个数(Fixation Count)、凝视总时长(Total Fixation Duration)、平均凝视时间(Average Fixation Duration)、以及跳视幅度(Saccade Distance)。

3. 对象与方法

3.1. 实验设计

本次实验共分为九组，变量为背景复杂度与搜索目标个数。背景复杂度分别是空白背景、低复杂度背景与高复杂度背景；目标个数分别为1、2、3个。此外，实验中视觉搜索目标的运动速度为固定值，不考虑速度对实验的影响。

以往的研究表明，温色较冷色容易引起眼部疲劳，绿色字符引起的疲劳程度低于白色字符[9]。因此将视觉搜索目标的颜色设定为绿色，RGB (112, 173, 71)。颜色过多可能会对受试者产生影响，因此实验中所有背景均与视觉搜索目标同色。

视觉搜索目标的直径应大于人眼所能分辨的最小距离。在正常作业中，通常采用38~76 cm的视距范围。本实验视距为50 cm，即人眼距离屏幕50 cm。根据视角计算公式$\alpha =2\arctan D/2L$ ，其中$\alpha$ 是视角，D是视看对象两点间距离，L是双眼至视看对象的距离，可推算出目标物直径应大于0.01454 cm。因此将搜索目标直径设为0.6 cm。

3.2. 被试

本次试验共招募上海理工大学学生31名。其中，男性16名，占51.61%；女性15名，占48.39%。年龄跨度从19岁到22岁。所有被试均无视觉搜索相关的培训和经验，且矫正近视力在0.8以上。

3.3. 试验设备

本试验所使用的软件为PowerPoint，在分辨率为1920*1080，刷新频率为60 Hz的显示屏上运行；所使用的眼动仪为桌面式眼动追踪系统Eyeflower，采样频率为120 Hz。

3.4. 实验过程

实验开始前，主试向受试者介绍实验顺序，宣读实验指导语，随后开始实验。如图1~3所示，屏幕会出现一至三个小球(即视觉搜索目标)做无规律运动，被试需用双眼追踪小球，每组实验中小球出现时间符合正态分布。眼动仪将自动记录被试在小球出现期间及消失后的眼动数据，其中小球消失后的记录时长符合正态分布。每组实验之间间隔30秒，共计九组实验。为避免工作记忆产生对实验结果造成影响，九组实验顺序完全打乱。

4. 结果

4.1. 凝视点特征方差分析

4.1.1. 背景复杂度对凝视点数量影响

不同背景复杂度下受试者的凝视点数量(个)变化如图4所示。从中可以看出，随着背景复杂度的提升，所有受试者的凝视点数量平均值随之递增。

Figure 1. From left to right, random motion screenshots of 1, 2, and 3 visual search targets under a blank background are shown

图1. 从左到右依次为空白背景下的1个、2个、3个视觉搜索目标无规则运动截图

Figure 2. From left to right are random motion screenshots of 1, 2, and 3 visual search targets under low background complexity

图2. 从左到右依次为低背景复杂度下的1个、2个、3个视觉搜索目标无规则运动截图

Figure 3. From left to right are random motion screenshots of 1, 2, and 3 visual search targets with high background complexity

图3. 从左到右依次为高背景复杂度下的1个、2个、3个视觉搜索目标无规则运动截图

Figure 4. Changes in the number of gaze points of subjects under different background complexity

图4. 不同背景复杂度下受试者的凝视点数量(个)变化

背景复杂度对受试者凝视点数量影响的方差分析表如表1所示。可以看出，其P值为0.5382，远大于0.1，即背景复杂度不会显著影响受试者的凝视点数量。

4.1.2. 背景复杂度对凝视总时长的影响

不同背景复杂度下受试者的凝视总时长(秒)对比如图5所示。从中可以看出，随着背景复杂度的提升，所有受试者凝视总时长的平均值也随之递增。

背景复杂度对受试者凝视总时长的影响方差分析表如表2所示。从中可以看出，其P值为0.54513，远大于0.01，可以认为背景复杂度不会显著影响受试者的凝视总时长。

Table 1. ANOVA of the influence of background complexity on the number of gaze points

表1. 背景复杂度对凝视点数量的影响方差分析表

误差来源	误差平方和	自由度	均方	F统计量	P值	F临界值
组间	151.6986043	2	75.8493	0.5382	0.58579	3.10516
组内	11838.02553	84	140.9289
总计	11989.72414	86

Figure 5. Total staring duration of subjects under different background complexity (s)

图5. 不同背景复杂度下受试者的凝视总时长(秒)

Table 2. Variance analysis of the effect of background complexity on total gaze duration

表2. 背景复杂度对凝视总时长的影响方差分析表

误差来源	误差平方和	自由度	均方	F统计量	P值	F临界值
组间	7.385543877	2	3.6928	0.6111	0.54513	3.10516
组内	507.5804624	84	6.0426
总计	514.9660063	86

4.1.3. 背景复杂度对受试者平均凝视时间的影响

不同背景复杂度下受试者的平均凝视时间(秒)对比如图6所示。可以看出，随着背景复杂度的提升，所有受试者平均凝视时间的平均值无显著差异。

背景复杂度对平均凝视时间的影响方差分析表如表3所示。可以看出，其P值为0.7838，远大于0.1，不能认为背景复杂度会显著影响受试者的平均凝视时间。

Figure 6. Average staring time of subjects under different background complexity (s)

图6. 不同背景复杂度下受试者平均凝视时间(秒)

Table 3. ANOVA of the influence of background complexity on average gaze time

表3. 背景复杂度对平均凝视时间的影响方差分析表

差异源	SS	df	MS	F	P-value	F crit
组间	0.007331	2	0.003666	0.244324	0.783789	3.105157
组内	1.260223	84	0.015003
总计	1.267554	86

4.1.4. 搜索目标个数对凝视点数量的影响

当小球(即搜索目标，下同)个数不同时，受试者的凝视点数量(个)对比如图7所示。可以看出，随着搜索目标个数的提升，所有受试者的凝视点数量平均值随之上涨。

搜索目标个数对凝视点数量影响的方差分析表如表4所示。可以看出，其P值非常接近于0，远小于0.01，可以认为搜索目标个数会显著影响受试者的凝视点数量。这说明，随着视觉搜索目标个数的增加，受试者需要凝视的搜索目标数量更多，凝视点数量也会更多。

4.1.5. 搜索目标个数对凝视总时长的影响

当搜索目标个数不同时，受试者的凝视总时长(秒)变化如图8所示。可以看出，随着搜索目标个数的增加，所有受试者凝视总时长的平均值逐渐递增。

搜索目标个数对凝视总时长的影响方差分析表如表5所示。从中可以看出，其P值为0.0689，小于0.1大于0.05，即可以在10%的显著性水平下拒绝原假设，认为搜索目标个数会显著影响受试者的凝视总时长。这说明，随着搜索目标个数的增长，受试者需要凝视的小球数量更多，凝视总时长会更长。

Figure 7. Changes in the number of gaze points of subjects under different numbers of search targets

图7. 不同搜索目标个数下受试者凝视点数量变化(个)

Table 4. ANOVA table of the influence of the number of search targets on the number of gaze points

表4. 搜索目标个数对凝视点数量影响的方差分析表

误差来源	误差平方和	自由度	均方	F统计量	P值	F临界值
组间	2330.954	2	1165.477	10.85274	0.000346	3.105157
组内	9020.771	84	107.3901
总计	11351.72	86

Figure 8. Total staring duration of subjects with different number of search objects (s)

图8. 不同搜索目标个数下受试者凝视总时长(秒)

Table 5. ANOVA of the influence of the number of search targets on the total gaze duration

表5. 搜索目标个数对凝视总时长影响的方差分析表

误差来源	误差平方和	自由度	均方	F统计量	P值	F临界值
组间	32.60913	2	16.30457	2.761419	0.068946	3.105157
组内	495.9709	84	5.904416
总计	528.5801	86

4.1.6. 搜索目标个数对平均凝视时间的影响方差分析

当搜索目标个数不同时，受试者的平均凝视时间(秒)变化如图9所示。可以看出，随着屏幕中出现的搜索目标个数的增长，所有受试者平均凝视时间的平均值逐渐递减。

Figure 9. Average gaze time of subjects with different number of search objects (s)

图9. 不同搜索目标个数下受试者平均凝视时间(秒)

搜索目标个数对平均凝视时间的影响方差分析表如表6所示。从中可以看出，其P值为0.0626，小于0.1大于0.05，可以在10%的显著性水平下拒绝原假设，认为搜索目标个数会显著影响受试者的平均凝视时间。这说明，随着搜索目标个数的增长，受试者需要通过频繁切换凝视点来找到所有搜索目标，每次凝视的平均时长会更短。

Table 6. ANOVA of the influence of the number of search targets on the average gaze time

表6. 搜索目标个数对平均凝视时间影响的方差分析表

误差来源	误差平方和	自由度	均方	F统计量	P值	F临界值
组间	0.102019	2	0.05101	2.864399	0.062603	3.105157
组内	1.495883	84	0.017808
总计	1.597902	86

4.2. 跳视点特征的方差分析

4.2.1. 背景复杂度对跳视幅度的影响

不同背景复杂度下受试者的跳视幅度(度)对比如图10所示。可以看出，当背景复杂度不同时，受试者的跳视幅度并无明显差异。

Figure 10. Change of skip amplitude of subjects under different background complexity

图10. 不同背景复杂度下受试者跳视幅度变化

背景复杂度对跳视幅度的影响方差分析表如表7所示。从中可以看出，其P值为0.5899，远大于0.1，不能拒绝原假设，因此背景复杂度并不会影响受试者跳视幅度。

Table 7. ANOVA table of the influence of background complexity on skip amplitude

表7. 背景复杂度对跳视幅度影响的方差分析表

误差来源	误差平方和	自由度	均方	F统计量	P值	F临界值
组间	358.039	2	179.0195	0.531038	0.589888	3.101296
组内	29328.8	87	337.1126
总计	29686.84	89

4.2.2. 搜索目标个数对跳视幅度的影响

当搜索目标个数不同时，受试者的跳视幅度(度)变化图11所示。可以看出，当搜索目标个数增多时，受试者视线的跳视幅度并无明显差异。

屏幕小球个数影响跳视幅度的方差分析表如表8所示。可以看出，其P值为0.7324，远大于0.1，不能拒绝原假设，因此屏幕小球个数并不会影响受试者视线的跳视幅度。

4.3. 搜索目标消失后的视觉搜索轨迹分析

本节尝试分析当屏幕中的无规律运动的小球(即搜索目标)突然消失时，受试者视觉搜索过程中的眼动轨迹变化。为便于展示，本文随机剔除16名受试者的眼动数据，并仅选取剩下15个受试者在搜索目标消失前的最后50个跳视点数据和搜索目标消失后受试者进行视觉搜索过程中的前50个跳视点数据，绘制出视线水平变动和垂直运动趋势图，如图12所示，实线部分表示搜索目标消失前的跳视点横纵坐标，虚线部分为搜索目标消失后的跳试点横纵坐标。

Figure 11. Change of visual skip amplitude of subjects under different number of search targets

图11. 不同搜索目标个数下受试者跳视幅度变化

Table 8. Variance analysis of the influence of the number of search targets on the skip amplitude

表8. 搜索目标个数对跳视幅度的影响方差分析表

误差来源	误差平方和	自由度	均方	F统计量	P值	F临界值
组间	178.6312	2	89.31558	0.312458	0.732437	3.097698
组内	25726.38	90	285.8487
总计	25905.01	92

Figure 12. Subjects’ horizontal and vertical line of sight movement

图12. 受试者水平方向和垂直方向视线移动情况

从图12可以看出，当视觉搜索目标从无规律运动到突然消失，受试者会有一些不同的视觉搜索轨迹变化。第一种是沿着搜索目标消失之前做无规律运动时的方向同向搜索；第二种是沿着其反方向进行视觉搜索。为了具体分析搜索目标消失前后的受试者眼动变化情况，本文对两阶段的移动轨迹进行量化，并构建余弦相似度指标，如下所示：

$\cos \vartheta =\frac{{\overrightarrow{x}}_1\cdot {\overrightarrow{x}}_2}{\Vert x_1\Vert \times \Vert x_2\Vert }$

其中，${\overrightarrow{x}}_1$ 表示搜索目标消失前的视线移动向量，即小球消失前的最后第n个记录的坐标减去小球消失前的最后一个记录的坐标；${\overrightarrow{x}}_2$ 表示搜索目标消失后的视线移动向量，等于小球消失后最前的第n个记录的坐标减去小球消失前的最后一个记录的坐标。$\cos \vartheta =1$ 表示沿着搜索目标消失之前运动的方向同向搜索，$\cos \vartheta =-1$ 表示反向视觉搜索。设定n = 10，计算出所有样本的余弦相似度，其分布如图13所示。

Figure 13. Cosine similarity index

图13. 余弦相似度指标

从图13可以看出，余弦相似度指标在−1和1两端密集分布，而在中间分布稀疏，这说明受试者在进行视觉搜索的过程中更倾向于沿着搜索目标消失前的运动方向180˚或者−180˚进行视觉搜索。将n进行调整，分别设定为1, 2, 3, …, 50，画出不同n下的平均绝对余弦相似度的变化(绝对值的平均)，如图14所示。

从图14可以看出，随着n的变化，平均绝对余弦相似度存在一定程度的变化，但是变动幅度不大，总体维持在0.69的水平。这也进一步验证了受试者会沿着搜索目标消失前的运动方向向正前方搜索或巡回搜索。

4.4. 搜索目标复现后的眼动轨迹变化

上文已得出在视觉搜索过程前期受试者的眼动轨迹变化，但是在搜索无果后，受试者的视线会呈现无规律的运动状态。当搜索目标再次出现，并使受试者的目光立刻聚焦到搜索目标这一区间，受试者的眼动轨迹会呈现何种变化？本文假设此时受试者的眼动轨迹为一条直线。因此，为了量化此时视线移动过程的弯曲程度，现构建拟合优度指标R²，将这一阶段视线移动的跳视点进行拟合，如果拟合效果好，说明此时受试者眼动轨迹呈现直线移动，如果R² = 1，则说明此时受试者的眼动轨迹完全为直线，R²越小，则受试者的眼动轨迹越弯曲。

图15为R²分布图，从中可以看出R²在0.9~1.0之间聚集，此外，所有受试者的R²的平均值为0.792，所得数值均符合上文假设，说明受试者在进行视觉搜索时的眼动轨迹近乎为一条直线，在视觉搜索目标复现后，受试者倾向于沿直线方向对搜索目标进行眼动追踪。

Figure 14. Change in mean absolute cosine similarity

图14. 平均绝对余弦相似度的变化

Figure 15. R² distribution

图15. R²分布

5. 讨论

本文主要研究了不同背景复杂度与不同目标个数下追踪动态物体时的视觉搜寻轨迹的变化。从实验结果分析可知，背景复杂度的增加并不会使得视觉搜索的难度增大。这一结论与目前已有的相关结论并不相符。Delmas的研究指出，杂波对眼睛注视的平均持续时间有主要影响[10]，与高杂波条件下相比，参与者在整洁条件下的注视平均持续时长更短。产生这一现象的原因可能是因为本实验并不强求视觉搜索效率，而目前已有的大多数研究的实验方式都会对受试者的搜寻绩效进行测评。因此，参与本实验的受试者在实验过程中压力较小，故而结果与前人研究不符。除此之外，Kanaan的研究发现，相较于文字目标，受试者在搜索图像目标时更不易被干扰[11]。而本研究中所设置的搜索目标为图像，难度较低，因此也有可能产生不同的结果。

6. 结论

通过对实验获得的眼动数据分析，得出以下结论：

(1) 背景复杂度并不会对凝视点个数、平均凝视时间及跳视幅度产生显著影响；随着背景复杂度的增长，凝视总时长会有较小幅度的增加。

(2) 搜索目标个数会对凝视点数量、凝视总时长、平均凝视时间有一定的影响，对跳视幅度则未有较显著影响。其中，凝视点数量与凝视总时长会随着搜索目标个数的增加而增加，平均凝视时间则随之增加而减少。

(3) 搜索目标消失后，受试者的视觉搜索方向可以大致分为两类，分别是沿着搜索目标消失前的运动方向同向和反向进行视觉搜索寻找，其视觉搜索轨迹大致呈一条直线。

(4) 当搜索目标消失一段时间，受试者寻找无果后，其眼动轨迹会变的无规律，当搜索目标再次出现，受试者倾向于沿直线对搜索目标再次进行眼动追踪。