眼动追踪技术在人员心理选拔中的研究综述
A Review of the Application of Eye Tracking Technology in Personnel Psychological Selection
DOI: 10.12677/ap.2024.148584, PDF, HTML, XML,   
作者: 綦家兴, 胡锦隆:武警后勤学院研究生大队,天津;陈旭义, 王振国:武警特色医学中心研究部,天津
关键词: 眼动追踪技术心理选拔注意力认知能力Eye Tracking Technology Psychological Selection Attention Cognitive Competence
摘要: 眼动追踪技术通过精密地追踪和解析个体的视线移动,为心理选拔提供了一种客观可靠的测量方法。通过记录分析个体的眼动特征,能够准确选拔出符合岗位心理需求的人员,提高选拔效率,降低因人选不当而带来的潜在风险。本文系统梳理了眼动追踪技术在人员心理选拔方面的研究进展,明确了该技术在注意力、认知能力、情绪稳定性和人格特质等研究中的关键作用,以期为军事人员心理选拔研究提供有价值的思路和参考。
Abstract: Eye tracking technology provides an objective and reliable measurement method for psychological selection by accurately tracking and analyzing individual eye movements. By recording and analyzing individual eye movement characteristics, we can accurately select the personnel who meet the psychological needs of the post, improve selection efficiency, and reduce the potential risks caused by improper selection. This paper systematically reviews the research progress of eye-tracking technology in the psychological selection of military personnel, and identifies the key role of this technology in the study of attention, cognitive ability, emotional stability and personality traits, so as to provide valuable ideas and references for the study of psychological selection of military personnel.
文章引用:綦家兴, 胡锦隆, 陈旭义, 王振国 (2024). 眼动追踪技术在人员心理选拔中的研究综述. 心理学进展, 14(8), 578-583. https://doi.org/10.12677/ap.2024.148584

1. 引言

眼动追踪技术,以其独特的适用性、数据客观性和准确性,在心理学、医学、计算机科学、教育及人机交互等多个领域展现出巨大的潜力和价值。近年来,科技的突飞猛进使得这项技术逐渐被应用于人员心理选拔领域,为特殊岗位的人才选拔带来了革命性的变革。传统的心理选拔方法,如心理测验、面试和过往经验等,带有较强的主观性,眼动追踪技术为我们提供了一种新颖且更为精准的评估手段。通过捕捉候选者精确、客观的眼动数据,我们能够深入评估他们的注意力集中程度、认知能力、情绪稳定性以及人格特质等关键要素。国外学者(Wang et al., 2023)在利用眼动追踪技术验证机器学习模型在情商测量方面的作用时,发现多项眼动指标对情商得分具有高度的预测性。同样也有研究表明(Wu et al., 2015),基于眼动数据构建的人工智能模型在评估人格特征方面甚至超越了人类的判断力。国内研究也证实了眼动特征在辅助心理测量中的客观性和有效性,确立了其作为心理测验客观指标的地位(沈胤宏等,2023)。相较于传统的心理测验方法,基于眼动追踪技术的人工智能模型仅需2~5秒的眼动数据便能达到令人满意的精确度,极大地节省了数据采集的时间与成本。这不仅有助于我们高效筛选出符合特殊岗位需求的人才,还能为后续的个性化培训提供坚实的数据支撑。但是在心理选拔领域,眼动研究目前仍局限在抑郁症、自闭症等特殊病症的识别以及特定岗位、特殊人员的心理选拔,还未得到广泛的普及应用。本文全面梳理了眼动追踪技术在特殊岗位人员心理选拔的最新研究进展,深入探讨了该技术在注意力、认知、情绪和人格特质等方面的研究成果,旨在为后续研究者提供有价值的参考和方向指引。

2. 眼动追踪技术与心理选拔概况

2.1. 眼动追踪技术概述

眼动跟踪技术是通过记录眼睛的注视点、注视时间、眼跳方向、眼跳距离、眼动轨迹等多项参数来了解人们对实时信息的获取和加工过程。人的眼球运动大致分为注视、扫视、眼跳和追随行动,眼球的运动实际上是大脑思维活动的直观反映。

2.2. 眼动仪及眼动指标

眼动设备主要包括桌面屏幕式眼动设备以及穿戴式眼动设备(Ban et al., 2022)。屏幕式眼动仪主要通过红外技术追踪被试在刺激材料(如图片、视频等)的刺激下的眼球运动,试验需要特定的环境并且对被试的头部进行固定。穿戴式眼动仪轻便小巧,场地限制较小,但造价昂贵。眼动追踪技术测量指标可以分为注视与扫视两大类(Lim et al., 2021)。注视主要是指视网膜稳定在感兴趣的静止对象上方,持续时间为100~400 ms,包括持续注视时间、首次注视时间、总注视次数、兴趣区内注视次数等测量指标。扫视是指双眼的快速运动,持续时间通常为10~100 ms,包括扫视次数、扫视幅度、回视等指标。除此之外,瞳孔直径、眼跳、眼动轨迹以及首次注视点等也是反映受试者情感、认知与注意状态的重要指标。注视时间的增加意味着个体会进行更加高级的信息深度加工,注视次数则揭示了个体对特定区域的关注程度,个体对某特定区域越感兴趣,注视点越集中。瞳孔大小的变化则反映着人们的情绪或情感状态。眼跳则是注视点的快速转移,现有研究表明眼跳在很大程度上受到注意、工作记忆、学习、长时记忆和决策等的影响(陈庆荣等,2012)。通过眼动仪记录眼睛的快速变化数据,可以对个体在处理信息时的加工过程进行分析,寻找思维意识活动的生理标志,探索不同人群的认知过程。研究者在研究被试的眼动特征时并不需要对各项指标全部进行测量,可根据自己的研究需求与目的进行灵活选取。

2.3. 人员心理选拔中应用眼动追踪技术的意义

在传统人员选拔过程中,主要采取面试、量表测验和评价中心法等选拔方式,但是这类选拔方式主观性强,被试有可能通过不认真作答或故意掩饰,从而影响评估结果的可靠性。相比于传统的基于问卷或者访谈等研究方法,眼动追踪技术提供了更为精确客观的数据支撑,可以从视觉信息加工的行为特点对选拔人员的眼动差异进行分析,更加科学解释了人员选拔过程的心理机制和生理机制,从而区分出不同绩效的人员,达到优选的效果。

眼动追踪技术具有非接触、无延时和操作简便的优势,相比于心电、脑电、皮肤电等其他生理指标的测量技术,对操作人员的专业要求程度相对较低。在心理选拔方面,现有研究主要集中在在航空领域以及轨道交通领域,如飞行员、航空管制员、驾驶员等对作业时心理状态要求较高的岗位。利用眼动追踪技术可以对这些人员的注意力、认知能力、情绪稳定性、人格特质等进行测试,为此类人员心理选拔提供客观数据。

3. 注意力测试

注意力测试主要是通过对被试者的眼动轨迹和注视时间等数据进行分析,准确评估其注意力集中程度、注意广度及注意转移能力。在判断个体是否适合从事需要高度集中注意力的工作时,注意力测试起到了关键作用。已有研究表明通过眼动追踪技术来识别人的注意状态是可行的(张益凡等,2022),可以对不同注意状态的人员进行分类选拔。通过对飞行员之间的眼动数据差异进行对比,可以将具有优秀注意力的飞行员选拔出来。有研究发现熟练的飞行员与新手在模拟练习时,飞行绩效和眼动模式上存在明显的差异(牛四芳,2014),熟练飞行员的注视时间较短、注视点较少,但是飞行绩效却相对较好,说明眼动追踪技术可以对不同绩效的飞行员进行筛选。在飞行员培训方面,有研究者(吴林等,2020)通过对比资深飞行员和初始学员的眼动数据,研究优秀飞行员在模拟机训练过程中的注意力分配方法,总结出适用于进近着陆阶段的注意力分配标准,改进飞行员培训方法,提升了飞行员选拔培训的质量和效率。

在空管领域,有研究针对不同管制环境下不同级别的管制员提出最佳航班排序方案过程,结果表明高级别管制员具有更有效的扫视路径,说明在注意力分配上,熟练的管制员与新手在注意力分配上存在差异(Van Meeuwen et al., 2014)。同时有研究者深入研究了管制员的注意力特征,基于眼动数据,结合管制工作的核心需求,从数量、空间和时间三个维度出发,构建出一个包含注意力稳定性、广度和注意力分配的评价方法。通过这套评价方法,能够对管制员进行分类,从而达到测试和选拔的效果(王莉莉,许凌鹏,2023)。同时,有研究者根据眼动特征设计了塔台飞行管制员模拟训练中的注意力分配评估系统(王雪松等,2020),可以对管制员的注意力分配进行模拟训练,对训练过程进行分析、评价,以此来评估管制员的专业水平。车辆驾驶通常对注意力也有相当的要求,特别当一些特种交通工具的驾驶员选拔时,更需要驾驶员具备高超的注意力。有研究通过对常见驾驶行为下驾驶人进行分析,获得了不同驾驶行为下驾驶员注意力分配特征(薛志超等,2018)。通过对驾驶员眼动视频数据进行收集,构建了驾驶员数据分析软件平台,实现对驾驶员眼动数据的查询、标注与分析,以此来挖掘出驾驶员的眼动数据差异(申天啸,2022)。有研究者对城市中不同驾驶环境下汽车驾驶员注意力分配进行研究,分析其注视点、注视时间及注视区域的特性,总结出汽车驾驶员的注意力分配模式,反映出驾驶员在驾驶过程中注意力分配具备规律特点,可以根据其规律特点对驾驶员进行选拔,为特种车辆驾驶员选拔培训提供了重要的借鉴(程建梅等,2018)。

4. 认知能力测试

个体在完成认知任务时的眼动行为能够客观地揭示其认知加工特点。近年来,在人员选拔领域,对认知能力的评估逐渐从单纯的量表测验发展成计算机化的评估系统,如宾夕法尼亚大学为评估个体的认知能力开发的计算机化神经认知评估系统(The Penn Computerized Neurobehavioral Battery, Penn CNB) (Motta et al., 2019);美国军队的选拔与分类项目(the army selection and classification project, Project A)中的认知和心理运动能力测试等(田建全,2006),但是这些计算机评估系统由于评估任务范式相对冗长,致使评估效率相对较低(张志龙等2023),研究者正探索个体眼动特征与认知能力的内在关联,尝试将眼动技术作为一种全新的评估个体认知能力的手段。通过分析个体在完成认知任务时的眼动轨迹和反应时间等数据,可以评估候选者的信息处理速度、记忆容量、思维灵活性等认知能力,从而判断候选者是否具备该岗位需求的认知能力和发展潜力。有研究者深入探索了眼动轨迹指标在认知加工策略分析中的优势,并且基于强化学习算法开发了一套眼动轨迹分析方法SRSA (Successor Representation Scanpath Analysis)。通过该方法,他们在高级瑞文推理测验中,观察到高智力个体倾向于采用一种全面、连续的逐行处理策略,然后慎重选择答案;而低智力个体则更倾向于在题目和选项区域频繁切换(Hayes & Henderson, 2017)。此外,该团队还发现,经过认知训练的个体在完成RAPM时,其智力分数会有所提高,并且这一提升能够通过其眼动轨迹的变化清晰地反映出来(Hayes et al., 2015)。这一发现进一步强调了眼动追踪技术在评估和提升认知能力中的重要作用。

有研究通过研究不同智力个体在视觉搜索任务时发现,眼动特征上存在多种显著差异。与低智力个体相比,高智力个体的注视时间更短、眼跳幅度更大并且拥有更多的注视点个数,实验表明利用个体在特定任务中的眼动特征来分类、预测个体的认知能力是有望实现的(Sargezeh et al., 2019)。同样,国内有学者(王碧梅,2022)研究了不同经验水平教师在教学反思中的认知加工机制,发现新手教师与熟手教师在教学反思的眼动特征上也是存在差异的,通过眼动技术能够对其认知功能进行评估。眼动特征与认知能力之间的联系已经被研究证实,但是不同眼动特征具体映射到哪些特定的认知能力仍需进一步深入探索,未来的研究应致力于揭示不同眼动指标与特定认知能力之间的关系,并利用各种机器算法开发出能够准确评估个体特定认知能力的分类器或回归模型。为选拔具备特殊认知能力的优秀人才提供重要的参考依据。

5. 情绪稳定性测试

情绪稳定性关系到个人的心理健康和生活质量,稳定的情绪能够帮助个体更好地应对生活中的挑战和压力,减少焦虑、抑郁等心理问题的发生。在工作中,许多特殊岗位人员的心理选拔,情绪稳定性是重要的考量因素。一个情绪稳定的个体更有可能在压力下保持冷静,做出明智的决策,在类似飞行员、航天员等需要强大情绪稳定调节能力的一些特殊工作岗位上,情绪稳定性是对其能力评估的重要方面。

多项研究证明了眼动特征与情绪之间存在密切关系,利用眼动追踪技术可以对个体进行情绪稳定性的测试,德国莱比锡大学心理研究所的Widmann团队发现,瞳孔直径会随着情绪的变化而变化,这一发现为通过眼动特征评估情绪提供了科学依据(Black et al., 2017)。意大利帕维亚大学的研究表明注视次数和持续时长与情绪种类相关,且受试者的注视行为会随着情绪变化而变化(Carniglia et al., 2012)。据此,有研究者提出了利用瞳孔信息识别情绪的方法,通过国际情感图像系统诱发情绪状态,采集瞳孔数据和注视位置,实验证明了瞳孔直径等眼动特征对情绪识别的有效性(Claudio et al., 2015)。

通过分析被试者在情境刺激下的眼动轨迹、瞳孔变化等数据,可以深度评估其情绪的稳定性、自我调节能力等心理特质,选拔出适合某些情绪稳定能力需求高的岗位人员。有研究者研究飞行学员的情绪稳定性时发现,情绪稳定性对平均注视时间有显著的正向影响,而对注视次数则有显著的负向影响,情绪稳定性在飞行员决策过程中起着重要作用(王燕青等,2022)。李瑞的研究则聚焦于飞行学员的情绪稳定性和驾驶行为的关系,通过眼动技术分析发现情绪稳定性高的学员驾驶表现更佳,并提出了基于眼动指标的飞行学员情绪稳定性考评方法,这不仅能够评估学员的心理能力,还能进一步提升学员的操作水平(李瑞,2021)。这些研究结果表明,在未来研究可进一步探索不同眼动指标与特定情绪的关联性,并开发更为精确的评估工具,以提升人员选拔的效率和准确性。

6. 人格特质测试

人格特质测试在人员选拔中扮演着重要角色,人格测验在职业能力倾向测试和入伍心理测试中都有着广泛的应用,可以在短时间内评估、了解候选者的性格特征,从而提高团队匹配度,促进个人职业发展。传统的人格测验主要依托于人格量表,例如艾森克人格问卷(EPQ)、卡特尔人格问卷(16PF)、大五人格测验、明尼苏达多项人格测验等,受被试社会赞许性影响较大。心理学领域常用的是利用眼动追踪技术,识别候选者在人格测验中的作假行为,直接应用于人格评估方面的研究相对较少。基于纯粹的视觉特征,有研究者将视频理解框架(TimeSformer)首次应用在人格预测特征提取领域,提出的大五人格评估方法,通过多粗细粒度损失结构网络框架精确估计视线注视方向,深入挖掘注视分布和视线序列特征,具有较高的准确率(冯宇,2023)。还有研究通过让被试自由观看无主题、无意义的动态刺激,发现不同人格特征的个体表现出不同的眼动模式,神经质高的个体在注视时间和停留时间更长,而外倾性高的个体则表现出更短的停留时间和更多的注视点(Rauthmann et al., 2012)。这一发现表明,眼动指标可以作为评估个体人格特征的一个有效指标。通过眼动追踪技术分析候选者在人格测验时的眼动数据,可以客观准确地评估被试的人格特质和个性特点,为选拔出更有可能在工作中表现出色的候选人提供依据。

7. 总结与展望

随着科技的不断发展,眼动追踪技术已成为心理学领域重要的研究工具,在人员心理选拔研究中取得了一定的成果。但该技术仍处于探索应用阶段,当前仍存在一些挑战性问题:一是眼动设备专业性强、造价昂贵,数据采集只能逐个被试采集,虽然单个样本采集速度快,但数据的大规模收集受限,当前只能结合问卷量表综合进行研究;二是眼动追踪技术诊断准确性和可靠性仍需进一步加强,可以结合脑电、皮肤电、心电等其他生理指标进行多模态分析,以此提高军事人员心理选拔的科学性与准确性;三是目前眼动追踪技术的研究应用局限在注意力、情绪、认知等部分心理品质和航空、体育等特定岗位,下一步仍需拓宽研究领域,实现眼动追踪技术在各个领域的多样化应用。

参考文献

[1] 陈庆荣, 周曦, 韩静, 安静(2012). 眼球追踪: 模式、技术和应用. 实验室研究与探索, 31(10), 10-15.
[2] 程建梅, 陈强, 章超, 欧居尚(2018). 城市道路不同驾驶环境下汽车驾驶员注意力分配定量研究. 科学技术与工, 18(25), 286-295.
[3] 冯宇(2023). 基于视觉特征与对抗学习的大五人格评估. 硕士学位论文, 合肥: 安徽医科大学.
[4] 李瑞(2021). 情绪稳定性对飞行学员驾驶行为的影响分析. 硕士学位论文, 天津: 中国民航大学.
[5] 牛四芳(2014). 飞行员在飞行动作模拟练习下的眼动模式的分析. 硕士学位论文, 西安: 第四军医大学.
[6] 申天啸(2022). 基于深度学习的驾驶员眼动识别和分析研究. 硕士学位论文, 西安: 西安电子科技大学.
[7] 沈胤宏, 郑秀娟, 张昀, 苗丹民(2023). 基于眼动特征的辅助心理测量方法. 空军军医大学学报, 44(10), 942-947.
[8] 田建全(2006). ProjectA对我军士兵心理选拔研究的启示. 心理科学进展, (2), 164-168.
[9] 王碧梅(2022). 不同经验水平教师教学反思认知加工机制研究——基于眼动和访谈的证据. 教师教育研究, 34(4), 77-85.
[10] 王莉莉, 许凌鹏(2023). 基于眼动数据的管制员注意力特征评价. 中国安全科学学报, 33(2), 217-224.
[11] 王雪松, 邓涛, 房清霆, 赵顾灏(2020). 基于眼动识别的塔台飞行管制员注意力评估系统设计. 中国航班, (1), 48.
[12] 王燕青, 周士琦, 李瑞(2022). 不同时间压力条件下飞行学员的情绪稳定性对决策绩效的影响. 科学技术与工程, 22(13), 5513-5518.
[13] 吴林, 叶宗华, 刘小东(2020). 眼动数据分析在飞行培训中的应用研究. 价值工程, 39(25), 189-191.
[14] 薛志超, 巩渭华, 杨波, 等(2018). 常见驾驶行为下驾驶人注意力分配特征. 济南大学学报(自然科学版), 32(6), 469-475.
[15] 张益凡, 王宇超, 张琴喻, 葛贤亮, 徐杰(2022). 基于眼动指标的飞行员注意状态识别可行性研究. 航空科学技, 33(4), 39-46.
[16] 张志龙, 刘飞虎, 卢宏亮, 等(2023). 认知能力评估工具的研究进展. 职业与健康, 39(5), 715-720.
[17] Ban, S., Lee, Y. J., Kim, K. R., Kim, J., & Yeo, W. (2022). Advances in Materials, Sensors, and Integrated Systems for Monitoring Eye Movements. Biosensors, 12, Article 1039.
https://doi.org/10.3390/bios12111039
[18] Black, M. H., Chen, N. T. M., Iyer, K. K., Lipp, O. V., Bölte, S., Falkmer, M. et al. (2017). Mechanisms of Facial Emotion Recognition in Autism Spectrum Disorders: Insights from Eye Tracking and Electroencephalography. Neuroscience & Biobehavioral Reviews, 80, 488-515.
https://doi.org/10.1016/j.neubiorev.2017.06.016
[19] Carniglia, E., Caputi, M., Manfredi, V., Zambarbieri, D., & Pessa, E. (2012). The Influence of Emotional Picture Thematic Content on Exploratory Eye Movements. Journal of Eye Movement Research, 5, 1-9.
https://doi.org/10.16910/jemr.5.4.4
[20] Claudio, A., Sebastian, B., Vaclav, S. et al. (2015). Neural Networks for Emotion Recognition Based on Eye Tracking Data. In 2015 IEEE International Conference on Systems, Man, and Cybernetics (pp. 2632-2637). IEEE.
[21] Hayes, T. R., & Henderson, J. M. (2017). Scan Patterns during Real-World Scene Viewing Predict Individual Differences in Cognitive Capacity. Journal of Vision, 17, Article 23.
https://doi.org/10.1167/17.5.23
[22] Hayes, T. R., Petrov, A. A., & Sederberg, P. B. (2015). Do We Really Become Smarter When Our Fluid-Intelligence Test Scores Improve? Intelligence, 48, 1-14.
https://doi.org/10.1016/j.intell.2014.10.005
[23] Lim, J. Z., Mountstephens, J., & Teo, J. (2021). Eye-Tracking Feature Extraction for Biometric Machine Learning. Frontiers in Neurorobotics, 15, Article 796895.
https://doi.org/10.3389/fnbot.2021.796895
[24] Motta, D. C., Carvalho, B. C., Castilho, P. et al. (2019). Assessment of Neurocognitive Function and Social Cognition with Computerized Batteries: Psychometric Properties of the Portuguese PennCNB in Healthy Controls. Current Psychology, 38, 1-12.
[25] Rauthmann, J. F., Seubert, C. T., Sachse, P., & Furtner, M. R. (2012). Eyes as Windows to the Soul: Gazing Behavior Is Related to Personality. Journal of Research in Personality, 46, 147-156.
https://doi.org/10.1016/j.jrp.2011.12.010
[26] Sargezeh, B., Ayatollahi, A., & Daliri, M. R. (2019). Investigation of Eye Movement Pattern Parameters of Individuals with Different Fluid Intelligence. Experimental Brain Research, 237, 15-28.
https://doi.org/10.1007/s00221-018-5392-2
[27] van Meeuwen, L. W., Jarodzka, H., Brand-Gruwel, S., Kirschner, P. A., de Bock, J. J. P. R., & van Merriënboer, J. J. G. (2014). Identification of Effective Visual Problem Solving Strategies in a Complex Visual Domain. Learning and Instruction, 32, 10-21.
https://doi.org/10.1016/j.learninstruc.2014.01.004
[28] Wang, W., Kofler, L., Lindgren, C., Lobel, M., Murphy, A., Tong, Q. et al. (2023). AI for Psychometrics: Validating Machine Learning Models in Measuring Emotional Intelligence with Eye-Tracking Techniques. Journal of Intelligence, 11, 170.
https://doi.org/10.3390/jintelligence11090170
[29] Wu, Y., Kosinski, M., & Stillwell, D. (2015). Computer-Based Personality Judgments Are More Accurate than Those Made by Humans. Proceedings of the National Academy of Sciences of the United States of America, 112, 1036-1040.
https://doi.org/10.1073/pnas.1418680112