有条件自动驾驶接管中的交互设计:基于透明度理论的综述
Interaction Design in Conditional Autopilot Takeover: A Review Based on Transparency Theory
摘要: 在有条件自动驾驶中,保证驾驶权接管的顺利进行是确保行驶安全的首要任务。将基于情境感知的透明度模型和人机交互透明度模型应用到有条件自动驾驶接管中的交互设计,把接管任务分解为感知、理解和预测三个阶段,分析得出每个阶段适宜应用的人机交互方式和交互信息类型。并从显性交互和隐性交互两个方面出发总结影响接管任务进行的各种因素,建立有条件自动驾驶接管任务的人机交互模型,探究有条件自动驾驶接管中的最佳交互设计。
Abstract: In conditional automatic driving, it is the primary task to ensure the smooth transition of driving rights to ensure driving safety. The context-aware transparency model and human-computer interaction transparency model are applied to the interaction design of conditional automatic driving takeover, and the takeover task is divided into three stages: perception, understanding and prediction, and the appropriate human-computer interaction mode and interaction information type for each stage are analyzed. The factors affecting the take-over task are summarized from two aspects of explicit interaction and implicit interaction, and the human-computer interaction model of conditional automatic driving take-over task is established to explore the optimal interaction design of conditional automatic driving take-over task.
文章引用:黄兆轩, 夏芒. 有条件自动驾驶接管中的交互设计:基于透明度理论的综述[J]. 设计, 2023, 8(4): 2364-2376. https://doi.org/10.12677/Design.2023.84286

1. 引言

自动驾驶技术一直都是未来人类交通出行领域中的一枚超新星,并且随着自动驾驶汽车的感知、决策和控制理论的不断研究、5G技术和物联网技术的发展,以及以产业为主导的自动驾驶汽车项目的推进,等级3 (Level 3,即有条件自动驾驶)到等级5 (Level 5,即完全自动驾驶)的自动驾驶汽车有望在未来的交通系统中发挥重要作用 [1] 。L3级的自动驾驶汽车已经有实车案例投入到使用中,如美国洛杉矶街头的半自动化出租车,但在这个等级人类驾驶员还需要时刻注意路况并且随时准备接管汽车驾驶权。而等级5的自动化汽车,也就是全自动化,不需要人类驾驶员辅助驾驶,人类只是乘客,车上不需要方向盘等驾驶硬件,这种完全由电脑操控的全自动化驾驶汽车目前只是未来的发展设想。在等级3的有条件自动驾驶汽车中,人类驾驶员在大部分情况下的主要任务将不再是驾驶汽车等相关驾驶任务,只有在自动驾驶系统遇到无法处理的情况时才会将驾驶任务转移给人类驾驶员,人类驾驶员更多的时候是在进行办公、娱乐等非驾驶任务 [2] 。在接管情况下,用户从乘坐者转化为驾驶者,需要人车交互系统提供更适宜的交互方式从而降低用户的认知负荷,提高接管成功率并保证驾驶安全 [2] 。因此,本文以透明度理论为基础,分析有条件自动驾驶接管中的人机交互,建立人机交互模型,以探究有条件自动驾驶接管的最佳交互方式,保证驾驶安全。

2. 方法

在2022年11月至2023年3月期间,作者进行了广泛的文献检索。首先,在中国知网、Web of Science和谷歌学术中使用汽车交互、车内交互、有条件自动驾驶和接管任务等相关关键词进行搜索,并通过获得的论文的参考文献列表检索了其他文献。在2023年4月,使用相同的关键词进行了新的搜索,以确定最新的文献。

在检索出的论文中,通过阅读文章标题和文章摘要以验证出版物是否符合以下所有纳入标准:

1) 文章的发表年份应在近10年内(除了一些研究经典理论的论文)。

2) 文章的研究内容符合有条件自动驾驶接管中的交互设计的研究主题。

3) 这项研究发表在科学杂志或会议论文集上。

4) 若有实验数据,实验参与者应在真实或模拟环境中驾驶车辆,体验机动道路车辆的运动。

5) 若有实验数据,实验参与者应能够持续控制车辆的航向或速度。

检索结果文献检索产生了大量具有潜在兴趣的期刊和会议论文。在这些研究中,有48项符合纳入标准。在这48项研究中,40项发表在科学期刊上,其余项8项发表在会议论文集上。

3. 透明度理论

随着人工智能技术的研究与发展,人机交互研究人员和实践者越来越重视人与智能体之间的技术透明度,透明度是保证人类与智能系统之间交互有效性的关键因素。在自动化环境中,理解智能系统的行为对于确保人类和系统之间的良好交互非常重要。这种理解通常被称为“透明度”。Lyons认为,透明度可以促进人类和智能系统之间的最佳校准。他对驾驶环境中不同显示设备上信息量的适量展示也进行了设计探索,更准确、更清晰的信息传递可以增强人类的信任 [3] 。

透明度理论旨在让操作人员了解智能代理的行为、可靠性和意图。实现透明是指操作者能够理解智能代理的背后运行逻辑,了解智能代理的能力范围、错误倾向以及其预期行为。透明度被进一步描述为在操作者和智能代理之间共享意图和意识的一种手段。从本质上讲,透明度应该有助于操作员理解智能代理的意图、表现、能力、未来计划和推理过程。在以往的文献中提出了两个关键的透明度模型:基于情境感知的透明度(Situational awareness transparent, SAT)模型 [4] 和人机交互透明度模型 [5] 。

3.1. 基于情境感知的透明度(SAT)模型

情境感知(situation awareness, SA)理论提出了人类接收环境变化的三个层次 [6] :

SA Level 1:对环境不同元素的感知;

SA Level 2:对这些元素的理解;

SA Level 3:对它们在不久的将来的状态的预测。

实现情境感知的第一步是感知环境中相关元素的状态、属性和动态。例如,对于一名正在驾驶汽车的驾驶员来说,这些需要其感知的元素包括了道路状况、汽车状态(包括驾驶的汽车和其他汽车)和警示灯等,以及元素的相关特征,如颜色、速度、大小和位置。实现情境感知的第二步是根据操作员的目标,通过集成各种元素的状态来理解情况。例如,如果一名驾驶员看到前侧方车辆打了转向灯,并且改变了位置和速度,这时候驾驶员必须明白这种情况表明了其他车辆准备变道的目的。实现情境感知的第三步是能够预测任务环境的未来状态。例如,通过观察前车的行为与警示灯变化,汽车驾驶员应该能够预测其变道的未来,并且对该预测做出对应的措施。

情景感知是随着时间的推移而建立的,对未来行动的预测(第3级)是通过对相关要素的状态、属性和动态的了解(第1级)和对情况的理解(第2级)来实现的。通过这种方式,情景感知超越了对目前状态下环境信息的感知,它包括整合和理解信息的含义,将其与目标进行比较,并预测环境的未来状态。

以情境感知理论为基础,透明度理论(SAT)致力于解释哪些信息有助于智能代理的透明度展示。SAT模型认为,由于智能系统参与了人工任务的执行,人类需要对智能系统和环境进行情境感知,智能系统的透明性便可以实现这种情境感知要求。基于情境感知的智能系统透明度理论将智能系统透明度定义为界面的描述性质量,操作员通过该界面理解智能系统的意图、推理过程和未来计划,以此来矫正操作员对智能体的信任度(不能过于信任也不能完全不信任自动化系统) [7] 。

与情境感知理论相对应,SAT模型也将智能系统给予人类的信息分为三个等级:

SAT 1级:智能体应该向操作者提供自主智能体的目标、目的和对环境状态的感知(智能体试图实现什么?);

SAT 2级:智能体应向操作者提供有关其行为或决定背后的基本原理的信息(为什么智能体建议采取这种行动?);

SAT 3级:智能体应向操作员提供其对未来结果预测的信息(如果操作员遵循此建议,预计会发生什么?)。

将这三种SAT等级信息纳入人类自主团队,可以提高操作员的情境感知意识,并提高智能体推荐操作的准确性,因为它允许操作员了解智能体的意图、推理过程和预测结果。需要注意的是,操作人员可能会被智能代理提供的越来越多的信息所淹没,这可能导致操作员难以理解信息以做出监督决策,增加人力决策时间和精神工作量,所以呈现给操作者的信息量并不是越多越好,需要具体情景具体分析 [8] 。

3.2. 人机交互透明度模型

人机交互透明度模型将影响人机交互的因素分为两个方面:智能体传达它对系统的知识和它对世界的看法(robot-to-human),智能体传达它对人类操作员状态的意识(robot-of-human):

(1) 机器人对人的透明度:在机器人对人的透明度中,传递给操作员的关键信息可以用以下方式描述:

1) 意向模型:对于人类操作员来说,充分理解智能体的设计、目的和意图(以及它们如何与操作员的目的相匹配)是很重要的。在此基础上,操作员才能更好地与智能体协作。例如,在有条件自动驾驶接管任务中,驾驶员需要了解自动驾驶系统请求接管的原因和目的是什么(例如是因为遇到了突发路况智能体无法处理),才能目的清晰地、安全地进行接管驾驶。

2) 任务模型:将意向具体化为步骤清晰的任务,智能体必须向人类传达它目前对手头任务的理解,它试图实现的目标的意图,以及它在实现这些目标方面的进展,以及它的能力和错误倾向。

3) 分析模型:该模型关注的是智能体做出决策的底层分析逻辑,也就是操作员需要理解智能体行为或建议的基本原理。例如,当自动驾驶系统因为前方道理拥挤选择绕道走远路时,当驾驶员理解系统做出决定的原因只会便不会产生疑惑,而是更加信任和理解自动驾驶系统的智能操作。

4) 环境模型:环境模型指智能体需要引导操作员系统有效的感知环境信息。这包括与操作员沟通智能体对环境动态的理解(例如,在自动驾驶中,系统会提示驾驶员潜在的危险和红绿灯变化带来的时间限制)。这将有助于提高操作员的情境感知意识,并有助于校准操作员对智能体的依赖和信任度。

Figure 1. Two corresponding transparency models

图1. 两种相互对应的透明度模型

(2) 智能体对于人类状态理解的透明度:这方面的因素侧重于智能体向操作员传达其对与人有关的因素的意识。通俗来说,就是智能体需要实时监控人类操作者的操作状态,如人类的认知、情感和身体状态等,在其不适宜进行操作或不能操作时给予即时的帮助。这在安全驾驶中的应用非常广泛,如通过监测人类驾驶员的眼皮闭合状态来预防疲劳驾驶等等。从这个意义上讲,这部分的观点类似于自适应自动化的概念 [9] [10] 。

可以看到,这两个透明度模型虽然是两个不同的学者提出来的,但在共同的人机交互环境之下是有着许多的共同之处的,SAT 1级的透明度信息对应Lyons建立的人机交互透明度模型中的意向模型、任务模型,SAT 2级的透明度信息对应分析模型,SAT 3级的透明度信息对应环境模型(如图1所示)。

综上所述,人类和智能体之间需要互相认知、理解,充分考虑到人对智能体和智能体对人的交互因素。当人和智能体对自己和对方有了清晰的认知和定位之后,便能创建人机共享意识,人机协作系统才能有效运行。

4. 车内人机交互设计的发展趋势

类比于人机交互的发展阶段,汽车车内的人机交互发展可以分为四个阶段(如图2所示):即以简单机械操控为主要交互手段的前工业时代、以按键交互为主的机器时代、以触屏交互为主的计算机时代和综合按键交互、触屏交互、语音交互和手势交互等新型交互方式的环境交互时代 [11] 。

Figure 2. The development stage of human-computer interaction inside the car

图2. 汽车车内的人机交互发展阶段

其中更加自然、便捷的环境交互时代是目前汽车车内交互的发展趋势,交互系统能够直接理解用户输入的交互信息,用户也能够直接理解系统输出的交互信息,无需交互中介。其中最具有代表性的便是语音交互与手势交互,不过由于手势交互在技术识别与交互手势数量的限制上还没有大规模应用与车内交互中。

目前汽车车内的交互技术根据感官不同可以分为基于视觉交互的技术、触觉或基于触觉的技术、听觉技术、生理传感技术和本体感知技术。车内交互的方法有显性交互、隐性交互两种 [12] 。

汽车的智能联网化和自动驾驶化使得车内人机交互更加自然、便捷和安全,汽车成为了主动交互的一方,并且隐性交互所占的比例在逐步增加。目前车内人机交互使用的更多的是显性交互,即基于视觉、语音和触觉的能直接让驾驶员感受到的交互。而隐性交互指的是交互系统通过生物感知技术感知到驾驶员的状态变化而进行的交互。如驾驶员疲劳和注意力分散识别、情感识别和车内姿态识别等,生物感知技术的发展让隐性交互成为可能 [13] 。这种交互方式的分类与Lyons建立的人机交互透明度模型不谋而合,显性交互对应智能体对人的透明度,智能体通过视觉、语音和触觉等通道给予操作者信息;隐形交互对应智能体对于人类状态理解的透明度。从这个角度来说,将透明度理论应用到车内人机交互场景中是非常契合且可行的。

5. 基于透明度理论的有条件自动驾驶接管分析

5.1. 接管阶段

首先,根据SAT模型的基础理论即情境感知理论,可将有条件自动驾驶接管任务分为三个阶段(基于驾驶员视角的分析):

阶段1 (感知):环境变化,不满足自动驾驶条件,驾驶员感知情境变化

阶段2 (理解):驾驶员开始理解情境,准备接管驾驶权

阶段3 (预测):驾驶员预测接下来的驾驶情景,并做出对应措施

在目前的有条件自动驾驶车辆中,最为常见的接管案例就是自动驾驶汽车驶出高速公路,进入匝道时的接管行为,如图3所示。

Figure 3. Situational awareness analysis of an autonomous vehicle (red) entering an on-ramp

图3. 自动驾驶汽车(红色)进入匝道时的情境感知分析

5.2. 不同SAT等级信息的使用适宜度与展示阶段

不同的任务场景需要智能体给驾驶员提供不同的透明度信息,在有条件自动驾驶条件下,驾驶场景可分为关键场景任务(如超速任务)与非关键场景任务(如切换音乐任务)。与代表关键场景任务的超速任务类似,接管任务也属于关键场景任务,在这类任务场景下,SAT 1级的信息不会增加驾驶员的认知负载,并且对驾驶任务的完成有着一定的帮助,因此较为重要 [8] 。而SAT 2级的信息即时的给予了驾驶员为什么需要进行接管任务的原因(如即将驶出高速公路进入匝道、前方出现路障等),有效地增加了驾驶员对环境改变的理解,因此在接管任务中是十分重要的。另一方面,SAT 3级的透明度信息虽然会增加驾驶员对驾驶情况的理解,但是同时极大地增加了驾驶员的认知负荷,影响了驾驶员的驾驶表现,因此SAT 3级的透明度信息在任务未完成时在理论上不宜出现,以保证驾驶安全。在接管成功驾驶员完全掌控驾驶权并且对环境变化有所理解后,SAT 3级信息可以即时的展示给驾驶员,有利于后续驾驶任务的顺利进行。

在驾驶员进行接管任务的三个阶段中,其工作量和认知负荷是逐步增加的 [14] 。而作为关键场景任务,顺利完成驾驶权接管,最大程度保证驾驶安全是首要目标。因此,智能体给予驾驶员SAT 2级信息的最佳阶段是阶段1,其次是阶段2,在驾驶员工作量最大的阶段3不宜出现,以免影响驾驶员的接管操作。

综上所述,根据透明度理论,在有条件自动驾驶接管任务中,最适宜的透明度信息展示等级应该是SAT 2级,SAT 3级的透明度信息可以在接管完成后展示给驾驶员,以便驾驶员完成接管后的驾驶操作(如图4所示)。

Figure 4. The appropriateness of using information at each SAT level in the takes over task

图4. 接管任务中各SAT级别信息的使用适宜度

6. 影响接管效绩的因素

6.1. 智能体对人的透明度:显性交互因素

显性交互包括视觉交互、语音交互、触觉交互和多模态交互等其他新兴交互方式(如手势交互),对应人机交互透明度模型中智能体对人的透明度(robot-to-human)。

6.1.1. 视觉交互

视觉是驾驶员执行驾驶任务的主要交互通道,绝大部分的驾驶信息是通过视觉通道被驾驶员所接收的。在有条件自动驾驶任务中,驾驶员从乘客状态切换到驾驶状态的第一件事情就是将视线重新集中到道路前方,观察并理解路况。在目前的汽车车内人机交互系统中,除了传统的汽车中控台、仪表盘可以作为视觉交互通道的载体,还有新兴的抬头视示器(head-up display, HUD),即将驾驶相关信息呈现在前挡风玻璃上,让驾驶员的视线不必离开前方道路就能获得相关信息 [15] 。在有条件自动驾驶接管任务中,在进行接管任务前,大部分情况下驾驶员都在进行非驾驶相关任务,例如在玩手机、阅读等,其视线不在仪表盘、中控台和HUD上,较难接收到自动驾驶系统视觉通道的接管提醒 [16] 。因此,在接管阶段1,即驾驶员感知阶段中,视觉通道的透明度信息是很有可能没有发挥作用的,在只有视觉预警的情况下,驾驶员很有可能还会忽略接管请求。但驾驶员的视线很有可能也在前方道路中,并且驾驶员在接收到提醒之后的第一反应也是迅速将视线转移到前方道路,所以在感知阶段中,视觉通道的信息预警有着一定的必要性,也有利于后续阶段的视觉信息展示。而对于阶段2和阶段3,驾驶员的视线恢复到道路中央时,视觉交互通道就可以有效地传达信息,但同时需要注意的是,驾驶员在进行接管时,驾驶员通过视觉理解环境变化是最重要的工作部分,所以智能体给予的视觉透明度信息不宜过于繁多,以至于影响驾驶员视觉通道的工作,应以简洁的文字 [17] 、图标 [18] 和灯光变化信息 [19] 为主。

综上所述,基于透明度理论,视觉通道的透明度信息在有条件驾驶接管任务中是不可或缺的,但视觉通道的信息展示不宜过多,以免增加驾驶员的工作量与工作负荷。

6.1.2. 语音交互

车内语音交互系统的迅速发展让人车交互更加便捷的同时,也深刻影响着驾驶安全 [20] 。得益于人工智能技术的飞速发展和物联网科技的应用,语音交互的技术性难题得到了历史性的突破,语音交互系统在语音识别准确率和响应速度等其他技术方面上有了很大的提高。语音交互技术在人车交互环境中以及趋于成熟,语音通道的预警在自动驾驶情境中也是有利于驾驶员顺利进行相关驾驶任务的 [21] 。

在有条件自动驾驶接管任务中,听觉通道的预警在阶段1也就是感知阶段中的效果是非常出众的,因为听觉不受驾驶员视线限制的影响,通常情况下是具有全方位性的 [22] 。因此,听觉通道的透明度信息在接管任务中非常重要,是唤起驾驶员情境感知意识的重要信息。在后续的两个阶段中,由于驾驶员在视觉通道上工作量和工作负荷的增加,其余通道的信息展示不宜过多,在这两个阶段的基于听觉的透明度信息应该不出现或者少量使用。但受限于环境嘈杂、驾驶员可能正在进行语音通道的非驾驶相关任务(如听音乐)等因素,听觉通道的信息展示也不能百分百保证驾驶员接收到了预警信息。因此,与视觉交互类似,在接管任务单独使用听觉通道的透明度信息是不可取的。在有条件自动驾驶接管任务中,更适合的语音是自然提示音、多种优势语音的混合音效和带有“马上”等紧急命令语调的语音 [23] 。

6.1.3. 触觉交互

车内触觉信息的类型包括:主动的与被动的触觉交互(例如,驾驶员主动使用触觉按钮与被动接受汽车的触觉警告);不同通道下的触觉交互设计(例如,基于方向盘或座椅的触觉交互);提供给人类不同信号的触觉信息的类型(例如,连续的力反馈或振动和单独的力反馈或振动) [24] 。在有条件自动驾驶接管任务中,触觉交互的类型主要是驾驶员被动接受汽车的触觉警告。

触觉交互在驾驶任务中有着天然的优势:人类最敏感的触觉部位指腹与汽车方向盘直接触碰,座椅、安全带、踏板和变速杆等众多装置也可以在触觉交互这个通道发挥作用。触觉交互已被研究用于各种驾驶任务以保证驾驶安全,已有触觉交互设计应用于人类驾驶次要任务,如横向控制 [25] ,汽车跟踪 [26] ,导航 [27] 和生态驾驶 [28] 。

通过前面视觉交互和听觉交互因素的分析我们可以看到,需要一种驾驶员不会忽略的交互类型来对基于视觉和听觉交互的信息展示来进行补充,保证预警信息的有效性。而触觉通道的交互就是这一预警保证的最佳方式之一 [29] ,但触觉预警的形式也需要进行一定的设计,过多或过少的触觉警告都会造成不良影响:过于突兀和振幅过大的触觉警告会造成驾驶员的惊吓和恐慌,过于轻微的触觉警告也会造成驾驶员的忽略 [30] 。

6.1.4. 多模态交互

在有条件自动驾驶情境下,单一的交互方式很容易造成驾驶员对关键信息的忽略,于是同时使用多种通道进行交互的方式,即多模态交互被设计者们所青睐,通过采用多种感知通道的交互,可以极大地改善人机交互 [31] 。例如,目前车内交互中最常用的便是基于视觉和听觉通道的共同交互:汽车导航系统在提示驾驶员转向时,不单单会进行语音提示,在可视的交互界面还会进行一定的变化,最大程度地避免驾驶员忽略转向提醒的情况发生。多模态交互可以综合不同交互方式的优势,不同交互方式的组合也有着不同的影响。在有条件自动驾驶接管任务中,综合视觉、听觉和触觉的模态组合的预警效果最佳,在人的行为、生理数据和车辆数据中表现最好。同时,在相同条件下,纯视觉警告表现最差 [32] 。在有条件自动驾驶中接管的换道任务中,在听觉和触觉组合的接管预警下, 驾驶员的接管反应时间比只使用触觉的接管预警更短 [33] 。

在复杂多样的驾驶情况下,虽然不能断言综合视觉、听觉和触觉的多模态交互是有条件自动驾驶情境下的最佳交互方式,但多模态交互是优于单一交互通道的交互方式的,在驾驶员的大部分视觉认知注意力被驾驶任务所占有时,其他通道的交互信息更容易引起驾驶员的认知注意,从而保障驾驶安全。

总的来说,在有条件自动驾驶接管任务的人车交互中,多模态交互是其中的主要交互方式。具体来说,阶段1应该以听觉和视觉交互为主,触觉交互为辅;在阶段2和阶段3中,应该以视觉交互为主,听觉、触觉交互为辅。同时应该注意人车交互中的信息量不宜过多,避免增加驾驶员的工作负荷,影响驾驶员的驾驶表现 [34] 。

6.2. 确定智能体对于人类状态理解的透明度:隐性交互因素

隐性交互指系统通过生物感知技术预测到驾驶员的状态或者驾驶环境的变化而进行的交互,例如,自动驾驶系统监测到驾驶员的体温变低了,或者环境的温度变低了,系统自动将空调温度调高,与驾驶员主动调低温度的“显性交互”相对应。其中隐性交互因素包括环境因素和驾驶员因素。

6.2.1. 环境因素

在真实的有条件自动驾驶情境中,其环境是非常复杂且不可控的,毕竟目前整体的自动驾驶系统还未实现,自动驾驶系统无法百分百准确地预测其他车辆的行为和环境的变化,智能体也无法完全理解正在合作共驾的驾驶员的真正意图。其中,与驾驶环境最相关的便是交通密度与附近车况的复杂程度:接管情境中其他车流量的存在的确影响着接管任务的进行,更多的车流量、更复杂的交通环境导致接管时间变长,影响着接管任务的顺利进行 [35] 。同时,当道路前方的障碍物不易察觉时,驾驶员进行接管时的转向反应时间显著增加,说明除了交通密度,驾驶环境中的其他相关因素都会影响接管任务的顺利进行 [36] 。

除了车外的交通环境会对驾驶任务造成影响外,汽车车内的驾驶环境也与驾驶员的驾驶状态密切相关,而对于有条件自动驾驶环境来说,驾驶员进行的非驾驶相关任务是车内环境中的主要影响因素 [37] 。例如,当驾驶员在自动驾驶模式下高度投入到电子游戏中时,他们对周围环境的观察比手动模式下驾驶时更不仔细。在实现自动化控制时,将车辆操作计算机与游戏平台同步,收集驾驶员的视觉指标作为干预的依据,提高驾驶员的舒适度,可能是有益的 [38] 。总的来说,非驾驶任务会对有条件自动驾驶接管任务造成影响,这个影响可能是负面的,例如非驾驶任务占用了驾驶员的视觉、听觉通道,造成驾驶员对接管预警的忽略 [39] ;也有可能是正面的,驾驶员没有进行非驾驶相关任务,只是无聊地监控道路情况时,驾驶员的接管表现对比进行非驾驶相关任务时变差了,这说明适宜的非驾驶相关任务可以增加驾驶员接受预警的情境意识 [39] [40] 。

6.2.2. 驾驶员因素

驾驶员作为整个自动驾驶系统的主要服务对象,驾驶员的自身因素也深刻地影响着接管任务地进行。例如,年龄越大的驾驶员在有条件自动驾驶接管任务中的表现越差 [41] ,驾驶经验越丰富的驾驶员则表现得越好 [42] ,而女性表现出的绩效略好于男性,女性表现出的草率接管的比例更小,反应时间略快,方向盘的操作也略稳定 [43] 。同时,驾驶员的状态变化也是人车交互中隐性交互关注的重点:自动驾驶系统关注着驾驶员的驾驶状态,如是否疲劳驾驶,在进行非驾驶任务时的状态是否能够接受接管预警等等。同时,驾驶员对于自动驾驶系统的信任程度 [44] 与自身的心理因素 [45] 也会影响驾驶员的驾驶表现。

7. 评价接管效绩的变量

在有条件自动驾驶接管任务的研究中,由于难以保证在真实驾驶环境中进行实验的安全,并且驾驶模拟器有着相对的优势,许多研究者都在努力推广驾驶模拟器技术在汽车安全领域的应用 [46] 。虽然基于驾驶模拟器下的实验无法做到与真实环境一样,但也具有一定的绝对或相对有效性,对于接管任务的研究是有意义的 [47] 。

在模拟器的实验中,评价接管效绩的变量主要分为两个部分,一是与驾驶车辆相关或者驾驶员生理数据的客观变量,例如,最小碰撞时间、驾驶员反应时间、任务完成时间等;二是基于驾驶员问卷调查的主观变量,例如,通过问卷得到的驾驶员情境感知意识水平、驾驶系统的可用性等 [48] 。通过客观和主观数据的两个方面,可以验证不同因素对于接管任务影响的假设。

8. 总结

在车内交互环境不断变化、愈发复杂的情况下,将注重人与智能体合作的技术透明度理论应用于车内人机交互研究中是必要且有效的。本文以自动驾驶中的关键过渡阶段,有条件自动驾驶阶段中的关键任务接管任务为研究案例,应用透明度理论,建立交互模型(如图5所示),得出接管任务中各个阶段的理论最佳交互模式(有条件自动驾驶接管任务的人车交互中,应该应用SAT 1级和2级信息:阶段1应以听觉和视觉交互为主,触觉交互为辅;在阶段2和阶段3中,应以视觉交互为主,听觉、触觉交互为辅),为有条件自动驾驶接管任务中的人车交互设计提供一定的参考,也对未来更好地将透明度理论应用于车内人机交互领域有着一定的帮助。

Figure 5. Human-computer interaction model of conditional autonomous driving taking over tasks

图5. 有条件自动驾驶接管任务的人机交互模型

注释

文中所有图片均为作者自绘或者自摄。

参考文献

[1] 由芳, 张景卉, 张俊, 邓惠君, 刘雨佳. 智能汽车中基于信任的接管系统交互设计[J]. 包装工程, 2021, 42(6), 20-28.
[2] Yao, H., An, S., Zhou, H. and Itoh, M. (2020) Safety Compensation for Improving Driver Takeover Performance in Conditionally Automated Driving. Journal of Robotics and Mechatronics, 32, 530-536.
https://doi.org/10.20965/jrm.2020.p0530
[3] Lyons, J.B. (2013) Being Transparent about Transparency: A Model for Human-Robot Interaction. AAAI Spring Symposium, 48-53.
[4] Chen, J.Y.C., Procci, K., Boyce, M., et al. (2014) Situation Awareness-Based Agent Transparency. https://www.researchgate.net/publication/264963346_Situation_Awareness-Based_Agent_Transparency
[5] Bader, R., Siegmund, O. and Woerndl, W. (2011) A Study on User Acceptance of Proactive In-Vehicle Recommender Systems. Proceedings of the 3rd International Conference on Automotive User Interfaces and Interactive Vehicular Applications, Salzburg, 30 November-2 December 2011, 47-54.
https://doi.org/10.1145/2381416.2381424
[6] Endsley, M.R. (1995) Measurement of Situation Awareness in Dynamic Systems. Human Factors, 37, 65-84.
https://doi.org/10.1518/001872095779049499
[7] Selkowitz, A.R., Lakhmani, S.G. and Chen, J.Y.C. (2017) Using Agent Transparency to Support Situation Awareness of the Autonomous Squad Member. Cognitive Systems Research, 46, 13-25.
https://doi.org/10.1016/j.cogsys.2017.02.003
[8] Wang, J., Yue, T., Liu, Y., Wang, Y., Wang, C., Yan, F. and You, F. (2022) Design of Proactive Interaction for In-Vehicle Robots Based on Transparency. Sensors, 22, Article 3875.
https://doi.org/10.3390/s22103875
[9] Chen, S.I., Visser, T.A.W., Huf, S. and Loft, S. (2017) Opti-mizing the Balance Between Task Automation and Human Manual Control in Simulated Submarine Track Man-agement. Journal of Experimental Psychology: Applied, 23, 240-262.
https://doi.org/10.1037/xap0000126
[10] Hancock, P.A., Jagacinski, R.J., Parasuraman, R., Wickens, C.D. and Kaber, D.B. (2013) Human-Automation Interaction Research Past, Present, and Future. Ergonomics in Design the Quarterly of Human Factors Applications, 21, 9-14.
https://doi.org/10.1177/1064804613477099
[11] Wahl, H. and Groh, R. (2017) User Interface and Interaction Design in Future Auto-Mobility. In: Marcus, A., Eds., DUXU 2016: Design, User Experience, and Usability: Design Thinking and Methods, Springer, Cham, 161-171.
https://doi.org/10.1007/978-3-319-40409-7_17
[12] Murali, P., Kaboli, M. and Dahiya, R. (2021) Intelligent In-Vehicle Interaction Technologies. Advanced Intelligent Systems, 4, Article ID: 2100122.
https://doi.org/10.1002/aisy.202100122
[13] Chowdhury, A., Shankaran, R., Kavakli, M. and Haque, M.M. (2018) Sensor Applications and Physiological Features in Drivers’ Drowsiness Detection: A Review. IEEE Sensors Journal, 18, 3055-3067.
https://doi.org/10.1109/JSEN.2018.2807245
[14] You, F., Deng, H., Hansen, P. and Zhang, J. (2022) Research on Transparency Design Based on Shared Situation Awareness in Semi-Automatic Driving. Applied Sciences, 12, Article 7177.
https://doi.org/10.3390/app12147177
[15] Wang, X., Zheng, X., Chen, W. and Wang, F. (2021) Visual Human-Computer Interactions for Intelligent Vehicles and Intelligent Transportation Systems: The State of the Art and Future Directions. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 51, 253-265.
https://doi.org/10.1109/TSMC.2020.3040262
[16] Neubauer, C., Matthews, G. and Saxby, D. (2021) The Effects of Cell Phone Use and Automation on Driver Performance and Subjective State in Simulated Driving. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 56, 1987-1991.
https://doi.org/10.1177/1071181312561415
[17] Engineering, D., Mechanical, F.O., Engineering, M.M., Technology, D.U.O., Delft, and Netherlands, T. (2015) Auditory Interfaces in Automated Driving: An International Survey. PeerJ Computer Science, 1, 1-28.
[18] Eriksson, A., Banks, V.A. and Stanton, N.A. (2017) Transition to Manual: Comparing Simulator with on-Road Control Transitions. Accident Analysis & Prevention, 102, 227-234.
https://doi.org/10.1016/j.aap.2017.03.011
[19] Borojeni, S.S., Chuang, L., Heuten, W. and Boll, S. (2016) Assisting Drivers with Ambient Take Over Requests in Highly Automated Driving. Proceedings of the 8th Interna-tional Conference on Automotive User Interfaces and Interactive Vehicular Applications, Ann Arbor, 24-26 October 2016, 237-244.
https://doi.org/10.1145/3003715.3005409
[20] Takayama, L. and Nass, C. (2016) Driver Safety and Information from Afar: An Experimental Driving Simulator Study of Wireless vs. in-Car Information Services. International Journal of Human-Computer Studies, 66, 173-184.
https://doi.org/10.1016/j.ijhcs.2006.06.005
[21] Koo, J., Shin, D., Steinert, M. and Leifer, L. (2016) Under-standing Driver Responses to Voice Alerts of Autonomous Car Operations. International Journal of Vehicle Design, 70, 377.
[22] Forster, Y., Naujoks, F., Neukum, A. and Huestegge, L. (2017) Driver Compliance to Take-Over Requests with Different Auditory Outputs in Conditional Automation. Accident Analysis and Prevention, 109, 18-28.
https://doi.org/10.1016/j.aap.2017.09.019
[23] Bazilinskyy, P. and Winter, J. (2017) Analyzing Crowd Sourced Ratings of Speech-Based Take-Over Requests for Automated Driving. Applied Ergonomics, 64, 56-64.
https://doi.org/10.1016/j.apergo.2017.05.001
[24] Petermeijer, S.M., Abbink, D.A., Mulder, M. and De Winter, J.C.F. (2015) The Effect of Haptic Support Systems on Driver Performance: A Literature Survey. IEEE Transactions on Haptics, 8, 467-479.
https://doi.org/10.1109/TOH.2015.2437871
[25] Navarroa, J., Marsa, F., Hoca, J.M., Boisliveaua, R. and Vienneb, F. (2006) Evaluation of Human-Machine Cooperation Applied to Lateral Control in Car Driving. World Congress of the International Ergonomics Association.
[26] Mulder, M., Abbink, D.A., Van Paassen, M.M. and Mulder, M. (2010) Haptic Gas Pedal Support during Visually Distracted Car following. IFAC Proceedings Volumes, 43, 322-327.
https://doi.org/10.3182/20100831-4-FR-2021.00057
[27] Van Erp, J.B.F. and Van Veen, H.A.H.C. (2004) Vibrotactile in-Vehicle Navigation System. Transportation Research Part F: Traffic Psychology and Behaviour, 7, 247-256.
https://doi.org/10.1016/j.trf.2004.09.003
[28] Jamson, A.H., Hibberd, D.L. and Merat, N. (2013) The Design of Haptic Gas Pedal Feedback to Support Eco-Driving. Seventh International Driving Symposium on Human Factors in Driver Assessment, Training, and Vehicle Design, New York, 17-20 Jun 2013, 264-270.
[29] Morales-Alvarez, W., Certad, N., Tadjine, H.H., et al. (2022) Automated Driving Systems: Impact of Haptic Guidance on Driving Performance after a Take Over Request. 2022 IEEE Intelligent Vehicles Symposium (IV), Aachen, 4-9 June 2022, 1817-1823.
https://doi.org/10.1109/IV51971.2022.9827419
[30] Noubissie Tient-cheu, S.I., Du, S. and Djouani, K. (2022) Review on Haptic Assistive Driving Systems Based on Drivers’ Steer-ing-Wheel Operating Behaviour. Electronics, 11, Article 2102.
https://doi.org/10.3390/electronics11132102
[31] Vilimek, R. and Zimmer, A.C. (2022) Development and Evaluation of a Multimodal Touchpad for Advanced in-Vehicle Systems. In: Harris, D., Eds., EPCE 2007: Engi-neering Psychology and Cognitive Ergonomics, Springer, Berlin, 842-851.
[32] Yun, H. and Yang, J.H. (2020) Multimodal Warning Design for Take-Over Request in Conditionally Automated Driving. European Transport Research Review, 12, Article No. 34.
https://doi.org/10.1186/s12544-020-00427-5
[33] Petermeijer, S., Bazi-linskyy, P., Bengler, K. and De Winter, J. (2017) Take-over again: Investigating Multimodal and Directional TORs to Get the Driver Back into the Loop. Applied Ergonomics, 62, 204-215.
https://doi.org/10.1016/j.apergo.2017.02.023
[34] Strayer, D.L., Cooper, J.M., Goethe, R.M., Mccarty, M.M., Getty, D.J. and Biondi, F. (2019) Assessing the Visual and Cognitive Demands of in-Vehicle Information Systems. Cognitive Research: Principles and Implications, 4, Article No. 18.
https://doi.org/10.1186/s41235-019-0166-3
[35] Gold, C., Ko Rber, M., Lechner, D. and Bengler, K. (2016) Taking over Control from Highly Automated Vehicles in Complex Traffic Situations: The Role of Traffic Density. Human Factors: The Journal of the Human Factors and Ergonomics Society, 58, 642-652.
https://doi.org/10.1177/0018720816634226
[36] Wu, C., Wu, H., Lyu, N. and Zheng, M. (2019) Take-over Performance and Safety Analysis under Different Scenarios and Secondary Tasks in Conditionally Automated Driving. IEEE Access, 7, 136924-136933.
https://doi.org/10.1109/ACCESS.2019.2914864
[37] Schartmüller, C., Weigl, K., Löcken, A., Wintersberger, P., Steinhauser, M. and Riener, A. (2021) Displays for Productive Non-Driving Related Tasks: Visual Behavior and Its Impact in Conditionally Automated Driving. Multimodal Technologies and Interaction, 5, Article 21.
https://doi.org/10.3390/mti5040021
[38] Rauffet, F. (2022) The Relationship between Level of Engagement in a Non-Driving Task and Driver Response Time When Taking Control of an Automated Vehicle. Cognition, Tech-nology and Work, 22, 721-731.
https://doi.org/10.1007/s10111-019-00611-1
[39] Bueno, M., Dogan, E., Selem, F.H., Monacelli, E., Boverie, S. and Guillaume, A. (2016) How Different Mental Workload Levels Affect the Take-over Control after Automated Driving. 2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC), Rio de Janeiro, 1-4 November 2016, 2040-2045.
https://doi.org/10.1109/ITSC.2016.7795886
[40] Bazilinskyy, P., Petermeijer, S.M., Petrovych, V., Dodou, D. and De Winter, J.C.F. (2018) Take-over Requests in Highly Automated Driving: A Crowd Sourcing Multimedia Survey on Auditory, Vibrotactile, and Visual Displays. Transportation Research Part F Traffic Psychology and Behaviour, 56, 82-98.
https://doi.org/10.1016/j.trf.2018.04.001
[41] Clark, H., McLaughlin, A.C., et al. (2022) Performance in Takeover and Characteristics of Non-Driving Related Tasks during Highly Automated Driving in Younger and Older Drivers. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 61, 37-41.
[42] Wright, T.J., Samuel, S., Borowsky, A., Zilberstein, S. and Fisher, D.L. (2016) Are Experienced Drivers Quicker to Regain Full Situation Awareness in Scenarios Involving Transfer of Control from the Automation to the Driver? Proceedings from the 17th International Conference Road Safety on Five Continents (RS5C), Rio de Janeiro, 17-19 May 2016, 3.
[43] Li, S., Blythe, P., Zhang, Y., et al. (2023) Analysing the Effect of Gender on the Human-Machine Interaction in Level 3 Automated Vehicles. Scientific Reports, 12, Article No. 11645.
https://doi.org/10.1038/s41598-022-16045-1
[44] Kraus, J., Scholz, D., Stiegemeier, D. and Baumann, M. (2020) The More You Know: Trust Dynamics and Calibration in Highly Automated Driving and the Effects of Take-Overs, System Malfunction, and System Transparency. Human Factors: The Journal of Human Factors and Ergonomics Society, 62, 718-736.
https://doi.org/10.1177/0018720819853686
[45] Odachowska, E., Ucińska, M., Kruszewski, M. and Gąsiorek, K. (2021) Psychological Factors of the Transfer of Control in an Auto-Mated Vehicle. Open Engineering, 11, 419-424.
https://doi.org/10.1515/eng-2021-0046
[46] Chanmas, G., Taveekitworachai, P., Paliyawan, P., et al. (2023) Driving Scenarios and Environmental Settings in Simulator-Based Driving Assessment Systems for Stroke: A Systematic Review. Topics in Stroke Rehabilitation, 30, 872-880.
https://doi.org/10.1080/10749357.2023.2165273
[47] Wynne, R.A., Beanland, V. and Salmon, P.M. (2019) Systematic Review of Driving Simulator Validation Studies. Safety Science, 117, 138-151.
https://doi.org/10.1016/j.ssci.2019.04.004
[48] Agrawal, S. and Peeta, S. (2021) Evaluating the Impacts of Driver’s Pre-Warning Cognitive State on Takeover Performance under Conditional Automation. Transportation Research Part F: Traffic Psychology and Behaviour, 83, 80-98.
https://doi.org/10.1016/j.trf.2021.10.004