分级警报在不同情况下对自动驾驶接管的影响
The Impact of Graded Alerts on Self-Driving Takeovers in Different Scenarios
摘要: 3级自动驾驶通过减少驾驶员参与驾驶活动,有效地降低了事故发生的数量。当自动驾驶系统超出其限定的范围时,系统会发出接管请求(TOR)来提醒驾驶员及时接管车辆。现有的关于接管请求的研究侧重于视觉、听觉、触觉或多模态接管请求方式等角度,对于具体的接管请求内容的研究较少。作为补充,本研究旨在研究基于声音的分级警报在不同的驾驶环境、TOR提前期的情况下对接管性能和驾驶员生理、心理负荷的影响。总计招募了40名受试者,他们每个人都在模拟驾驶器中经历了18次接管事件。结果表明,分级警报显著影响驾驶员的生理、心理负荷,警报级别越高,生理和心理负荷越大;TORlt显著影响接管时间,TORlt越长,接管时间越短,接管性能越好;驾驶环境显著影响接管时间,驾驶环境越复杂,接管时间越长,但驾驶员的驾驶表现更差。在5 s TORlt下,警报级别越高,驾驶员的接管时间越短;在7 s TORlt下,警报级别越低,驾驶员的接管时间越短。这表明,在一定范围内,不同的警报级别适用于不同的TORlt,即在特定的TORlt下,相应的警报有助于帮助驾驶员快速接管车辆。这些发现可能有助于自动驾驶安全设计和未来驾驶研究的参考。
Abstract: Level 3 autonomous driving effectively reduces the number of accidents by reducing driver involvement in driving activities. When the automated driving system exceeds its limited range, the system sends a takeover request (TOR) to remind the driver to take over the vehicle in time. Existing research on takeover requests focuses on perspectives such as visual, auditory, haptic, or multimodal takeover request modalities, with less research on specific takeover request contents. As a complementary approach, this study aimed to investigate the effects of audible-based hierarchical alerts on takeover performance and drivers’ raw and psychological loads under different driving environments and TOR lead times. A total of 40 subjects were recruited, each of whom experienced 18 takeover events in a driving simulator. The results showed that graded alerts significantly affected drivers’ physiological and psychological loads, with higher alert levels resulting in higher physiological and psychological loads; TORlt significantly affected takeover time, with longer TORlt resulting in shorter takeover time and better takeover performance; and the driving environment significantly affected takeover time, with the more complex driving environment resulting in longer takeover time, but poorer drivers’ driving performance. Under 5 s TORlt, the higher the alert level, the shorter the driver’s takeover time; under 7 s TORlt, the lower the alert level, the shorter the driver’s takeover time. This suggests that, within a certain range, different alert levels are applicable to different TORlt, i.e., under a specific TORlt, the corresponding alert helps the driver to take over the vehicle quickly. These findings may help to inform autonomous driving safety design and future driving research.
文章引用:黄润峰. 分级警报在不同情况下对自动驾驶接管的影响[J]. 运筹与模糊学, 2025, 15(1): 534-551. https://doi.org/10.12677/orf.2025.151049

1. 引言

根据世界卫生组织[1]的报告,“每年约有130万人死于道路交通事故”,“另有2000万至5000万人遭受非致命伤害,其中许多人因此而残疾”。道路交通事故有很多原因导致,大部分关键原因(关键预碰撞事件的直接原因)被发现与驾驶员有关[2],驾驶员注意力不集中、超速、疲劳等诸多原因都会导致事故发生[3]。自动驾驶汽车的应用可以使驾驶员脱离驾驶环境,有可能减少我们道路上的大量碰撞和碰撞引起的相关伤亡[4] [5]。与此同时,英国、美国、日本等国家制定了全自动驾驶汽车的发展计划,明确显示了其在减少道路交通事故方面的关键作用[6]。随着技术水平的进步与发展,驾驶员的角色已从主要操作者转变为简单的监控者。未来的自动驾驶辅助系统(SAE 4至5级)将不需要人工干预即可安全通勤,但对于目前可实现的3级自动驾驶而言,驾驶员仍需保持警惕,并随时准备在必要时夺回控制权。

当车辆处于3级自动驾驶中,由于驾驶员不再实时监管车辆,因此安全问题大多源自于人机交互阶段,当驾驶员听从指令接管车辆时,难以安全地快速接管车辆[7]-[9]。因此,驾驶员必须在驾驶过程中保持警觉和注意力,以便于快速安全的接管车辆。然而,在自动驾驶状态下,驾驶员不需要主动参与驾驶任务,因此更倾向于参与非驾驶相关任务(NDRT) [10],这是由于驾驶员在自动驾驶过程中,无法长时间保持警觉且易产生疲劳现象[11] [12]。当驾驶员从事非驾驶相关任务时会导致注意力分散,分散注意力和降低态势感知会对接管绩效产生负面影响[3] [13]。因此,了解在自动驾驶过程中如何向此类驾驶员发出接管请求并帮助驾驶员快速稳定地控制车辆至关重要[14] [15]

1.1. 影响自动驾驶接管的因素

在3级自动驾驶中,驾驶员接管车辆受多种因素影响,包括NDRT类型(如NDRT引起的认知负荷和情绪状态)、车辆配置(如TOR提前时间、TOR模式)和驾驶环境(如交通密度,车辆速度) [16]-[18]。在3级自动驾驶过程中,驾驶员的工作负荷主要表现在两个方面:负荷不足和负荷过大[19]。3级自动驾驶过程中驾驶员不需要实时监管车辆,精神和认知负荷水平较低;驾驶员长时间处于低认知负荷状态,很容易出现疲劳或注意力分散,不利于行车安全[20]。接管请求发生时,不管驾驶员处于何种情况下,他们都没有为驾驶做好充分的准备,其心理和认知工作量的需求急剧增加,负荷较大。

Naujoks等人[21]强调,接管请求(TOR)是自动驾驶系统中人机界面(HMI)的关键要素,应优先吸引驾驶员的注意力,而不会造成不良影响。TOR 模式主要有三种:视觉、听觉和触觉[22]。单一的视觉TOR效果较差,因为驾驶员需要相当长的时间才能注意到请求并采取行动[23]。Petermeijer等人[24]发现,与单模态警告相比,双模态警告(听觉 + 触觉)能让驾驶员更快地做出反应。同样,Salminen等人[25]报告说,多模态警告比单模态警告引起的反应更快,这与[26]等人的研究结果一致。Hong and Yang [27]观察到,涉及视觉、听觉和触觉模式的TOR组合会导致更快的反应,这证实了Yun and Yang [23]的研究结果。值得注意的是,听觉警报一直是表现最好的组合。Cohen-Lazry [28]发现,持续的听觉警报可以鼓励驾驶员更频繁地扫描驾驶环境,从而帮助他们保持警觉。Yang [29]发现,声音对驾驶员的精神警觉性和压力水平有显著影响。不过,Di Stasi [30]等人发现,应避免使用情绪化的警告声音,因为它们可能会降低驾驶警觉性。研究表明,在自动驾驶系统中,多模态接管请求(TOR)比单模态接管请求更能有效提高驾驶员的反应能力和警觉性,尤其是在结合视觉、听觉和触觉模态的情况下。听觉警报尤其能鼓励驾驶员更频繁地监控周围环境,但应避免情绪化的声音,以保持警觉性。

Forster等人[31]发现,“通用 + 语音”警报的组合使驾驶员的反应时间最快。然而,Hong and Yang [27]报告称,语音警报和普通警报在反应时间上没有显著差异,语音警报造成的心理负担更大。同样,Chang等人[32]的研究表明,驾驶员对蜂鸣声的反应快于语音信息。鉴于这些发现,通用蜂鸣警报似乎比语音警报更适合自动驾驶接管请求。Suzuki and Jansson [33]对车道偏离系统的听觉和触觉警告进行了评估,发现蜂鸣声减少了转向反应时间。Di Stasi [30]得出结论,蜂鸣器能提高驾驶员的警觉性,降低事故风险。Shiro等人[34]探讨了蜂鸣器声压对警觉性的影响,发现80分贝(A)的蜂鸣器比70分贝(A)和90分贝(A)的蜂鸣器能产生更好的效果,后者会导致事件发生后警觉性下降。McDougall等人[35]发现,声音不同的报警信号比声音相似的报警信号识别更准确。Dresp-Langley and Monfouga [36]的研究表明,较强的视觉对比与较高的声音频率配对能改善反应时间。Rossi等人[37]还指出,不同的声音频率和节拍会影响心率,从而影响驾驶员的生理负荷。研究表明,通用蜂鸣警报更适合自动驾驶接管请求,因为它们能促使驾驶员做出更快的反应,降低事故风险。虽然语音警报和蜂鸣警报的反应时间没有明显差异,但语音警报会增加心理压力。此外,不同的声音频率、节拍和声压(80分贝(A)为最佳)会影响驾驶员的警觉性和生理负荷。声音对比度较高的警报可提高识别准确性和响应时间。

接管请求提前时间(TORlt)被认为是接管请求发出的时间到车辆碰撞发生的时间。作为衡量接管时间的起点,接管请求的时机是决定控制权能安全平稳交接的重要因素[38]。现有的研究表明,接管时间主要取决于TORlt的长度,较长的TORlt拥有较长的接管时间,其接管质量较好[38]。Pei et al. (2014)研究认为不同风格的驾驶员对警报发起的时间喜好并不相同,这意味着,不同的TORlt会对驾驶员产生不同的影响。Samuel [39]进行了一项模拟实验,比较了4 s、6 s、8 s和12 s的TORlt,发现参与者至少需要提前8 s才能察觉到潜在的危险。Gold等人[16]比较了5秒和7秒的TORlt,发现驾驶员在5秒TORlt时的干预时间(平均2.1秒)比在7秒TORlt时的干预时间(平均2.89秒)快。Zeeb等人[40]发现当TORlt较长时(6.6 s vs.4.9 s),与前车碰撞的可能性较低。Li等人[41]的研究表明,基于时间的分级警告有助于减少手动驾驶时发生追尾碰撞的风险,从而提高驾驶员的反应时间并减少接管时间。研究表明,接管请求前置时间(TORlt)对自动驾驶的接管反应时间和安全性至关重要。虽然较长的TORlt通常会提高接管质量,但也会延长反应时间。驾驶员的偏好各不相同,但较长的TORlt (如6.6秒)可降低碰撞风险,基于时间的分级警告可改善反应时间并减少追尾事故。

除了NDRT与车辆配置之外,驾驶环境(如交通密度、交通流密度、交通流密度、交通流密度等)对驾驶员接管车辆也存在一定的影响[16]。Gold等人[16]研究了交通密度对接管时间的影响,在接管情况下,交通流量的存在导致了更长的接管时间和更差的接管质量,表现为更短的碰撞时间和更多的碰撞。[42]研究了道路交通条件对接管时间和质量的影响,该研究发现不同的道路情况对接管时间无明显影响,但对接管质量有着明显影响。此外,Li等人[17]表明,与城市道路相比,在恶劣天气条件下,驾驶员对关键事件的接管反应时间在高速公路上更长。Li等人[18]研究发现更高的车速会导致更差的接管绩效,驾驶员接管的稳定性更低。研究表明,交通密度越高,接管时间越长,质量越低。虽然道路条件可能不会对接管时间产生重大影响,但却会影响接管质量。高速公路的接管性能比城市道路差,控制稳定性也较低。

1.2. 接管绩效评价指标

接管时间是一种广泛使用的评估驾驶员接管性能的指标[43],可在一定程度上反映驾驶员的性能。接管时间通常被定义为系统发出接管请求与驾驶员首次有效操作之间的时间间隔[44],其中包括转动方向盘超过2度或踩下刹车超过总行程的10% [43] [45] [46]。这种有效的操作表明完成了态势感知恢复和决策。本研究使用量化驾驶员在接管过程中行为的各种指标来评估驾驶员接管性能[16]。因此,本研究预计使用接管时间作为驾驶员在接管过程中的表现指标来评估驾驶员的接管表现。

目前的研究将接管速度和质量结合起来,作为整体性能的衡量标准[45]。然而,虽然这些指标量化了接管请求后的行为,但它们忽略了认知和生理负荷,这些负荷可能不会立即影响性能,但随着时间的推移,会损害判断和解决问题等认知功能,从而危及驾驶安全[46]。心理和生理测量,包括心率、瞳孔直径和面部表情,已显示出对认知工作量和注意力等驾驶员状态的敏感性[45]。随着低成本、非侵入式可穿戴传感器的发展,现在有可能收集心理生理数据,以评估驾驶员在不同条件下的状态,如非驾驶相关任务、车辆配置和驾驶环境。Saxby等人[47]发现,自动驾驶过程中与驾驶相关的任务会增加心理负担,导致疲劳、警觉性降低以及对接管请求的反应时间变慢,这与Chen等人[48]和Fountas等人[49]的研究结果一致。Heikoop等人[50]证明,心率和瞳孔大小是接管期间认知工作量的有效指标。Kerautret等人[51]观察到接管期间心率短暂下降、瞳孔放大和生理压力增加。研究证实,驾驶员在重新获得控制权时工作量会增加,心率可有效反映接管过程中的认知负荷。

1.3. 研究目的

以往关于驾驶员对接管请求方式的感知的研究主要集中在接管过程中驾驶员的表现上。然而,人们对不同接管请求模式如何影响驾驶员的认知、生理和心理负荷知之甚少,而这些负荷可以通过心理生理指标来测量。大多数研究考察了与驾驶无关的任务和驾驶环境对接管的影响[18],但很少有研究系统地探讨请求模式对认知和生理负荷的影响。同样,Wu等人[52]研究了不同脉冲频率的声音对碰撞发生时避让行为的影响,并将警报分为高、中、低三个等级。Shankar等人[53]提出了一种利用深度学习进行车道检测和交通标志检测的智能驾驶辅助系统,并引入了分级警报的概念,即每个警报对应于特定的驾驶情况,但每个等级的警报对驾驶员的生理情况的影响是未知的。

本研究调查了分级警报、驾驶环境和接管请求前置时间下驾驶员的生理反应和接管性能。为了全面评估这些因素对接管时间、认知负荷以及生状态的影响,我们使用非侵入式传感器收集了心率(HR)数据。这些测量结果反映了分级警报、请求准备时间和驾驶环境对驾驶员在接管过程中生理负荷的影响。本研究有两个主要目标:(1) 研究分级警报在不同的接管请求准备期和不同的驾驶环境中对接管时间、生理负荷的影响情况;(2) 研究接管时间与生理之间的影响情况。

2. 使用须知

2.1. 受试者选择

本研究共计招募了4组受试者,每组10人,男女比例各占一半。第一组受试者年龄在21至30岁之间,拥有2~5年的驾驶经验;第二组受试者年龄在31~40岁之间,拥有5~10年的驾驶经验;第三组受试者年龄在41~50岁之间,拥有10~20年的驾驶经验;第四组受试者年龄在51~60岁之间,拥有20年以上的驾驶经验。所有受试者均为上海理工大学在校学生与老师。本实验受试者的纳入标准为:(1) 有效的中国C1或C2驾驶执照,(2) 视力正常或矫正至正常,(3) 无异常色觉,(4) 无精神和睡眠障碍,(5) 无3D诱发的视觉晕动病。该研究获得了上海理工大学伦理审查委员会的批准。

2.2. 实验仪器

在现实驾驶环境中,很难安全有效的收集车速、制动踏板、方向盘、车道偏移量等数据[54] [55]。因此,为了实现本研究的目标,本研究使用了已经广泛使用于驾驶模拟相关研究的驾驶模拟器[56]-[58]。该研究是在具有6自由度运动平台的SILAB驾驶模拟器(WIVW GmbH, Veitshöchheim, Germany)中进行的,该驾驶模拟器由赢富仪器科技(上海)有限公司提供。该驾驶模拟器可以模拟车辆加速、减速、和转弯引起的俯仰和侧倾,以及道路起伏引起的颠簸和摇摆。该车被一个280度的视野屏幕所包围,该屏幕使用3个投影仪将视频投影融合在仪器,以创建一个无缝的模拟驾驶环境。该驾驶器可以模拟发动机噪声、驾驶环境噪声以及接管请求警报声。此外,三个液晶显示屏提供了后视镜后两个侧镜的视图。驾驶模拟器及驾驶场景见图1。模拟驾驶器将以60 Hz记录驾驶员的操作,车辆驾驶状态和道路环境数据。为了综合评价受试在自动驾驶接管过程中的生理负荷,本研究决定使用Physio LAB收集ECG信号[51] [58]-[60],以此研究驾驶员的生理负荷。最后,利用多模态人机交互平台对来自不同传感器的数据进行时间戳标记、数据记录和数据同步。

Figure 1. Driving simulators and driving scenarios

1. 驾驶模拟器及驾驶场景

2.3. 驾驶场景

本文构建了一条20公里长的普通道路和一条50公里长的高速道路。自动驾驶车辆在普通道路上以约50 km/h的速度行驶(高速道路上为80 km/h)在中间车道行驶。高速道路是一条没有交叉口的双向六车道道路,每条车道宽为3.5米,道路模拟了高速道路的布局,全路段限速80 km/h。该道路两侧无建筑物与行人干扰,驾驶视野相对广阔,道路中车流量随机分布,前后车距相对较长。普通道路上的车道宽度为3.25米,同样为一条没有交叉路口的双向六车道道路,模拟了城市主干道布局。该道路两侧有较多的建筑物与行人干扰,驾驶员视线相对较窄,道路中车流量随机分布,前后车距较短。在水平和直道上,消除了水平弯道和纵向斜坡对驾驶员制动和转向的任何影响[61]。在实验驾驶过程中,每个受试者在自动驾驶过程中都遇到了近碰撞事件,通过调整近碰撞距离调节接管请求前置时间。不同的条件是随机呈现的,因此受试者无法预测接管请求的提前时间和警报的等级。

在所有的接管实验中,受试者可以自由选择参加非驾驶相关任务或观察道,以模拟真实的驾驶情况。在紧急情况下,准备恢复控制的时间有限,这意味着几乎没有时间来处理信息和正确处理车辆轨迹[62]。因此,紧急状态的区分可被定义为不同的TORlt,较短的TORlt拥有更小的TTC,驾驶员拥有较少的时间处理车辆,驾驶状态为紧急状态;较长的TORlt拥有更长的TTC,驾驶员拥有较长的时间处理车辆,驾驶状态为非紧急状态。5 s、6 s和7 s TORlt被用作实验变量[16] [39] [40],以确定在最常见的5~7 s TORlt的范围内,较长的TORlt是否拥有更好的接管绩效及更低的生心理负荷。请注意,这并不意味着在所有可能的TORlt中,本研究中选择的范围是最安全的。

在本研究中,选择了一个普通蜂鸣器警报作为自动驾驶仪接管警报,对其相位进行拉伸和压缩以改变其可听节拍,并将其可听频率调整为对应于160 BPM、165 BPM和155 BPM,这三个警报的声压级相同,均为80 dB(A),但从听觉上可以明显区分这三个警报。研究人员对蜂鸣声刺激的声压级提高警觉水平的能力进行了调查,结果发现,90 dB(A)的蜂鸣声引起的警觉指数上升率明显高于70 dB(A)的刺激,其中90 dB(A)的刺激虽然唤醒效应持续时间最长,但并不比80 dB(A)的刺激长,而且90 dB(A)的蜂鸣声导致事后警觉指数明显下降。结果表明,在70 dB(A)、80 dB(A)和90 dB(A)的范围内,驾驶员在80 dB(A)的蜂鸣声中表现更好。McDougall等人[35]发现,如果组内的报警信号在声学上很容易区分,那么与声学上比较相似的报警信号相比,它们会被更准确地识别出来。为了证明这三种警报具有声学意义上的可区分性,在实验前我们邀请了所有受试者进行了听觉验证,所有受试者都被安排在一个安静的房间内,进行警报声音辨认。房间内会无序的播放三种警报声音,受试者需要在听到声音后写下其对应的编号。实验结束后统计所有受试者的辨认正确率,发现在前三组受试者中,辨认准确率达到93%,第四组的辨认准确率达到60%,综合准确率达到80%,可以认为这三种警报声具有声学意义上的可区分性。在实验结束后我们向所有受试者进行了采访,经过采访确认所有受试者均可接受不同等级的警报声,其烦扰程度均在受试者承受范围之内。此外,我们还发现了警报声在受试者中的学习效应,在重复播放警报声音后,受试者的辨认准确性呈上升趋势,因此这三种警报声可以用于自动驾驶的接管实验。

在实验中,我们计算了不同等级警报在不同TORlt的情况下驾驶员接管车辆的时间,定义为车辆发出接管警报后到驾驶员转动方向盘超过2度所需要的时间或踩下制动踏板超过总行程的10%所需要的时间的较小值。通过对接管时间的分析,我们确定了分级警报在不同的驾驶环境和接管请求提前期的情况下对接管表现的影响。

2.4. 生理信号

生理负荷的定义是接管过程中的心率变异性[63]。认知负荷可通过驾驶过程中的脑电信号反应来测量。Physio LAB用于捕捉驾驶员的心率。为了减少信号干扰,我们在佩戴设备前用酒精擦拭皮肤,在胸部两侧锁骨–乳头连线的中点和左肋下边缘分别贴上正极贴片、负极贴片和接地贴片,并用生理带固定传感器导线,以防止导线晃动造成信号干扰。对于心电信号的分析和处理,本研究使用Physio LAB软件中包含的分析系统对心电图数字信号进行转换,去除伪差,计算接管前后10 s的SDNN (NN间隔标准偏差),然后与基线情况下的SDNN进行比较分析,再计算SDNN的变化率,以反映信号的变化。

Liang等人[64]研究了不同认知负荷水平对脑电信号的影响,发现不同认知负荷水平下脑电活动存在显著差异,且θ波和α波对认知负荷变化更为敏感;Kyo和Lim [65] [66]研究了时间紧迫性对大脑活动的影响,发现α波和β波的相对波段功率比以及αβθ功率之和可以评价时间紧迫性对大脑活动变化的影响;额叶是大脑的功能区之一,就人的注意焦点而言,额叶与复杂的认知功能有关。Lee和Srinivasan [67] [68]的研究都发现,当人进入专注状态时,额叶皮层会被激活。此外,之前的研究还进一步观察到,当刺激发生时,大脑额叶中的β波会显著增加[65] [69]。然而,脑电波的产生并不局限于特定的脑区,只有在某些脑区才会更加活跃,因此,在本研究中,我们决定使用Enobio 8来捕捉驾驶员的脑电信号。在本研究中,我们参考Lim等人[65]研究αβθ波时所选取的点位,决定使用Fp1、Fp2、F3、F4、C3、C4、T3、T4八个点位采集参与者的脑电信号,通过研究αβθ波的变化来研究参与者在自动驾驶接管活动前后认知负荷的变化。在对脑电信号进行预处理和数据分析时,本研究使用了MATLAB® 2023b软件中的EEG Lab 14.1.2工具箱,在记录实验中的脑电信号后,使用50 Hz陷波滤波器、0.1~50 Hz带通滤波器和独立成分分析法(ICA)来过滤和校正线路噪声、直流偏移和眼球闪烁或运动噪声[70]。该研究从整个脑区提取了α波、β波和θ波,并通过计算θα节律波与β节律波之和的能量比,将预处理后的脑电图数据归类为认知负荷评估特征[71]

2.5. 实验设计

本实验为组内实验,所有受试者在同一道路上都经历了三组实验,分别对应于三种不同等级的警报。在每一组实验中,受试者需要经历三种不同的接管情况,分别对应于三种类型的TORlt (5 s、6 s和7 s)。在所有道路场景中,受试者都在正常交通条件下行驶在三车道道路上。对于高速道路场景,受试者以80 km/h的速度行驶,并保持在中间车道上。对于普通道路场景,受试者以50 km/h的速度行驶,并保持在中间车道上。在每个场景中,系统会发出特定信号,提示受试者打开自动驾驶,让车辆与前车保持跟随状态。在自动驾驶过程中,受试者可以自由选择观察道路情况或观看视频。车辆进入实验段后,前车车辆出现故障紧急停车,系统会发出TOR警报,提醒受试者对车辆进行接管,受试者需要在收到警报信号后接管车辆,操作车辆对前方车辆进行避让。避让结束后受试者继续驾驶车辆前行,重复上述实验过程。每个接管过程中,TORlt与分级警报的组合均不相同。当车辆行驶至制动段,车辆会发出停车信号,受试者接收到信号后减速停车。具体接管流程见图2

Figure 2. Takeover process

2. 接管流程

2.6. 实验程序

首先,在正式实验开始之前,向受试者解释实验的细节,并要求受试者签署知情同意书。接下来,每个受试者都被展示了如何使用驾驶模拟器,并允许至少十分钟熟悉模拟系统的特性[72],如加速踏板,制动踏板,方向盘,驾驶员座椅和两种驾驶环境,以尽量减少外部因素对实验结果的影响。如果在实验期间发生头晕,则受试者退出研究。在受试者熟悉模拟驾驶器后,为受试者配备生理信号采集装置,以获取ECG、EEG数据,并对仪器进行校准。在对设备设置进行充分校准后,受试者被要求进行一次试驾,以熟悉整个接管流程和分级警报。我们会提前告诉受试者,低级警报代表着非紧急情况,中级警报代表着半紧急情况,高级警报代表着紧急情况,受试者需要充分熟悉每个等级的警报所蕴含的意义,并根据相应的警报以及具体驾驶情况做出相应的避让反应。试驾结束之后,开始正式实验。实验按照警报等级分为3组,每组实验中包含了普通道路和高速道路,每种道路上随机分布3个不同的TORlt的接管场景。实验中每个场景出现的顺序都是随机的,受试者无法对即将出现的情况进行预测。在每组实验后,受试者被要求填写NASA-TLX问卷[73],然后进行休息,休息的时间长短取决于受试者的身体状况。实验结束后,实验主持人检查数据是否已经获取和保存,并正式结束实验。实验时长约为每人两小时。

2.7. 数据统计与分析

本文使用Kolmogorov-Smirnov检验来评估数据的正态性,使用Levene检验来检验方差的同质性,并使用方差分析(ANOVA)和事后分析来验证分级警报在不同的驾驶环境和接管请求提前期的情况下对自动驾驶接管的影响差异。应用p值评价各统计检验的显著性(p < 0.05)。IBM SPSS Statistics 26用于执行本研究中的所有统计分析。

本研究采用多元线性回归模型预测接管时间,并将接管请求准备时间、驾驶环境和分级警报作为自变量。接管时间被定义为驾驶员转动方向盘超过2度所需的时间或踩下制动踏板超过总行程10%所需的时间中较短的时间。本研究假设接管时间为ω,转动方向盘所需时间为t1,踩下制动踏板所需时间为t2,因此接管时间为:

ω=min( t 1 , t 2 ) ;

因此,线性回归方程可设为:

ω( x )= β 0 + β 1 x 1 + β 2 x 2 + β 3 x 3 +ε ;

其中,为β本研究中的预测因子,ε为随机误差项。通过线性回归分析,建立了接管时间预测方程,可用于预测不同情况下的接管时间,全面了解不同驾驶环境下分级警报的接管情况和接管请求准备时间。通过对该方程的研究,可以清楚地看出各变量对接管时间的影响。

3. 结果

本研究分析了在自动驾驶接管过程中,不同TORlt下不同级别的警报对接管性能和驾驶员生理负荷的影响。本研究利用驾驶相关数据评估驾驶员在接管过程中的接管性能,并利用各种生理信号评估驾驶员在接管过程中的生理负荷和疲劳程度,包括心率变异性和脑电图信号的变化。

3.1. NASA-TLX结果

为了评估不同警报等级在不同情况下受试者的感知工作量是否不同,NASA-TLX被用于评估每个警报等级接管期间受试者的感知工作量[73]。我们采用了多因素方差分析来验证多组条件之间的效果差异。总体而言,显著性水平(p值)和效应大小(η2)的方差分析结果表明,接管请求提前期(F = 4.888, p = 0.008, η2 = 0.019)和驾驶环境(F = 97.319, p < 0.001, η2 = 0.162)显著影响受试者的主观工作负荷评分。分级警报对主观工作负荷评分无统计学显著影响,但分级警报与接管请求提前期之间存在交互作用。此外,我们将主观工作负荷评分的主效应分析分为两种驾驶环境,并从显著性水平(p值)和效应大小(η2)两个方面进行了分析。结果显示,在80 km/h的驾驶环境中,虽然分级警报对主观工作负荷评分没有显著影响(p = 0.283),但接管请求提前期和分级警报与接管请求提前期之间的交互作用(p = 0.035)对主观工作负荷评分有显著影响(见表1)。

Table 1. Subjective workload analysis

1. 主观工作负荷分析

Subjective load

Source

50 km/h

80 km/h

F

η2

p-Value

F

η2

p-Value

Level

1.078

0.013

0.359

1.276

0.015

0.283

TORlt

5.388

0.041

0.005*

4.229

0.032

0.016*

L × T

0.831

0.019

0.547

3.452

0.025

0.035*

*p < 0.05, **p < 0.01.

事后分析结果显示,5 s TORl和6 s TORlt与6 s TORlt和7 s TORlt及5 s和7 s TORlt之间的差异均具有统计学意义(p = 0.0281、0.0306和0.0022)。在描述性水平上,根据驾驶环境的不同,城市道路中的主观负荷大于高度道路中的主观负荷。驾驶员在5 s TORlt时的主观负荷高于6 s TORlt和7 s TORlt时的主观工作负荷评分(见图3)。

Figure 3. Subjective workload (bars indicate mean and SD)

3. 主观工作负荷(条形图表示平均值和SD)

3.2. 接管时间

方差分析结果可以看出,分级警报(F = 4.812, η2 = 0.019, p = 0.009),驾驶环境(F = 45.197, η2 = 0.082, p < 0.001)和接管请求提前期(F = 48.432, η2 = 0.157, p = 0.0027)对接管时间影响显著。分级警报和接管请求提前期之间(F = 52.130, η2 = 0.157, p < 0.001)存在交互作用,但驾驶环境与分级警报和接管请求提前期之间没有呈现出显著性(见表2)。

Table 2. Analysis of variance for time to take over

2. 接管时间方差分析

Takeover Time

Source

Driving Conditions

Level

TORlt

L × T

F

45.197

4.812

48.432

52.130

η2

0.180

0.019

0.157

0.157

p-Value

<0.001***

0.009**

0.0027*

<0.001***

*p < 0.05, **p < 0.01, ***p < 0.001.

根据不同驾驶场景,驾驶员接管速度在80 km/h (M = 1.610 s, SD = 0.194)时快于50 km/h (M = 2.382 s, SD = 0.273)。高级警报在5 s TORlt的情况下接管时间最短(M = 1.783 s, SD = 0.446),低级警报在7 s TORlt的情况下接管时间最短(M = 2.174 s, SD = 0.430) (见图4)。值得注意的是,随着接管请求提前期的降低,接管时间的标准差也在降低,各驾驶员的接管反应趋于一致。

Figure 4. Takeover times in different driving environments (bars indicate mean and SD)

4. 不同驾驶环境下接管时间(条形图表示平均值和SD)

3.3. 生理负荷

本研究选择心跳间期标准差(Standard Deviation of NN interval, SDNN)作为心率变化的分析指标。方差分析结果显示,分级警报对 SDNN 表现出显著差异(F = 3.637, p = 0.003, η2 = 0.4463),接管请求准备时间对SDNN有显著影响(F = 7.321, p = 0.013, η2 = 0.417),驾驶环境对SDNN也有显著影响(F = 5.171, p = 0.0014, η2 = 0.4906),但是,分级警报与接管请求准备时间和驾驶环境之间没有交互作用(p = 0.361, 0.479, 0.148)。我们将SDNN的主效应分析分为两种驾驶环境,结果表明,在80 km/h的驾驶环境中,虽然分级警报对SDNN的影响不显著(p = 0.283),但接管请求提前期的影响显著(p = 0.016),且分级警报与接管请求提前期之间存在交互作用(p = 0.035) (见表3)。

在描述水平上,驾驶员80 km/h情况下的SDNN (M = 174.670 ms, SD = 18.689)高于50 km/h情况下的SDNN (M = 199.908 ms, SD = 31.954) (见图5)。在50 km/h的驾驶环境下,5秒TORlt中,高级警报下的SDNN (M = 255.975 ms, SD = 0.205) 大于中级警报(M = 207.937 ms, SD = 0.217)和低级警报(M = 165.037 ms, SD = 0.201);在6秒TORlt中,高级警报下的SDNN (M = 221.063 ms, SD = 0.198)大于中级警报(M = 207.937 ms, SD = 0.217) 和低级警报(M = 165.037 ms, SD = 0.201);7 s TORlt 中,低级警报(M = 202.044 ms, SD = 0.273)大于原始警报下的SDNN (M = 176.006 ms, SD = 0.176),小于高级警报(M = 230.056 ms, SD = 0.231) (见图5)。

Table 3. ANOVA of SDNN in different driving environments

3. 不同驾驶环境下SDNN的方差分析

Standard Deviation of NN interval

Source

50 km/h

80 km/h

F

η2

p-Value

F

η2

p-Value

Level

1.078

0.013

0.359

1.276

0.015

0.283

TORlt

5.388

0.041

0.005*

4.229

0.032

0.016*

L × T

0.831

0.019

0.547

3.452

0.025

0.035*

*p < 0.05; **p < 0.01.

Figure 5. SDNN in different driving environments (bars show Mean and SD)

5. 不同驾驶环境下的SDNN (条形图显示Mean和SD)

3.4. 心理负荷

脑电具有评估驾驶员疲劳的特性,驾驶员在长时间的自动驾驶过程中易产生疲劳,接管是否会加剧驾驶员的疲劳情况目前仍未有明确结果。本研究利用脑电数据分析比较了分级警报和驾驶环境对驾驶疲劳的影响,方差分析结果显示,分级警报(F = 16.387, p = 0.003, η2 = 0.021)、接管请求准备时间(F = 12.766, p = 0.005, η2 = 0.017)和驾驶环境(F = 45.71, p < 0.001, η2 = 0.058)对驾驶疲劳有显著影响。分级警报与接管请求准备时间之间的交互作用对驾驶疲劳有明显影响(F = 5.57, p = 0.0031, η2 = 0.387)。但是,驾驶环境与分级警报和接管请求准备时间之间没有交互作用(p = 0.07)。当本研究将分级警报和接管请求准备时间分为两种驾驶环境时,发现分级警报(F = 8.224, p = 0.007, η2 = 0.442)和接管请求准备时间(F = 18.056, p < 0.001, η2 = 0.388)显著影响了50 km/h驾驶环境下的驾驶疲劳,并且分级警报和接管请求准备时间之间存在交互作用。不同驾驶环境下的疲劳分析见表4

事后分析表明,低度警报和原始警报与高度警报和原始警报之间的驾驶疲劳度存在显著差异(p = 0.03, 0.012)。这证实驾驶员对原始警报有更好的适应性。在80 km/h时,分级警报与接管请求准备时间之间的交互作用不显著(p = 0.809, 0.290, 0.635)。

Table 4. ANOVA for fatigue in different driving environments

4. 不同驾驶环境下的疲劳方差分析

(α + θ)/β

Source

50 km/h

80 km/h

F

η2

p-Value

F

η2

p-Value

Level

8.224

0.442

0.007**

0.059

0.022

0.809

TORlt

18.056

0.388

<0.001***

1.150

0.165

0.290

L × T

6.566

0.279

0.012*

0.299

0.079

0.635

*p < 0.05, **p < 0.01, ***p < 0.001.

3.5. 基于线性回归模型的接管时间预测

为了验证我们建立的模型,本研究参考了Gold等人[16]的研究,构建了以驾驶环境、接管请求前置时间和分级警报为自变量的线性回归模型。为了能够连续研究分级警报和接管请求提前时间的情况以及驾驶环境对接管时间的影响,本研究将驾驶环境转化为驾驶速度,将分级警报级别转化为警报节拍,并将各变量转化为连续变量。线性回归求解过程见表5

Table 5. Linear regression model solution process

5. 线性回归模型求解过程

Variable

Coefficient

Std. Error

t-value

p-value

Intercept

2.631

0.186

14.133

<0.001

Driving conditions

−0.026

0.036

−83.212

<0.001

level

0.001

0.008

−0.739

0.460

TORlt

0.195

0.006

34.387

<0.001

R2

0.938

Note: Dependent variable = Takeover Time (s); *p < 0.05; **p < 0.01.

因此,基于线性回归的接管时间预测模型为

ω=2.6310.026 x 1 +0.001 x 2 +0.195 x 3 ;

其中x1为驾驶环境,x2为分级警报级别,x3为接管请求准备时间。从表5中可以看出,以驾驶条件、分级警报和接管请求前置时间为自变量,接管时间为因变量的线性回归分析表明,模型R2值为0.938,这意味着驾驶条件、分级警报和接管请求前置时间可以解释接管请求前置时间变化的93.8%。模型的F检验表明,驾驶环境对接管时间产生了显著的负相关关系,换句话说,低速时复杂的驾驶环境会增加接管时间。分级警报对接管时间没有显著影响,而接管请求准备时间与接管时间呈显著正相关。

4. 讨论

本研究主要探讨了分级警报和接管请求提前期在不同驾驶环境下对自动驾驶接管的影响。通过对驾驶员生、心理指标及接管时间的分析,我们可以了解到驾驶员在整个接管过程中的认知负荷,生理压力以及分级警报对接管绩效的影响。

4.1. 分级警报对接管时间的影响

根据TOR的规定,驾驶员需要在接管请求响起后,检查驾驶环境,并对车辆进行接管。与预期相反,在50 km/h的驾驶环境中,驾驶员的接管时间高于80 km/h,这可能是因为驾驶员需要额外分配注意力资源给道路两侧的行人,导致双任务绩效的减退[74]

分级警报在不同的驾驶环境中表现趋于一致,这与Du等人[75]的研究并不相同,这可能是由于所有的受试者均为在校大学生,在实验前均受过一定程度的培训,在多任务环境下其干扰管理能力更好[75]。分级警报作为驾驶过程中突然出现的声音,其本质上是属于驾驶过程中的“干扰任务”,其优先级远低于接管需求,考虑到实验前所有驾驶员都经历过大量的培训,这些经验和训练能够帮助个体学习更流畅的且更优化的应对这些干扰[76]-[78]

研究发现接管时间随警报等级和接管请求提前期的变化而变化,5 s TORlt的情况下,高级警报对应的接管时间最短;6 s TORlt的情况下,中级警报d对应的接管时间最短;7 s TORlt的情况下,低级警报对应的接管时间最短,这与Hong and Yang [27]、Huang and Pitts [22]以及Ou等人[15]的研究结论一致,这可能是由于听觉优先性[79]帮助驾驶员提前分辨了接管的紧迫性,使驾驶员注意力资源分配趋于更优[80]。本文进一步分析了听觉优先性的作用,可以发现当听觉的突显性足够高时,会占据一定的分散资源,反而会以一种补偿的方式促进驾驶员对道路情况的监控。此时警报作为驾驶过程中的“干扰任务”,对驾驶员观察道路情况的绩效只产生很小的影响,驾驶员反而会从“干扰任务”中获取到足够信息,从中获益[81]

4.2. 分级警报对生理负荷的影响

心跳间期标准差(Standard Deviation of NN interval, SDNN)是一类心率变异性指标,该指标可以反映驾驶人在接管过程中RR心跳间期的离散程度,若驾驶人对接管请求的应激能力与适应能力下降并伴随心理压力上升,则会导致SDNN随之下降。在5 s TORlt的情况下,驾驶员的SDNN比7 s TORlt的情况下更低,这与Kerautret等人[51]的研究结果相同。TORlt越短,驾驶员接管时间的压力越大,紧迫性越大,因此工作量越大。即TORlt越短,接管期间的工作负荷越大,这与现有的文献结论一致[16]

在5 s TORlt中,高级警报在SDNN上的表现最好,这意味着高级警报在帮助驾驶员快速识别道路情况接管车辆的同时,给驾驶员带来了更小的心理压力,驾驶员的心跳加速较为缓慢,这意味着此时驾驶员对目前所有操作的资源需求量最小[73]。在6 s TORlt中,与预想的不同,高级警报在SDNN上表现最好,中级警报次之,在7 s TORlt中,同样出现了这种现象。通过对比两种警报下的接管时间,研究认为驾驶员在分级警报和接管车辆的任务转换中出现了明显的“转换代价”[18]

4.3. 分级警报对心理负荷的影响

精神负担是指一项任务对大脑有限的信息处理能力的要求。过重的精神负担会影响驾驶员有效分配资源的能力,从而危及接管安全。本研究发现,分级警报会显著影响驾驶员的心理负荷,表明警报级别的变化会影响认知需求。这些发现与Blumenthal [73]的研究结果一致。与中级和低级警报相比,高级警报通常会导致更大的心理负荷,这表明高度紧急的警报可能会增加驾驶员的烦恼和工作量[74]。与预期相反,低级警报并不会减少驾驶员的烦恼和工作量,这可能是由于驾驶员在接管过程中更加关注接管行为与监测道路情况,这与Yao等人[82]的研究结果一致。在50 km/h的复杂驾驶环境下,驾驶员的疲劳状况更严重,这可能是由于驾驶员在接管过程中选择性的拒绝和屏蔽不堪重负的交通信息,这与Du等人[83]的研究结果一致。

4.4. 限制和未来工作

本研究有几个局限性。首先,本文使用六自由度高保真实体驾驶模拟器在实验室进行模拟接管实验并收集数据。为了确保受试者能够快速上手,本文招募了年轻人作为参与者。在今后的研究中,可以适当扩大受试者的年龄范围,并适当增加更多的道路场景,使实验结果更具生态有效性。此外,如果技术允许,还可以适当复制自然驾驶的实验设置,并招募不同的驾驶者,以了解生理和心理测量的稳定性。

其次,为了解读心理生理数据,本文将研究结果与成熟文献进行了对比,提供了在整个接管过渡过程中驾驶员心理生理数据所反映的驾驶员生理负荷和认知负荷的结果。为了防止各生理数据的交互效应,本文仅选取了心电图和脑电图作为研究变量,未来的研究可以收集更多的生理信号数据,如眼球运动数据、情景意识和情绪状态等,以帮助解释研究结果。

最后,本文旨在确认分级警报对驾驶员接管车辆时的影响,测量了驾驶员的接管时间与生理信号,通过对其原始生理信号的处理得到各种生理学指标,与接管时间进行分析比较。因此,本文只揭示了分级警报在不同情况下驾驶员接管车辆的影响,并未对其具体影响情况进行研究。在未来的研究中,可以利用机器学习等算法研究各生理指标与驾驶指标之间的相关性,明确各项指标之间的可替代性与关联性,以此构建驾驶预测模型。

5. 总结

本研究的主要贡献在于研究了在不同驾驶环境下,分级警报和接管请求准备时间对驾驶员接管性能的影响。研究结果表明,在不同的接管请求提前期内,分级警报有助于帮助驾驶员做出更快的反应并迅速接管车辆,在一定程度上减少驾驶员的生理负荷。本研究的结果可能适用于指导自动驾驶系统和人机交互界面的设计,一定程度上补充驾驶员对接管请求的行为反应的理解,并对分析接管行为、制定相关车载接管请求策略及设计自适应车载警报系统具有一定的参考价值。

参考文献

[1] WHO (2023) Global Status Report on Road Safety 2023.
[2] Singh, S. (2018) Critical Reasons for Crashes Investigated in the National Motor Vehicle Crash Causation Survey. NHTSA’s National Center for Statistics and Analysis.
[3] Dingus, T.A., Guo, F., Lee, S., Antin, J.F., Perez, M., Buchanan-King, M., et al. (2016) Driver Crash Risk Factors and Prevalence Evaluation Using Naturalistic Driving Data. Proceedings of the National Academy of Sciences of the United States of America, 113, 2636-2641.
https://doi.org/10.1073/pnas.1513271113
[4] Boelhouwer, A., van den Beukel, A.P., van der Voort, M.C. and Martens, M.H. (2019) Should I Take Over? Does System Knowledge Help Drivers in Making Take-Over Decisions While Driving a Partially Automated Car? Transportation Research Part F: Traffic Psychology and Behaviour, 60, 669-684.
https://doi.org/10.1016/j.trf.2018.11.016
[5] Buckley, L., Kaye, S. and Pradhan, A.K. (2018) Psychosocial Factors Associated with Intended Use of Automated Vehicles: A Simulated Driving Study. Accident Analysis & Prevention, 115, 202-208.
https://doi.org/10.1016/j.aap.2018.03.021
[6] Becker, F. and Axhausen, K.W. (2017) Literature Review on Surveys Investigating the Acceptance of Automated Vehicles. Transportation, 44, 1293-1306.
https://doi.org/10.1007/s11116-017-9808-9
[7] Ayoub, J., Zhou, F., Bao, S. and Yang, X.J. (2019) From Manual Driving to Automated Driving: A Review of 10 Years of AutoUI. Proceedings of the 11th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, Utrecht, 21-25 September 2019, 70-90.
https://doi.org/10.1145/3342197.3344529
[8] Eriksson, A. and Stanton, N.A. (2017) Takeover Time in Highly Automated Vehicles: Noncritical Transitions to and from Manual Control. Human Factors: The Journal of the Human Factors and Ergonomics Society, 59, 689-705.
https://doi.org/10.1177/0018720816685832
[9] Zhou, F., Yang, X.J. and Zhang, X. (2019) Takeover Transition in Autonomous Vehicles: A Youtube Study. International Journal of HumanComputer Interaction, 36, 295-306.
https://doi.org/10.1080/10447318.2019.1634317
[10] Onnasch, L., Wickens, C.D., Li, H. and Manzey, D. (2013) Human Performance Consequences of Stages and Levels of Automation: An Integrated Meta-Analysis. Human Factors: The Journal of the Human Factors and Ergonomics Society, 56, 476-488.
https://doi.org/10.1177/0018720813501549
[11] Miller, D., Sun, A., Johns, M., Ive, H., Sirkin, D., Aich, S., et al. (2015) Distraction Becomes Engagement in Automated Driving. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 59, 1676-1680.
https://doi.org/10.1177/1541931215591362
[12] Vogelpohl, T., Kühn, M., Hummel, T. and Vollrath, M. (2019) Asleep at the Automated Wheel—Sleepiness and Fatigue during Highly Automated Driving. Accident Analysis & Prevention, 126, 70-84.
https://doi.org/10.1016/j.aap.2018.03.013
[13] Stanton, N.A., Chambers, P.R.G. and Piggott, J. (2001) Situational Awareness and Safety. Safety Science, 39, 189-204.
https://doi.org/10.1016/s0925-7535(01)00010-8
[14] de Winter, J.C.F., Happee, R., Martens, M.H. and Stanton, N.A. (2014) Effects of Adaptive Cruise Control and Highly Automated Driving on Workload and Situation Awareness: A Review of the Empirical Evidence. Transportation Research Part F: Traffic Psychology and Behaviour, 27, 196-217.
https://doi.org/10.1016/j.trf.2014.06.016
[15] Ou, Y., Huang, W. and Fang, C. (2021) Effects of Different Takeover Request Interfaces on Takeover Behavior and Performance during Conditionally Automated Driving. Accident Analysis & Prevention, 162, Article ID: 106425.
https://doi.org/10.1016/j.aap.2021.106425
[16] Gold, C., Körber, M., Lechner, D. and Bengler, K. (2016) Taking over Control from Highly Automated Vehicles in Complex Traffic Situations: The Role of Traffic Density. Human Factors: The Journal of the Human Factors and Ergonomics Society, 58, 642-652.
https://doi.org/10.1177/0018720816634226
[17] Li, S., Blythe, P., Guo, W. and Namdeo, A. (2018) Investigation of Older Driver’s Takeover Performance in Highly Automated Vehicles in Adverse Weather Conditions. IET Intelligent Transport Systems, 12, 1157-1165.
https://doi.org/10.1049/iet-its.2018.0104
[18] Du, N., Kim, J., Zhou, F., Pradhan, A.K., Tilbury, D., Robert, L., et al. (2020) Examining Effects of Scenario Type and Vehicle Speed on Takeover Readiness and Performance in Conditionally Automated Driving. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 64, 1997-1998.
https://doi.org/10.1177/1071181320641482
[19] Wu, C., Wu, H., Lyu, N. and Zheng, M. (2019) Take-Over Performance and Safety Analysis under Different Scenarios and Secondary Tasks in Conditionally Automated Driving. IEEE Access, 7, 136924-136933.
https://doi.org/10.1109/access.2019.2914864
[20] Yerkes, R.M. and Dodson, J.D. (1908) The Relation of Strength of Stimulus to Rapidity of Habit‐formation. Journal of Comparative Neurology and Psychology, 18, 459-482.
https://doi.org/10.1002/cne.920180503
[21] Naujoks, F., Wiedemann, K., Schömig, N., Hergeth, S. and Keinath, A. (2019) Towards Guidelines and Verification Methods for Automated Vehicle HMIs. Transportation Research Part F: Traffic Psychology and Behaviour, 60, 121-136.
https://doi.org/10.1016/j.trf.2018.10.012
[22] Huang, G. and Pitts, B.J. (2022) Takeover Requests for Automated Driving: The Effects of Signal Direction, Lead Time, and Modality on Takeover Performance. Accident Analysis & Prevention, 165, Article ID: 106534.
https://doi.org/10.1016/j.aap.2021.106534
[23] Yun, H. and Yang, J.H. (2020) Multimodal Warning Design for Take-Over Request in Conditionally Automated Driving. European Transport Research Review, 12, Article No. 34.
https://doi.org/10.1186/s12544-020-00427-5
[24] Petermeijer, S., Bazilinskyy, P., Bengler, K. and de Winter, J. (2017) Take-Over Again: Investigating Multimodal and Directional Tors to Get the Driver Back into the Loop. Applied Ergonomics, 62, 204-215.
https://doi.org/10.1016/j.apergo.2017.02.023
[25] Salminen, K., Farooq, A., Rantala, J., Surakka, V. and Raisamo, R. (2019) Unimodal and Multimodal Signals to Support Control Transitions in Semiautonomous Vehicles. Proceedings of the 11th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, Utrecht, 21-25 September 2019, 308-318.
https://doi.org/10.1145/3342197.3344522
[26] Bazilinskyy, P., Kyriakidis, M. and de Winter, J. (2015) An International Crowdsourcing Study into People’s Statements on Fully Automated Driving. Procedia Manufacturing, 3, 2534-2542.
https://doi.org/10.1016/j.promfg.2015.07.540
[27] Hong, S. and Yang, J.H. (2022) Effect of Multimodal Takeover Request Issued through A-Pillar LED Light, Earcon, Speech Message, and Haptic Seat in Conditionally Automated Driving. Transportation Research Part F: Traffic Psychology and Behaviour, 89, 488-500.
https://doi.org/10.1016/j.trf.2022.07.012
[28] Cohen-Lazry, G., Borowsky, A. and Oron-Gilad, T. (2020) The Impact of Auditory Continual Feedback on Take-Overs in Level 3 Automated Vehicles. Transportation Research Part F: Traffic Psychology and Behaviour, 75, 145-159.
https://doi.org/10.1016/j.trf.2020.10.003
[29] Yang, Y., Du, Z., Jiao, F. and Pan, F. (2021) Analysis of EEG Characteristics of Drivers and Driving Safety in Undersea Tunnel. International Journal of Environmental Research and Public Health, 18, Article 9810.
https://doi.org/10.3390/ijerph18189810
[30] Di Stasi, L.L., Contreras, D., Cañas, J.J., Cándido, A., Maldonado, A. and Catena, A. (2010) The Consequences of Unexpected Emotional Sounds on Driving Behaviour in Risky Situations. Safety Science, 48, 1463-1468.
https://doi.org/10.1016/j.ssci.2010.07.006
[31] Forster, Y., Naujoks, F., Neukum, A. and Huestegge, L. (2017) Driver Compliance to Take-Over Requests with Different Auditory Outputs in Conditional Automation. Accident Analysis & Prevention, 109, 18-28.
https://doi.org/10.1016/j.aap.2017.09.019
[32] Chang, S., Lin, C., Fung, C., Hwang, J. and Doong, J. (2008) Driving Performance Assessment: Effects of Traffic Accident Location and Alarm Content. Accident Analysis & Prevention, 40, 1637-1643.
https://doi.org/10.1016/j.aap.2008.05.003
[33] Suzuki, K. (2003) An Analysis of Driver’s Steering Behaviour during Auditory or Haptic Warnings for the Designing of Lane Departure Warning System. JSAE Review, 24, 65-70.
https://doi.org/10.1016/s0389-4304(02)00247-3
[34] Takeuchi, A., Hirose, M., Shinbo, T., Imai, M., Mamorita, N. and Ikeda, N. (2006) Development of an Alarm Sound Database and Simulator. Journal of Clinical Monitoring and Computing, 20, 317-327.
https://doi.org/10.1007/s10877-006-9037-9
[35] McDougall, S., Edworthy, J., Sinimeri, D., Goodliffe, J., Bradley, D. and Foster, J. (2020) Searching for Meaning in Sound: Learning and Interpreting Alarm Signals in Visual Environments. Journal of Experimental Psychology: Applied, 26, 89-107.
https://doi.org/10.1037/xap0000238
[36] Dresp-Langley, B. and Monfouga, M. (2019) Combining Visual Contrast Information with Sound Can Produce Faster Decisions. Information, 10, Article 346.
https://doi.org/10.3390/info10110346
[37] Rossi, A., Molinaro, A., Savi, E., Micheletti, S., Galli, J., Chirico, G., et al. (2018) Music Reduces Pain Perception in Healthy Newborns: A Comparison between Different Music Tracks and Recoded Heartbeat. Early Human Development, 124, 7-10.
https://doi.org/10.1016/j.earlhumdev.2018.07.006
[38] Wu, H., Wu, C., Lyu, N. and Li, J. (2022) Does a Faster Takeover Necessarily Mean It Is Better? A Study on the Influence of Urgency and Takeover-Request Lead Time on Takeover Performance and Safety. Accident Analysis & Prevention, 171, Article ID: 106647.
https://doi.org/10.1016/j.aap.2022.106647
[39] Samuel, S., Borowsky, A., Zilberstein, S. and Fisher, D.L. (2016) Minimum Time to Situation Awareness in Scenarios Involving Transfer of Control from an Automated Driving Suite. Transportation Research Record: Journal of the Transportation Research Board, 2602, 115-120.
https://doi.org/10.3141/2602-14
[40] Zeeb, K., Buchner, A. and Schrauf, M. (2015) What Determines the Take-Over Time? An Integrated Model Approach of Driver Take-Over after Automated Driving. Accident Analysis & Prevention, 78, 212-221.
https://doi.org/10.1016/j.aap.2015.02.023
[41] Li, X., Guo, Z. and Li, Y. (2022) Driver Operational Level Identification of Driving Risk and Graded Time-Based Alarm under Near-Crash Conditions: A Driving Simulator Study. Accident Analysis & Prevention, 166, Article ID: 106544.
https://doi.org/10.1016/j.aap.2021.106544
[42] So, J.J., Park, S., Kim, J., Park, J. and Yun, I. (2021) Investigating the Impacts of Road Traffic Conditions and Driver’s Characteristics on Automated Vehicle Takeover Time and Quality Using a Driving Simulator. Journal of Advanced Transportation, 2021, Article ID: 8859553.
https://doi.org/10.1155/2021/8859553
[43] Gold, C., Happee, R. and Bengler, K. (2018) Modeling Take-Over Performance in Level 3 Conditionally Automated Vehicles. Accident Analysis & Prevention, 116, 3-13.
https://doi.org/10.1016/j.aap.2017.11.009
[44] McDonald, A.D., Alambeigi, H., Engström, J., Markkula, G., Vogelpohl, T., Dunne, J., et al. (2019) Toward Computational Simulations of Behavior during Automated Driving Takeovers: A Review of the Empirical and Modeling Literatures. Human Factors: The Journal of the Human Factors and Ergonomics Society, 61, 642-688.
https://doi.org/10.1177/0018720819829572
[45] Du, N., Zhou, F., Pulver, E.M., Tilbury, D.M., Robert, L.P., Pradhan, A.K., et al. (2020) Examining the Effects of Emotional Valence and Arousal on Takeover Performance in Conditionally Automated Driving. Transportation Research Part C: Emerging Technologies, 112, 78-87.
https://doi.org/10.1016/j.trc.2020.01.006
[46] Zhao, H., Ma, J., Zhang, Y. and Chang, R. (2022) Mental Workload Accumulation Effect of Mobile Phone Distraction in L2 Autopilot Mode. Scientific Reports, 12, Article No. 16856.
https://doi.org/10.1038/s41598-022-17419-1
[47] Saxby, D.J., Matthews, G., Warm, J.S., Hitchcock, E.M. and Neubauer, C. (2013) Active and Passive Fatigue in Simulated Driving: Discriminating Styles of Workload Regulation and Their Safety Impacts. Journal of Experimental Psychology: Applied, 19, 287-300.
https://doi.org/10.1037/a0034386
[48] Chen, J., Wang, H., Wang, Q. and Hua, C. (2019) Exploring the Fatigue Affecting Electroencephalography Based Functional Brain Networks during Real Driving in Young Males. Neuropsychologia, 129, 200-211.
https://doi.org/10.1016/j.neuropsychologia.2019.04.004
[49] Fountas, G., Pantangi, S.S., Hulme, K.F. and Anastasopoulos, P.C. (2019) The Effects of Driver Fatigue, Gender, and Distracted Driving on Perceived and Observed Aggressive Driving Behavior: A Correlated Grouped Random Parameters Bivariate Probit Approach. Analytic Methods in Accident Research, 22, Article ID: 100091.
https://doi.org/10.1016/j.amar.2019.100091
[50] Heikoop, D.D., de Winter, J.C.F., van Arem, B. and Stanton, N.A. (2018) Effects of Mental Demands on Situation Awareness during Platooning: A Driving Simulator Study. Transportation Research Part F: Traffic Psychology and Behaviour, 58, 193-209.
https://doi.org/10.1016/j.trf.2018.04.015
[51] Kerautret, L., Dabic, S. and Navarro, J. (2023) Exploration of Driver Stress When Resuming Control from Highly Automated Driving in an Emergency Situation. Transportation Research Part F: Traffic Psychology and Behaviour, 93, 222-234.
https://doi.org/10.1016/j.trf.2023.01.016
[52] Wu, X., Boyle, L.N., Marshall, D. and O’Brien, W. (2018) The Effectiveness of Auditory Forward Collision Warning Alerts. Transportation Research Part F: Traffic Psychology and Behaviour, 59, 164-178.
https://doi.org/10.1016/j.trf.2018.08.015
[53] Shankar, S.N.B., Reddy, B.K., Reddy, B.K., Reddy, V.V.P. and Mahesh, H.B. (2024) Smart Driving Assistance Using Deep Learning. In: Aurelia, S., Immanuel, A., Mani, J. and Padmanabha, V., Eds., Computational Sciences and Sustainable Technologies, Springer, 402-418.
https://doi.org/10.1007/978-3-031-50993-3_32
[54] Bham, G.H., Leu, M.C., Vallati, M. and Mathur, D.R. (2014) Driving Simulator Validation of Driver Behavior with Limited Safe Vantage Points for Data Collection in Work Zones. Journal of Safety Research, 49, 53.e1-60.
https://doi.org/10.1016/j.jsr.2014.02.012
[55] Pawar, N.M., Velaga, N.R. and Sharmila, R.B. (2022) Exploring Behavioral Validity of Driving Simulator under Time Pressure Driving Conditions of Professional Drivers. Transportation Research Part F: Traffic Psychology and Behaviour, 89, 29-52.
https://doi.org/10.1016/j.trf.2022.06.004
[56] Kaß, C., Schoch, S., Naujoks, F., Hergeth, S., Keinath, A. and Neukum, A. (2020) Standardized Test Procedure for External Human-Machine Interfaces of Automated Vehicles. Information, 11, Article 173.
https://doi.org/10.3390/info11030173
[57] Kenntner-Mabiala, R., Kaussner, Y., Jagiellowicz-Kaufmann, M., Hoffmann, S. and Krüger, H. (2015) Driving Performance under Alcohol in Simulated Representative Driving Tasks: An Alcohol Calibration Study for Impairments Related to Medicinal Drugs. Journal of Clinical Psychopharmacology, 35, 134-142.
https://doi.org/10.1097/jcp.0000000000000285
[58] Metz, B., Wörle, J., Hanig, M., Schmitt, M., Lutz, A. and Neukum, A. (2021) Repeated Usage of a Motorway Automated Driving Function: Automation Level and Behavioural Adaption. Transportation Research Part F: Traffic Psychology and Behaviour, 81, 82-100.
https://doi.org/10.1016/j.trf.2021.05.017
[59] Radhakrishnan, V., Louw, T., Cirino Gonçalves, R., Torrao, G., Lenné, M.G. and Merat, N. (2023) Using Pupillometry and Gaze-Based Metrics for Understanding Drivers’ Mental Workload during Automated Driving. Transportation Research Part F: Traffic Psychology and Behaviour, 94, 254-267.
https://doi.org/10.1016/j.trf.2023.02.015
[60] Zuraida, R., Iridiastadi, H., Sutalaksana, I.Z. and Suprijanto, S. (2019) An Analysis of EEG Changes during Prolonged Simulated Driving for the Assessment of Driver Fatigue. Journal of Engineering and Technological Sciences, 51, 290-302.
https://doi.org/10.5614/j.eng.technol.sci.2019.51.2.9
[61] Hsieh, M., Chen, L., Lee, Y. and Liu, Q. (2022) A Simulation-Based Study of the Effect of Brake Light Flashing Frequency on Driver Brake Behavior from the Perspective of Response Time. Behavioral Sciences, 12, Article 332.
https://doi.org/10.3390/bs12090332
[62] Stahl, P., Donmez, B. and Jamieson, G.A. (2014) A Model of Anticipation in Driving. Proceedings of the 6th International Conference on Automotive User Interfaces and Interactive Vehicular Applications, Seattle, 17-19 September 2014, 1-8.
https://doi.org/10.1145/2667317.2667321
[63] Karami, H., Karami, A. and Mehdizadeh, M. (2022) The Role of Psychological Factors on the Choice of Different Driving Controls: On Manual, Partial, and Highly Automated Controls. Transportation Research Part F: Traffic Psychology and Behaviour, 86, 316-332.
https://doi.org/10.1016/j.trf.2022.03.005
[64] Liang, Y., Liang, W., Qu, J. and Yang, J. (2018) Experimental Study on EEG with Different Cognitive Load. 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Miyazaki, 7-10 October 2018, 4351-4356.
https://doi.org/10.1109/smc.2018.00735
[65] Lim, S., Yeo, M. and Yoon, G. (2019) Comparison between Concentration and Immersion Based on EEG Analysis. Sensors, 19, Article 1669.
https://doi.org/10.3390/s19071669
[66] Kyo, L.H. (2011) Influence of Time Stress on EEG Characteristics Related with Human Errors. Journal of the Korean Society of Safety, 26, 83-90.
[67] Lee, K. (2009) Evaluation of Attention and Relaxation Levels of Archers in Shooting Process Using Brain Wave Signal Analysis Algorithms. Emitional Science, 12, 341-350.
[68] Srinivasan, R., Thorpe, S., Deng, S., Lappas, T. and D’Zmura, M. (2009) Decoding Attentional Orientation from EEG Spectra. In: Jacko, J.A., Ed., Human-Computer Interaction, Springer, 176-183.
https://doi.org/10.1007/978-3-642-02574-7_20
[69] Ming, D., Xi, Y.Y., Zhang, M.M., Qi, H.Z., Cheng, L.L., Wan, B.K., et al. (2009) Electroencephalograph (EEG) Signal Processing Method of Motor Imaginary Potential for Attention Level Classification. 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, Minneapolis, 3-6 September 2009, 4347-4351.
https://doi.org/10.1109/iembs.2009.5332743
[70] Jung, T., Makeig, S., Westerfield, M., Townsend, J., Courchesne, E. and Sejnowski, T.J. (2000) Removal of Eye Activity Artifacts from Visual Event-Related Potentials in Normal and Clinical Subjects. Clinical Neurophysiology, 111, 1745-1758.
https://doi.org/10.1016/s1388-2457(00)00386-2
[71] Ye, N., Sun, Y. and Yang, J. (2015. EEG Based Fatigue Driving Detection Using Wavelet Packet Sub-Band Energy Ratio. The 27th Chinese Control and Decision Conference (2015 CCDC), Qingdao, 23-25 May 2015, 3669-3672.
https://doi.org/10.1109/ccdc.2015.7162562
[72] Sahami, S. and Sayed, T. (2013) How Drivers Adapt to Drive in Driving Simulator, and What Is the Impact of Practice Scenario on the Research? Transportation Research Part F: Traffic Psychology and Behaviour, 16, 41-52.
https://doi.org/10.1016/j.trf.2012.08.003
[73] Rizzo, L., Dondio, P., Delany, S.J. and Longo, L. (2016) Modeling Mental Workload via Rule-Based Expert System: A Comparison with NASA-TLX and Workload Profile. In: Iliadis, L. and Maglogiannis, I., Eds., Artificial Intelligence Applications and Innovations. AIAI 2016., Springer, 215-229.
https://doi.org/10.1007/978-3-319-44944-9_19
[74] Buss, A.T., Wifall, T., Hazeltine, E. and Spencer, J.P. (2014) Integrating the Behavioral and Neural Dynamics of Response Selection in a Dual-Task Paradigm: A Dynamic Neural Field Model of Dux et al. (2009). Journal of Cognitive Neuroscience, 26, 334-351.
https://doi.org/10.1162/jocn_a_00496
[75] Koh, R.Y.I., Park, T., Wickens, C.D., Ong, L.T. and Chia, S.N. (2011) Differences in Attentional Strategies by Novice and Experienced Operating Theatre Scrub Nurses. Journal of Experimental Psychology: Applied, 17, 233-246.
https://doi.org/10.1037/a0025171
[76] Cades, D.M., Boehm-Davis, D.A., Trafton, J.G. and Monk, C.A. (2011) Mitigating Disruptive Effects of Interruptions through Training: What Needs to Be Practiced? Journal of Experimental Psychology: Applied, 17, 97-109.
https://doi.org/10.1037/a0023497
[77] Dismukes, R.K. (2010) Remembrance of Things Future: Prospective Memory in Laboratory, Workplace, and Everyday Settings. Reviews of Human Factors and Ergonomics, 6, 79-122.
https://doi.org/10.1518/155723410x12849346788705
[78] Hess, S.M., Detweiler, M.C. and Ellis, R.D. (1999) The Utility of Display Space in Keeping Track of Rapidly Changing Information. Human Factors: The Journal of the Human Factors and Ergonomics Society, 41, 257-281.
https://doi.org/10.1518/001872099779591187
[79] Wickens, C.D. (2007) How Many Resources and How to Identify Them? Commentary on Boles Et Al. and Vidulich and Tsang. Human Factors: The Journal of the Human Factors and Ergonomics Society, 49, 53-56.
https://doi.org/10.1518/001872007779598019
[80] Ho, C., Nikolic, M.I., Waters, M.J. and Sarter, N.B. (2004) Not Now! Supporting Interruption Management by Indicating the Modality and Urgency of Pending Tasks. Human Factors: The Journal of the Human Factors and Ergonomics Society, 46, 399-409.
https://doi.org/10.1518/hfes.46.3.399.50397
[81] Wickens, C.D., Prinet, J., Hutchins, S., Sarter, N. AND Sebok, A. (2011) Auditory-Visual Redundancy in Vehicle Control Interruptions: Two Meta-Analyses. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 55, 1155-1159.
[82] Dixon, S.R. and Wickens, C.D. (2006) Automation Reliability in Unmanned Aerial Vehicle Control: A Reliance-Compliance Model of Automation Dependence in High Workload. Human Factors: The Journal of the Human Factors and Ergonomics Society, 48, 474-486.
https://doi.org/10.1518/001872006778606822
[83] Yao, H., An, S., Zhou, H. and Itoh, M. (2020) Safety Compensation for Improving Driver Takeover Performance in Conditionally Automated Driving. Journal of Robotics and Mechatronics, 32, 530-536.
https://doi.org/10.20965/jrm.2020.p0530