图形维度对用户心理负荷、长时记忆和态度影响的研究综述
A Review of the Effects of Graphic Dimensions on Mental Workload, Long-Term Memory and Attitude of Users
摘要: 我们正处在一个信息爆炸的时代,人们每天的生活中总是充斥着各类各样的信息,这些数据信息的呈现离不开使用图形将其可视化。可是大数据工程师和使用者之间往往存在着鸿沟,图形的使用不当,可能会造成理解和认知上的偏差。另外在信息可视化领域,一直存在要不要对信息图表进行装饰的问题。本文介绍了信息可视化领域的相关概念,以及心理学在信息可视化中的应用。选取了在信息可视化中研究最多的三个方面——心理负荷、长时记忆和用户态度进行了研究综述。
Abstract: We are in an era of information explosion. People’s Daily life is always filled with all kinds of in-formation, the presentation of these data information cannot be separated from the use of graphics to visualize. However, there is often a gap between big data engineers and users, and improper use of graphics may cause misunderstanding and cognitive deviation. In addition, in the field of information visualization, there is always the question of whether to decorate the infographic. This paper introduces the related concepts in the field of information visualization and the application of psychology in information visualization. This paper summarizes the three most studied aspects in information visualization: psychological load, long term memory and user attitude.
文章引用:唐清波 (2021). 图形维度对用户心理负荷、长时记忆和态度影响的研究综述. 心理学进展, 11(4), 1082-1094. https://doi.org/10.12677/AP.2021.114122

1. 引言

近些年来随着我国经济的突飞猛进,科技的日新月异,中国的大数据产业得到了空前的发展,同时也得到了国家很多战略上的支持。党的十八大以来,提出了很多大数据战略的重大决策。国务院和相关部门先后印发了《促进大数据发展行动纲要》、《大数据产业发展规划(2016-2020年)》等指导性文件(中文引用)。我国也非常重视对大数据人才的培养,许多国内知名高校开设了“数据科学与大数据技术”专业,这表明我国大数据时代已经到来,它已经影响到我们生活的方方面面。

信息图表作为大数据呈现的方式之一,越来越多的信息可视化专家对它进行了研究。信息可视化本身是一个跨学科的领域,它结合了统计学、计算机科学、设计学、人类工效学、认知心理学等学科的知识。心理学在可视化领域中的应用也是颇具优势,它能够更好的帮助设计师以用户为中心进行图表设计,避免制造出“图表垃圾”。一些图表设计师为了增强图表的美学外观,通常会在基础图表的基础上加入各式各样的美学修饰,包括增加图表的深度线索,将原本平面的二维图表变为三维图表,以及添加一些视觉背景的插图等。然而是否应该对图表进行美学上的装饰,至今依然存在争论。

2. 信息可视化中关于美学修饰的争论

2.1. 信息可视化

随着计算机技术的不断发展,我们身处于一个信息爆炸的时代。无论我们是在浏览网页,看广告牌还是阅读学术期刊,里面都充斥者大量的数据。据保守估计,每天都会产生2.5万亿的数据。这些数据来源于我们平日里使用的电脑、手机、智能手表、条形码读取器等任何可以连接到互联网的设备。这些海量的数据,造成了数据污染的问题。为了使这些数据有意义,工程师必须要对这些大数据进行深入挖掘。人脑想要处理和理解这些信息需要通过可视化的呈现,而不是通过表格、文本或简单的统计数据。人类的大脑更容易理解和过滤通过视觉化了的信息(Encarnacao, 2017)。

信息可视化的早期现代历史始于威廉·普莱费尔,他是统计图表领域的早期创新者。1786年,他出版了《商业与政治地图集》(the commercial and political atlas),其中展示了许多条形图、线形图和柱状图,来代表英国的经济状况。在此基础上,他在1801年绘制了第一个面积图和第一个饼图(Encarnacao, 2017)。在18和19世纪,政府开始参与其中,就像其他许多同辈人创建的那样,将数据和表格整合后,编入统计年鉴和政府发布的报告中。在20世纪,公司开始使用图表来了解他们的内部运作,美国电话电报公司和杜邦公司(Yates 1985)对图表和图表使用的研究表明,两家公司都在努力使图表在决策中的使用标准化和形式化(Chandar et al., 2012)。

技术的发展导致数据的大爆炸,大数据的爆炸又导致了数据呈现方式的激增。信息图表演变至今,已经远不止条形图,饼图和折线图等基础图表,设计师为了增强图表的美学外观,通常会在基础图表的基础上加入各种各样的美学装饰,包括增加图表的深度线索,将原本平面的二维图表变为三维图表,以及添加一些视觉背景的插图等,从而演变出象形柱图(PictorialBar)、桑葚图、旭日图、漏斗图等等。

增加了美学的修饰之后,图表看起来似乎更具有吸引力了,然而这些修饰可能会给用户带来一些认知上的改变。我们将这些原本离散的数据以图表的方式进行可视化的呈现,目的就是为了使用户更加高效,便捷和准确的获取这些信息。许多被广泛引用的数据可视化理论或指导方针提倡极简主义,即一个好的图表应该避免“垃圾图标”、插图和其他非必要的图片(Li & Moacdieh, 2014)。因为人们担心设计上的改进会分散用户对基本信息的注意力,增加用户的心理负荷,使得他们在看图表时出现理解和判断上的失误。尽管增加视觉修饰有潜在的缺点,但多项研究已经证实了,视觉修饰可以改善被试对可视化图表的记忆(Bateman et al., 2010; Quispel et al., 2016)。Cawthon等人的研究结果表明,感知美学与人们使用特定数据可视化的意愿呈正相关,这表明美学等因素确实会影响人们使用可视化的方式(Cawthon & Moere, 2007)。由此可见,虽然在理论上我们强调极简主义,但是在图表上进行视觉上的修饰并不一定都是有害的,如何恰到好处的进行修饰才是我们需要探讨的一个问题。

2.2. 信息可视化中的极简主义

韦氏在线词典对“极简主义”(minimalism)的定义是:“一种以极度稀少和简单为特征的风格或技术(如音乐、文学或设计)”。艺术上的极简主义极大地激发了20世纪极简主义设计的灵感,建筑师Louis Sullivan创造了“形式遵循功能”这个术语,Mies van der Rohe的设计主张“少即是多”的哲学。工业设计也受到影响,例如斯堪的纳维亚设计运动就以简约(simplicity)为美学基础的。有趣的是,研究人员通常通过什么是不简约的来定义简约这个概念,在一些文章中经常会使用简约一词来替代极简主义,这两个词属于同义词。Mollerup (2007)对简约一词提出了全面的概述,他认为简约是一种内在的品质,简约意味着不复杂和不难理解,这种方法本质上将简约(或极简主义)称为“缺席的存在”,可以通过“极大的视觉清晰度”来识别(Mollerup, 2007)。Karvonen (2000)在回顾Nielsen (1999)在人机交互可用性领域的工作时,同样选择通过指出什么不是简约来定义极简主义:“没有障碍或不复杂”,同时在评价人机交互的主观标准中加入美学概念(Karvonen, 2000)。

信息可视化中的极简主义与Edward Tufte的工作密切相关。他基于这样一种主张,即数据图形应该将阅读者的注意力吸引到数据的意义和实质上,而不是其他东西上(Tufte, 2001)。Tufte的数据表示哲学包括三个原则:数据墨水比率、图表垃圾和谎言因素。本文将在下一节讨论数据墨水比的观点。

2.3. 数据墨水比

Tufte (1983)将数据墨水比率定义为图表中信息墨水(即用于表示数据的墨水)占总墨水的比例,并指出最终目标是尽可能的增加这一比率。原则上,这一目标可以通过去除非数据墨水和冗余数据墨水来实现。通俗的说,墨水比指的是不可删除的一部分。“图表垃圾”是Tufte创造的一个术语,指无用、无信息的视觉元素,它们与图表本身的核心目的无关,甚至可能使实际数据变得模糊。Tufte (1983)指出:“图形的内部装饰产生了很多油墨,而这些油墨并没有告诉观察者任何新的东西,这通常是图表垃圾”(Tufte, 2001)。

数据墨水比率的范围在0和1之间,可以通过将数据墨水除以图形中的墨水总量来计算(Tufte, 2001)。要做到数据墨水比最大化,也就是要尽可能的删除图表中的非必要部分,使数据墨水尽可能接近1。然而,在实践中如何准确计算数据墨水比率还不清楚,Tufte自己似乎是在进行估计而不是数值计算。(McGurgan, 2015)。

数据墨水比在信息可视化领域中是一个很有影响力的概念(Zhu, 2007),人们愿意相信,更高的数据墨水比可以让用户更容易的对图表进行判断,提高阅读图表时的准确(Wickens & Hollands, 2000)。然而另外一些人则认为,数据墨水比的提出是基于Tufte个人的设计直觉,缺乏对行为数据的实证研究(Carswell, 1992)。

关于数据墨水比率的概念,学者们发表了不同意见。Wainer认为,这是一种衡量使用图表垃圾的程度的便捷方法,并且该比率越接近零,图表就越差。他还反对使用额外的维度和毫无价值的隐喻,例如显示不同大小的美元钞票以指示购买力随时间的变化(Wainer, 1984)。

另一方面,将数据墨水比率描述为一种危险的想法,并认为过度依赖它会造成破坏性的结果,导致图表容易分散人的注意力(Zelterman & Holmes, 1986)。有些人甚至认为,图表垃圾或视觉困难实际上是有利于用户观看的,并且图表不应该设计为最大程度地提高数据墨水比,而应该设计为能吸引用户积极地处理图形信息。换句话说,如果多余的墨水用于图表设计的个性化,美学的需求或者其他更能够吸引用户的可视化方式,从而激发用户内在的参与欲望,那么低墨水比可能是很有用的。在这种观点下,可视化的有效性被视为效率与可取的视觉困难之间的平衡,这种视觉困难可以鼓励用户进行学习(Hullman et al., 2011)。

2.4. 关于图形美学装饰的争论

在信息可视化设计的领域,到底要不要对信息图表进行美学的装饰,一直存在着长期的争论。虽然这些争论的本质是在美学上的,但是相当多的焦点放在了,什么样的展示风格和图形样式才能更好的向观众传达信息上。我们把争论的双方分为两派:一方面不赞成使用视觉修饰的,和另一方面赞成使用视觉修饰的(Bateman et al., 2010)。

在不赞成视觉修饰的学者中,最著名的就是Edward Tufte。Tufte提出的数据墨水比率,他认为所有不用于显示数据的墨水都应该被删除(Tufte, 1983)。他的相关理论和研究在上一小节已经提及,这里将不再赘述。基于他对图形感知的研究,Cleveland同样对图形设计提出了一系列建议,并强调了以图形化方式呈现数据的极简主义方法(Toth & Lewis, 2002)。极简主义的观点旨在,当用户使用信息图表时,可以减少用户的脑力负荷和增加图表使用的准确性。

尽管Tufte和Cleveland的经验法则是众所周知的,但设计师和出版物仍在继续制作具有各种图表垃圾,装饰,低数据墨水比和3D表示的图表。在1985年到1994年对期刊出版物、杂志和报纸的调查中,Zacks等人发现,那些被Tufte,Cleveland以及其他可视化专家认为,不受欢迎的图表特征的流行趋势,这些年来几乎没有变化。这说明在图中包含非数据墨水可能还有其他原因(Toth & Lewis, 2002)。

与极简主义派相对的另一方认为,信息图表的装饰应该被鼓励。赞成装饰的代表人物是Nigel Holmes,他设计了很多图表作品来证实这一点。Holmes指出,信息图表必须引起读者的兴趣,他演示了如何使用图形图像来实现这一目的。他还指出,制作图表的目的是为了使数据变得明晰和可视化,否则这些数据只会被埋藏在大量的书面材料中(Holmes, 1984)。Tractinsky和Meyer的研究发现,当设计师以具有说服力和令人印象深刻为目标,而不是以数据的呈现为目标时,这些图表更有可能被设计为图表垃圾(Tractinsky & Meyer, 1999)。

3. 信息可视化中关于心理负荷的相关研究

3.1. 心理负荷

心理负荷是工程心理学研究中和实践中使用最广泛的概念之一(Flemisch & Onken, 2002; Loft et al., 2007; Wickens, 2008),至今是应用心理学研究的热点。研究者关注的问题包括,操作者的参与程度如何?这个任务有多复杂?操作员能在执行主要任务的同时执行其他任务吗?他/她能对任何特定的刺激作出反应吗?操作者在执行他/她的任务时感觉如何?心理学长期以来一直试图找到这些问题的答案,对心理负荷的研究和评价做出了巨大贡献(Wickens, 1984)。

3.1.1. 心理负荷的理论

在心理负荷理论中,Wickens的多重资源理论(multiple-resource theory)是最具影响的理论之一。Wickens的多重资源概念包括三个维度:第一个维度是加工阶段,包括早期和晚期的加工,这一维度包含着两类独立的资源,即与知觉相关的认知操作(如:监控、心理旋转、计算等)和与反应相关的操作(如:操纵、声音控制等);第二个维度是输入通道,指听觉、视觉和触觉等通道占用的不同资源;第三个维度是编码,指言语的或空间的编码方式(Wickens, 1984)。

多重资源理论和心理负荷是两个经常被混淆的相关概念。它们相互重叠,但又截然不同。多重资源模型体系结构由与需求、资源重叠和分配策略相关的三个部分组成。心理负荷的概念与第一个部分最密切相关,描述了任务对人类有限的心理资源的需求,无论是单一的还是多重的(Moray, 1979)。只有在多任务造成超负荷的时候,多资源理论才能对心理负荷做出重要的贡献,因为它预先预测了在超负荷的情况下会有多少表现出失败(Wickens, 2008)。该理论已被应用于有关心理负荷和人员规模的重要设计决策中(Booher & Minninger, 2005)。

3.1.2. 心理负荷与工作记忆

工作记忆(Working memory)是指在进行推理、理解和学习等复杂认知任务时,需要暂时存储与操作的能力(Baddeley, 2010)。工作记忆这个术语是由早期的短期记忆(short-term memory)概念演变而来的,现在这两个概念有时还可以互换使用。工作记忆表示对信息的临时存储,相对于工作记忆,它意味着存储的组合(Baddeley, 2012)。工作记忆是由多种模型组合而成的,目前学界最推崇的是Baddeley的多成分模型(见图1) (Baddeley, A., Working memory. Science, 1992)。中央执行系统相当于系统内核,其功能主要包括对工作记忆中各子系统功能的协调、对编码和提取策略的控制、操纵注意系统以及从长时记忆中提取信息。语音回路负责以声音为基础的信息的储存与控制,能通过默读重新激活消退着的语音表征,而且还可以将书面语言转换为语音代码。视空间模板主要负责储存和加工视觉空间信息,包含视觉和空间两个分系统(Baddeley, 2012)。在本文中主要涉及到的工作记忆成分是中央执行系统和视空间模板,因为涉及到视觉的比较和判断。

111个高校新专业聚焦国家战略。(2017)。新课程研究(中旬刊),(04),80。

Figure 1. The working memory model of Baddeley and Hitch (1974)

图1. Baddeley和Hitch (1974)的工作记忆模型

而工作记忆的负荷往往暗示了用户的整体心理负荷。Wickens (2002)在他的四维多资源模型中论证了两者之间的紧密联系,工作记忆与心理负荷之间的区别并不总是那么明显。Wickens的理论指出,两个需要同一维度水平的任务比两个不重叠的任务会产生更多的冲突。因此,需要相同模式的多个工作记忆任务很可能导致资源过载(Wickens, 2002)。如果我们可以实时观察工作记忆(或心理负荷),那么我们就可以改善用户环境,更好地支持这些过程,改善人机交互和提高性能(Peck et al., 2014)。

3.2. 心理负荷的研究内容

心理负荷的研究包括负荷预测,设备负荷评价和操作员负荷评价这三方面。比如预测飞行员的心理负荷可以为驾驶员座舱设计人员提供有用的信息,以降低飞行员出错的可能性和训练成本,提高系统的安全性和性能,提高驾驶员满意度(Zhang et al., 2019);在人机界面中,Salvucci等人研究发现当用户在处理多任务界面时,在当用户在高工作负载时体验到可延迟中断,他们可能倾向于将中断延迟到低工作负荷时处理(Salvucci & Bogunovich, 2010);Ayaz等人使用近红外光谱技术(Functional near infrared)监控被试在完成自适应界面时的心理负荷,该研究旨在提高人机系统的效率与安全性(Ayaz et al., 2012)。然而心理负荷是一个很特殊的概念,令人惊讶的是至今没有一个统一的定义(Smith & Hancock, 1995)。虽然有很多学者提供了许多的定义,但是这些陈述之间并没有达成一致的意见。在这些学者提出的定义中有一个共同点,都会涉及到人们在完成任务时的压力,这些压力来自多方面的,比如时间压力和任务的复杂性(Young et al., 2015)。

尽管关于心理负荷的性质和定义存在许多分歧,但心理负荷仍然是一个重要的、实际相关的问题和可测量的存在(Hart & Staveland, 1988)。

3.3. 心理负荷的测量方法

心理负荷的测量主要分为这三大类任务绩效测量,主观报告和生理测量(Young et al., 2015)。

3.3.1. 任务绩效测量心理负荷

任务绩效测量心理负荷是迄今为止使用最多的一种方式。可直接记录操作员在完成主要任务时的绩效(假设能尽可能的降低错误率和提高完成任务的效率),通过这项任务指标来反映操作员的执行主要任务的能力。以交通心理学研究领域为例,这些任务绩效的测量方法直接与车辆处理有关(既横向和纵向的车辆控制,如转向和车辆追随) (Young et al., 2015)。

通过评估次要任务的性能,可以监视主要任务的注意力和工作量。在任何实际的双任务场景中,其中一个任务优先于另一个任务,辅助任务的性能(在错误和时间方面)与主要任务未使用的备用容量密切相关。在各种情况下驾驶都是如此(De Waard & Brookhuis, 1997)。当驾驶员同时执行另一项车内视觉任务(例如看手机)时,视觉感知对驾驶员来说至关重要,因为视觉注意力会与主要的驾驶任务相竞争。因此,与主要任务占用相同资源的次要任务可以用作心理负荷的测量。但是必须注意确保次要任务不会干扰或增加主要任务的心理负荷。

3.3.2. 主观报告心理负荷

心理负荷不仅能在行为上观察出来,还能通过主观状态反映出来。被试可以通过语言的表达或者通过后测问卷来反映主观上的心理负荷(Zijlstra, 1993)。目前,主观报告心理负荷的方法有美国国家航天航空局任务负荷指数量表(NASA-TLX) (Hart, 2006)、主观工作量评估技术(SWAT) (Reid & Nygren, 1988)和简易快速智力评估量表(RSME) (Zijlstra, 1993)等等。接下来本文将介绍本研究将要使用的NASA-TLX量表。

NASA-TLX量表

美国国家航天航空局任务负荷指数量表(National Aeronautics and Space Administration Task Load Index),简称NASA-TLX量表,1988年由Sandra提出(Hart & Staveland, 1988)。NASA-TLX是一个多维度的量表,设计该量表的目的是为了从一个或多个操作人员执行任务时或执行任务之后,立即获取并估计心理负荷(Hart, 2006)。

NASA-TLX量表由六个分量表组成,它们代表某种程度上相互独立的变量:心理(Mental)、身体(Physical)、时间需求(Temporal Demands)、挫折(Frustration)、努力(Effort)和绩效(Performance) (见附录)。将这六个维度中的某些组合在一起,可能代表了多数人在执行大部分任务时所经历的心理负荷。这六个维度的选取是被试完成任务后主观体验到的心理负荷,再进行主要因素的分析后得到的。这些任务从简单的实验室任务到驾驶飞机都有涵盖。在研究过程中,研究人员会根据自己的研究需要,对每个分量表乘以适当的权重,得出一个适用于最适合该研究的心理负荷定义(Hart, 2006)。

NASA-TLX量表至今已经被翻译成十多种语言,通过口头、书面或计算机多种方式进行测试,并进行了各种修订。NASA-TLX量表的中文版具有良好的信效度(杨玚&邓赐平,2010)。

虽然主观报告法也可以测量心理负荷,但是这些主观报告的方法相当的复杂和费时,而且还存在一些方法学问题,例如进行实时评分时会打断被试完成任务以及被试在后测回顾任务时难免带有一些主观性的偏见,这些都会影响到实验数据的准确性(Young et al., 2015)。

3.3.3. 生理测量心理负荷

近年来随着认知神经科学的发展,越来越多的学者采用生理测量的方法进行研究。生理测量这种非侵入性的传感技术不仅弥补了主观报告法的不足,而且还为研究者提供了在实验室外记录和处理数据的解决方案。目前应用于测量心理负荷的心理学仪器主要有眼动仪,脑电(EEG) (Memar & Esfahani, 2018)和功能性近红外光谱技术(fNIRS) (Causse et al., 2017)等,在下一小节本文将主要介绍近红外在测量心理负荷所起到的作用。

3.4. 心理负荷的研究范式

N-Back任务

N-back任务是引发心理负荷的经典范式。N-back任务中被试必须连续记住一系列快速闪过的字母的最后N个,要求被试在当前刺激物与前N个刺激物之间做反应,判断这两个字母是否相同。例如,当N = 1时,被试被要求将当前刺激与前一个刺激进行比较,并做出反应,当N = 2时,被试被要求将当前刺激与前面的第二个刺激进行比较,并做出反应,以此类推。当N的值变大时,被试在工作记忆中需要暂时储存的刺激越来越多,于是引发了被试的心理负荷。

3.5. fNIRS测量心理负荷

3.5.1. 功能性近红外光谱技术(fNIRS)

功能性近红外光谱(fNIRS),这是一种光学大脑传感设备,有可能帮助洞察视觉交互(Chance et al., 1998)。近红外光谱仪使用近红外光来测量1-3cm深处组织中血液的浓度和氧合情况(Villringer & Chance, 1997)。光线以近红外(650~900纳米)的方式进入前额,在那里被头皮、头骨和大脑皮层漫反射。在这个波长,氧合血红蛋白和脱氧血红蛋白是主要的光吸收物质。一小部分射入头部的光线从大脑皮层返回到fNIRS探测器上的探测器。通过测量返回到检测器的光线,研究人员能够计算出血液中的氧气量,以及组织中的血液量。由于血流和氧合的变化表明大脑的激活水平,我们可以使用近红外光谱来测量大脑局部区域的活动(Peck et al., 2014)。

一般来说,fNIRS比其他大脑感知技术,如功能性磁共振(fMIR)或脑电图(EEG)能更快的建立和容忍用户的运动,它具有很好的生态效度(Girouard et al., 2009; Strangman et al., 2002)。在用户研究中使用fNIRS的时候,Solovey等人发现,fNIRS的信号不受较小的头部运动、呼吸和心跳的影响。此外,轻微的头部运动、呼吸和心跳是可以纠正的,因为它们可以用已知的信号处理技术过滤掉。只有头部和前额的主要运动(可能是由皱眉引起的)才会对信号产生干扰(Girouard et al., 2009)。因为fNIRS具有非常好的生态效度,所以被试可以在尽可能自然的情况下完成任务。

fNIRS是一个介于EEG和fMIR之间的一个脑传感技术。由于fNIRS测量的是血液对大脑相对较慢的血流动力学响应,信号大约有5~7秒的延迟,并且只能测到大脑皮层下1~3 cm的深度,所以与EEG相比,fNIRS的时间分辨率较低,空间分辨率较高;与fMIR相比,fNIRS的时间分辨率较高,而空间分辨率较低(Peck et al., 2014)。

综上,fNIRS的优点在于,生态效度高,使用成本低,易用且便携;缺点是由于血氧信号有延迟,对于一些快速的大脑反应无法监测到,并且深度大于3 cm的脑区也无法监测(Peck et al., 2013, 2014)。

3.5.2. 心理负荷与前额叶

前额叶皮层(The prefrontal cortex)在工作记忆和心理负荷中起着重要的作用(Herff et al., 2014)。Herff等人在研究中,使用fNIRS对被试的前额叶皮质(PFC)中的心理负荷活动进行采样。作者使用一个n-back任务(n = 123)来诱导不同程度的心理负荷,迫使被试继续记住快速变化的最后一个、两个或三个项目,不断更新工作记忆中的视空间模板。实验结果表明用fNIRS测量前额叶的血流动力学反应,可以有效的量化和分类心理负荷(Herff et al., 2014)。Ayaz等人的研究表明fNIRS具有较高的生态效度,通过测量被试的前额叶皮质,能让操作者在自然环境下进行由N-back引发的心理负荷任务和空中交通管制(ATC)复杂的认知任务。该研究结果表明,fNIR测量对心理任务负荷和练习水平较为敏感,为现场使用fNIR监测操作者相对心理负荷变化相关的血流动力学变化提供了证据(Ayaz et al., 2012)。以上研究表明,fNIRS可以通过测量被试前额叶皮质的血流动力学变化,来洞察被试的心理负荷,这为本文的研究奠定了理论依据。

3.6. 信息图形中关于工作负荷的相关研究

Cleveland和McGill进行的条形图和饼图的比较实验,是在信息可视化领域中一个比较经典的实验。Cleveland和McGill的比较任务中,研究人员向被试展示了一个条形图或饼图,并要求他们估计图中较小值与较大值之间差百分之几。他们通过计算被试的反应速度与准确性,得出位置判断(条形图)比角度判断(饼图)更有利于视觉比较的结果(Cleveland & McGill, 1984)。同样选取了速度与准确率作为行为绩效指标的还有Carswell等人的研究。Carswell等人试图探究增加透视装饰(3D图表)后,图表对被试相对大小估计值的准确性的影响。研究结果表明只有3D线形图的准确性会下降,3D的条形图与饼图并没有显著性差异(Melody Carswell et al., 1991 )。

虽然速度与准确性可以从侧面反映出被试心理负荷的大小,心理负荷大自然速度就慢,准确性会降低,但是缺乏直接测量心理负荷的情况下评估绩效,可能会导致对界面认知效率的错误结论(Bertini et al., 2010; Huang et al., 2009; Paas & Van Merrienboer, 1993; Yeh & Wickens, 1988)。Peck等人采用fNIRS脑成像仪器,实时测量被试心理负荷的情况下,探究条形图和饼图哪种图表更易于使用。Peck等人将条形图和饼图编入N-back任务,在完成任务的同时使用fNIRS监测被试大脑前额叶脱氧血红蛋白含量的变化。结果表明条形图和饼图并没有明显区别。该研究还证明了fNIRS这种大脑感知技术,可以用于视觉化的评估,其优点超过任务绩效的测量和问卷测量,还可以测量被试内在的认知状态(Peck et al., 2013)。

4. 信息可视化中关于尝试记忆的相关研究

4.1. 长时记忆

长时记忆(Long-term memory)是指存储时间在一分钟以上的记忆,一般能保持多年甚至终身。它的信息主要来自短时记忆阶段加以复述的内容,也有由于印象深刻一次形成的。长时记忆的容量似乎是无限的,它的信息是以有组织的状态被贮存起来的。有词语和表象两种信息组织方式,即言语编码和表象编码。言语编码是通过词来加工信息,按意义、语法关系、系统分类等方法把言语材料组成组块,以帮助记忆。表象编码是利用视觉形象、声音、味觉和触觉形象组织材料来帮助记忆。

长时记忆的信息提取有两种基本形式,既再认和回忆。本研究采取的是回忆任务。回忆(recall)是人们过去经历过的事物以形象或概念的形式在头脑中重新出现的过程(普通心理学,2013)。而在信息可视化领域,回忆指的是对图表具体数值、标题和趋势等的再现(Bateman et al., 2010; Borkin et al., 2016; Ragan et al., 2020; Schonlau & Peters, 2008)。

4.2. 信息可视化中关于长时记忆的相关研究

虽然一些极简主义者认为,图表设计一个避免不必要的修饰,以避免分散被试的注意力,过度关注一些无关紧要的信息,但是以下研究表明,适当增加视觉上的困难,或者增加一些装饰都有利于被试进行回忆(Hullman et al., 2011)。Borkin等人也证实了这一点,最令人难忘的可视化类型是那些在视觉上与众不同的类型(例如树状图和网络图),颜色、视觉复杂性和可辨认的对象等元素增加了可视化的记忆能力(Borkin et al., 2016)。之后Ragan等人也对装饰之后的图表对被试记忆的影响进行了探究,结果表明,相关的图案修饰确实可以改善被试对标题和主题元素的记忆力,但不会影响特定数据值的记忆力。这表明选择适当的符合主题的美学设计,可以帮助被试记忆图表信息(Ragan et al., 2020)。

除了静态的图表装饰之外,近年来兴起了一种新的可视化表达方式–叙述可视化–信息可视化与讲故事相结合。纵观历史,讲故事一直是传递信息和知识的有效方式,因为故事提供了事件之间的因果关系,使它们令人难忘(Definition, 2013)。Obie等人比较了作者驱动的叙述和缺乏作者叙述的交互式可视化,在理解能力、短期和长期记忆能力方面的影响。他们发现,在作者驱动的故事中,叙述的存在显著地促进了对信息的理解,但对从可视化的信息的长期回忆没有显著的影响(Obie et al., 2019)。

5. 信息可视化中关于态度的研究

在过去,信息图表的使用人群主要是统计学家和科研工作者,于是那时候的图表设计是为了使用户能够准确的读取数据。但是随着信息可视化越来越多的普及,日常大众媒体频繁的显示这些信息,想要获得大众的青睐,除了能准确读取到信息之外,信息图表必须还得有其他的特质,比如吸引力。所以信息可视化要具有大众能欣赏的美学吸引力是非常重要的(Quispel et al., 2016)。Cawthon和Vande Moere发现,感知美学与人们使用特定信息可视化的意愿呈正相关,这表明美学等因素确实会影响人们使用可视化的方式(Cawthon & Moere, 2007)。

Tufte认为,即使是众所周知的图表设计,比如柱状图,也包含多余的信息。于是他重新设计了一款条形图,他把条形图左侧垂线去掉了,只留下了一个“L”形的数据点指示符。然而,一些研究者建议,可以适当的添加视觉装饰,比如完全绘制出图表的元素(例如条形图用矩形表示,而不是用“L”形表示)或用少量的图表垃圾装饰,这都可以为图表提供美学上的改进(Bateman et al., 2010)。Inbar等人发现用户更喜欢非极简的图形;尽管如此,他们认为被试对极简主义设计的不熟悉可能是研究中的一个干扰因素(Inbar et al., 2007)。这一结论也得到了对3D图形的研究的支持:Levy等人发现,用户更喜欢使用3D图形向他人展示信息和增强记忆,而使用2D图形直接用于个人使用(Levy et al., 1996)。Carswell的等人对3D图表的研究发现,3D图表除了对用户的绩效有影响之外,还会影响被试对图表中呈现信息的态度,被试认为与2D形式相比,用3D形式呈现的大学更现代,更独特(Melody Carswell et al., 1991)。

以上的研究说明,在图表中进行美学上的装饰不一定会变成图表垃圾,有时候适当的装饰可以引起用户的兴趣,从而改变他对于图表的态度。

6. 三维(3D)图形与二维(2D)图形的相关研究

在信息可视化中一直存在着到底要不要对图表进行美学装饰的争论,争论的双方分为两派,以Tufte为代表的极简主义派,强调最大数据墨水比(Tufte, 1983);而以Holmes为代表的装饰主义则认为,应该对图表进行装饰设计,这样的图表更具有说服力(Li & Moacdieh, 2014)。2D图表与3D图表正好代表了这两个派别,2D图表属于极简主义,它没有多余的美学修饰;3D图表在原有二维平面的基础上增加了视觉透视,属于对图表进行了装饰,增强了美学上对用户的吸引力。所以本文选择3D和2D的条形图和饼图作为实验材料,既能够很好的代表争论的双方,又是人们所熟悉的图表类型。

3D图表在使用时一直都存在很大的争议,因为与2D图表相比,它增加了深度线索的装饰,违背了最大数据墨水比的原则,容易给用户造成不必要的视觉负担。在实际使用中,人们确实也很少使用3D图表,甚至连WPS这款热门办公软件都不提供三维的图表样式。那么三维图表真的就一无是处吗?然而前人的研究带给了我们一个不一样的答案。

Carswell等人对3D图表进行了一个比较全面的研究,他们分别从相对大小的比较,记忆,态度和趋势进行了四个独立的实验。他们的研究结果表明,在图表比较任务中,所有3D版本的图表(条形图,饼图和折线图),只有折线图出现了任务绩效的下降;在记忆任务中,同样是有3D折线图的记忆精确度最低;对于全球趋势的估计,3D折线图和条形图都比2D格式使用得更快,但这种速度是以牺牲准确性为代价的。Carswell等人对条形图和饼图的3D版本的研究中,没有发现增加深度线索对图表记忆有帮助,可能是因为主试在实验前就告诉被试之后将进行回忆任务,如果在不告知被试刻意记忆的情况下,也许这种美学的装饰就能帮助被试进行回忆了。

折线图的3D版本由于其使用效果不好,现在已经销声匿迹了,之后的研究更集中与条形图与饼图的3D版本。例如Siegrist等人评估了被试3D和2D的饼状图和条形图上的表现。他们要求被试对不同的图形做出相对大小的估计。对于饼状图,2D比3D有更好的表现。对于柱状图,更复杂的情况出现了:绩效的好坏取决于柱状图的位置、高度和尺寸。然而,3D柱状图有一个缺点,即被试需要更多的时间来评估这种类型的图形(Siegrist, 1996)。读数的准确性也是人们关注的一个问题,Russell等人测试了被试在阅读二维图形和三维图形时的感知准确性。测试通过两种方式进行:纸质和电子。对结果进行分析,得出准确度受到的影响程度取决于所使用的图形风格和所呈现的介质(Russell & Bielewicz, 2005)。

以上研究表明,3D图表并没有人们想象的那么糟糕,甚至人们更偏好与3D呈现的图表。

参考文献

[1] 杨玚, 邓赐平(2010). NASA-TLX量表作为电脑作业主观疲劳感评估工具的信度、效度研究. 心理研究, 3(3), 36-41.
[2] Ayaz, H., Shewokis, P. A., Bunce, S., Izzetoglu, K., Willems, B., & Onaral, B. (2012). Optical Brain Monitoring for Operator Training and Mental Workload Assessment. NeuroImage, 59, 36-47.
https://doi.org/10.1016/j.neuroimage.2011.06.023
[3] Baddeley, A. (2010). Working Memory. Current Biology, 20, 136-140.
https://doi.org/10.1016/j.cub.2009.12.014
[4] Baddeley, A. (2012). Working Memory: Theories, Models, and Controversies. Annual Review of Psychology, 63, 1-29.
https://doi.org/10.1146/annurev-psych-120710-100422
[5] Bateman, S., Mandryk, R. L., Gutwin, C., Genest, A., McDine, D., & Brooks, C. (2010). Useful Junk? The Effects of Visual Embellishment on Comprehension and Memorability of Charts. Conference on Human Factors in Computing Systems— Proceedings, Vol. 4, 2573-2582.
https://doi.org/10.1145/1753326.1753716
[6] Bertini, E., Lam, H., & Perer, A. (2010). BELIV’10: Beyond Time and Errors Novel Evaluation Methods for Information Visualization. Conference on Human Factors in Computing Systems—Proceedings, Florence, 5-10 April 2008, 4441-4444.
https://doi.org/10.1145/1753846.1754169
[7] Booher, H. R., & Minninger, J. (2005). Human Systems Integration in Army Systems Acquisition. In Handbook of Human Systems Integration (pp. 663-698). Hoboken, NJ: John Wiley & Sons, Inc.
https://doi.org/10.1002/0471721174.ch18
[8] Borkin, M. A., Bylinskii, Z., Kim, N. W., Bainbridge, C. M., Yeh, C. S., Borkin, D., Pfister, H., & Oliva, A. (2016). Beyond Memorability: Visualization Recognition and Recall. IEEE Transactions on Visualization and Computer Graphics, 22, 519- 528.
https://doi.org/10.1109/TVCG.2015.2467732
[9] Carswell, C. M. (1992). Choosing Specifiers: An Evaluation of the Basic Tasks Model of Graphical Perception. Human Factors, 34, 535-554.
https://doi.org/10.1177/001872089203400503
[10] Causse, M., Chua, Z., Peysakhovich, V., Del Campo, N., & Matton, N. (2017). Mental Workload and Neural Efficiency Quantified in the Prefrontal Cortex Using fNIRS. Scientific Reports, 7, Article No. 5222.
https://doi.org/10.1038/s41598-017-05378-x
[11] Cawthon, N., & Moere, A. V. (2007). The Effect of Aesthetic on the Usability of Data Visualization. Proceedings of the International Conference on Information Visualisation, Zurich, 4-6 July 2007, 637-645.
https://doi.org/10.1109/IV.2007.147
[12] Chance, B., Anday, E., Nioka, S., Zhou, S., Hong, L., Worden, K., Li, C., Murray, T., Ovetsky, Y., Pidikiti, D., & Thomas, R. (1998). A Novel Method for Fast Imaging of Brain Function, Non-Invasively, with Light. Optics Express, 2, 411.
https://doi.org/10.1364/OE.2.000411
[13] Chandar, N., Collier, D., & Miranti, P. (2012). Graph Standardization and Management Accounting at AT&T during the 1920s. Accounting History, 17, 35-62.
https://doi.org/10.1177/1032373211424889
[14] Cleveland, W. S., & McGill, R. (1984). Graphical Perception: Theory, Experimentation, and Application to the Development of Graphical Methods. Journal of the American Statistical Association, 79, 531-554.
https://doi.org/10.1080/01621459.1984.10478080
[15] De Waard, D., & Brookhuis, K. A. (1997). On the Measurement of Driver Mental Workload.
[16] Definition, S. (2013). Storytelling: The Next Step for Visualization. Computer (Long Beach, Calif.), 46, 44-50.
https://doi.org/10.1109/MC.2013.36
[17] Encarnacao, L. M. (2017). Information Visualization. IEEE Computer Graphics and Applications, 37, 6-7.
https://doi.org/10.1109/MCG.2017.25
[18] Flemisch, F. O., & Onken, R. (2002). Open a Window to the Cognitive Work Process! Pointillist Analysis of Man-Machine Interaction. Cognition, Technology & Work, 4, 160-170.
https://doi.org/10.1007/s101110200015
[19] Girouard, A., Solovey, E. T., Hirshfield, L. M., Chauncey, K., Sassaroli, A., Fantini, S., & Jacob, R. J. K. (2009). Distinguishing Difficulty Levels with Non-Invasive Brain. Proceedings of INTERACT 2009, Uppsala, 24-28 August 2009, Figure 1, 440-452.
https://doi.org/10.1007/978-3-642-03655-2_50
[20] Hart, S. G. (2006). NASA-TLX: 20 Years Later. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, San Francisco, 16-20 October 2006, 904-908.
https://doi.org/10.1177/154193120605000909
[21] Hart, S. G., & Staveland, L. E. (1988). Development of NASA-TLX (Task Load Index): Results of Empirical and Theoretical Research. Advances in Psychology, 52, 139-183.
https://doi.org/10.1016/S0166-4115(08)62386-9
[22] Herff, C., Heger, D., Fortmann, O., Hennrich, J., Putze, F., & Schultz, T. (2014). Mental Workload during n-Back Task- Quantified in the Prefrontal Cortex Using fNIRS. Frontiers in Human Neuroscience, 7, 935-940.
https://doi.org/10.3389/fnhum.2013.00935
[23] Holmes, N. (1984). Designer’s Guide to Creating Charts and Diagrams. New York: Watson-Guptill Publications.
[24] Huang, W., Eades, P., & Hong, S. H. (2009). Measuring Effectiveness of Graph Visualizations: A Cognitive Load Perspective. Information Visualization, 8, 139-152.
https://doi.org/10.1057/ivs.2009.10
[25] Hullman, J., Adar, E., & Shah, P. (2011). Benefitting InfoVis with Visual Difficulties. IEEE Transactions on Visualization and Computer Graphics, 17, 2213-2222.
https://doi.org/10.1109/TVCG.2011.175
[26] Inbar, O., Tractinsky, N., & Meyer, J. (2007). Minimalism in Information Visualization: Attitudes towards Maximizing the Data-Ink Ratio. ACM International Conference Proceeding Series, 250, 185-188.
https://doi.org/10.1145/1362550.1362587
[27] Karvonen, K. (2000). The Beauty of Simplicity. Gastrointestinal Endoscopy, 90, 393-394.
https://doi.org/10.1016/j.gie.2019.05.038
[28] Levy, E., Zacks, J., Tversky, B., & Schiano, D. (1996). Gratuitous Graphics? Putting Preferences in Perspective. Conference on Human Factors in Computing Systems—Proceedings, New York, April 1996, 42-49.
https://doi.org/10.1145/238386.238400
[29] Li, H., & Moacdieh, N. (2014). Is “Chart Junk” Useful? An Extended Examination of Visual Embellishment. Proceedings of the Human Factors and Ergonomics Society, Chicago, 5-9 October 1998, 1516-1520.
https://doi.org/10.1177/1541931214581316
[30] Loft, S., Sanderson, P., Neal, A., & Mooij, M. (2007). Modeling and Predicting Mental Workload in En Route Air Traffic Control: Critical Review and Broader Implications. Human Factors, 49, 376-399.
https://doi.org/10.1518/001872007X197017
[31] McGurgan, K. (2015). Data-Ink Ratio and Task Complexity in Graph Comprehension (p. 93). ProQuest Dissertations and Theses, September.
[32] Melody Carswell, C., Frankenberger, S., & Bernhardl, D. (1991). Graphing in Depth: Perspectives on the Use of Three-Di- mensional Graphs to Represent Lower-Dimensional Data. Behaviour and Information Technology, 10, 459-474.
https://doi.org/10.1080/01449299108924304
[33] Memar, A. H., & Esfahani, E. T. (2018). Physiological Measures for Human Performance Analysis in Human-Robot Teamwork: Case of Tele-Exploration. IEEE Access, 6, 3694-3705.
https://doi.org/10.1109/ACCESS.2018.2790838
[34] Mollerup (2007). Simplicity.
[35] Moray, N. (1979). Mental Workload: Its Theory and Measurement. Berlin: Springer.
https://doi.org/10.1007/978-1-4757-0884-4
[36] Obie, H. O., Chua, C., Avazpour, I., Abdelrazek, M., Grundy, J., & Bednarz, T. (2019). A Study of the Effects of Narration on Comprehension and Memorability of Visualisations. Journal of Computer Languages, 52, 113-124.
https://doi.org/10.1016/j.cola.2019.04.006
[37] Paas, F. G. W. C., & Van Merrienboer, J. J. G. (1993). The Efficiency of Instructional Conditions: An Approach to Combine Mental Effort and Performance Measures. Human Factors, 35, 737-743.
https://doi.org/10.1177/001872089303500412
[38] Peck, E. M., Afergan, D., Yuksel, B. F., Lalooses, F., & Jacob, R. J. K. (2014). Using fNIRS to Measure Mental Workload in the Real World. In: S. H. Fairclough, & K. Gilleade (Eds.), Advances in Physiological Computing (pp. 117-139). Berlin: Springer.
https://doi.org/10.1007/978-1-4471-6392-3_6
[39] Peck, E. M., Yuksel, B. F., Ottley, A., Jacob, R. J. K., & Chang, R. (2013). Using fNIRS Brain Sensing to Evaluate Information Visualization Interfaces. Conference on Human Factors in Computing Systems—Proceedings, Paris, 27 April-2 May 2013, 473-482.
https://doi.org/10.1145/2470654.2470723
[40] Quispel, A., Maes, A., & Schilperoord, J. (2016). Graph and Chart Aesthetics for Experts and Laymen in Design: The Role of Familiarity and Perceived Ease of Use. Information Visualization, 15, 238-252.
https://doi.org/10.1177/1473871615606478
[41] Ragan, E., Peña, A., & Harrison, L. (2020). Memorability of Enhanced Informational Graphics: The Effects of Design Relevance and Chart Type on Recall. Interdisciplinary Journal of Signage and Wayfinding, 4, 19-33.
https://doi.org/10.15763/issn.2470-9670.2020.v4.i1.a54
[42] Reid, G. B., & Nygren, T. E. (1988). The Subjective Workload Assessment Technique: A Scaling Procedure for Measuring Mental Workload. Advances in Psychology, 52, 185-218.
https://doi.org/10.1016/S0166-4115(08)62387-0
[43] Russell, A., & Bielewicz, J. (2005). 2D vs. 3D Graphing Styles: A Comparison of the Accuracy of Reader Perceptions for 2D vs. 3D Graphs. Annual Western Pennsylvania Undergraduate Psychology Conference, Pittsburgh, 23 April 2005.
[44] Salvucci, D. D., & Bogunovich, P. (2010). Multitasking and Monotasking: The Effects of Mental Workload on Deferred Task Interruptions. Conference on Human Factors in Computing Systems—Proceedings, Vol. 1, 85-88.
https://doi.org/10.1145/1753326.1753340
[45] Schonlau, M., & Peters, E. (2008). Graph Comprehension: An Experiment in Displaying Data as Bar Charts, Pie Charts and Tables with and without the Gratuitous 3rd Dimension (pp. 1-16). http://www.rand.org/pubs/working_papers/WR618.html
[46] Siegrist, M. (1996). The Use or Misuse of Three-Dimensional Graphs to Represent Lower-Dimensional Data? Behaviour and Information Technology, 15, 96-100.
https://doi.org/10.1080/014492996120300
[47] Smith, K., & Hancock, P. A. (1995). Situation Awareness Is Adaptive, Externally Directed Consciousness. Human Factors, 37, 137-148.
https://doi.org/10.1518/001872095779049444
[48] Strangman, G., Culver, J. P., Thompson, J. H., & Boas, D. A. (2002). A Quantitative Comparison of Simultaneous BOLD fMRI and NIRS Recordings during Functional Brain Activation. NeuroImage, 17, 719-731.
https://doi.org/10.1006/nimg.2002.1227
[49] Toth, J. A., & Lewis, C. M. (2002). The Role of Representation and Working Memory in Diagrammatic Reasoning and Decision Making. In M. Anderson, B. Meyer, & P. Olivier (Eds.), Diagrammatic Representation and Reasoning (Vol. 99, Issue 3, pp. 207-221). London: Springer.
https://doi.org/10.1007/978-1-4471-0109-3_12
[50] Tractinsky, N., & Meyer, J. (1999). Chartjunk or Goldgraph? Effects of Presentation Objectives and Content Desirability on Information Presentation. MIS Quarterly: Management Information Systems, 23, 397-420.
https://doi.org/10.2307/249469
[51] Tufte, E. (2001). The Visual Display of Quantitative Information. Cheshire, CT: Graphics Press.
[52] Tufte, E. R. (1983). The Visual Display of Quantitative Information. Cheshire, CT: Graphics Press.
[53] Villringer, A., & Chance, B. (1997). Non-Invasive Optical Spectroscopy and Imaging of Human Brain Function. Trends in Neurosciences, 20, 435-442.
https://doi.org/10.1016/S0166-2236(97)01132-6
[54] Wainer, H. (1984). How to Display Data Badly. The American Statistician, 38, 137.
https://doi.org/10.2307/2683253
[55] Wickens, C. D. (1984). Engineering Psychology and Human Performance. SA Journal of Industrial Psychology, 13, a457.
[56] Wickens, C. D. (2002). Multiple Resources and Performance Prediction. Theoretical Issues in Ergonomics Science, 3, 159-177.
https://doi.org/10.1080/14639220210123806
[57] Wickens, C. D. (2008). Multiple Resources and Mental Workload. Human Factors, 50, 449-455.
https://doi.org/10.1518/001872008X288394
[58] Wickens, C., & Hollands, J. G. (2000). Engineering Psychology and Human Performance. Upper Saddle River, NJ: Prentice Hall.
[59] Yeh, Y.-Y., & Wickens, C. D. (1988). Dissociation of Performance and Subjective Measures of Workload. Human Factors, 30, 111-120.
https://doi.org/10.1177/001872088803000110
[60] Young, M. S., Brookhuis, K. A., Wickens, C. D., & Hancock, P. A. (2015). State of Science: Mental Workload in Ergonomics. Ergonomics, 58, 1-17.
https://doi.org/10.1080/00140139.2014.956151
[61] Zelterman, D., & Holmes, N. (1986). Designer’s Guide to Creating Charts and Diagrams. Journal of the American Statistical Association, 81, 875.
https://doi.org/10.2307/2289051
[62] Zhang, X., Qu, X., Xue, H., Zhao, H., Li, T., & Tao, D. (2019). Modeling Pilot Mental Workload Using Information Theory. Aeronautical Journal, 123, 828-839.
https://doi.org/10.1017/aer.2019.13
[63] Zhu, Y. (2007). Measuring Effective Data Visualization. International Symposium on Visual Computing, Lake Tahoe, 26-28 November 2007, 652-661.
https://doi.org/10.1007/978-3-540-76856-2_64
[64] Zijlstra, F. R. (1993). Efficiency in Work Behaviour: A Design Approach for Modern Tools (pp. 1-186). Amsterdam: Delft University Press.