表情符号歧义性的探究
An Inquiry into the Ambiguity of Emojis
DOI: 10.12677/AP.2023.136275, PDF, HTML, XML, 下载: 172  浏览: 362 
作者: 洪 芳, 黄 璟:浙江理工大学心理学系,浙江 杭州
关键词: 表情符号歧义效价Emoji Ambiguity Valence
摘要: 目的:探究表情符号自身的歧义特性并测量歧义程度,并研究其与自身效价和唤醒度的关系。方法:采用句子评分范式、GT-CS分数(真实置信度)对每一个表情符号的歧义程度进行测量和分析。结果:1) 只有一个表情符号的GT-CS =1,其余表情符号等都具有不同的歧义程度;2) 选择某一表情为积极(t = 13.924, p < 0.001)和中性(t = 9.000, p < 0.01)表情符号的人数在高、低歧义表情上具有显著差异,但消极表情符号中人数差异不显著。结论:只有一个表情符号是完全没有歧义的,其余表情符号都具有不同的歧义程度。本研究将表情符号按歧义程度大小排序,整理出相对连续的表情符号歧义程度表;且积极表情符号和中性表情符号不容易引发歧义,消极表情符号更容易引发歧义。
Abstract: Objective: The ambiguity characteristics of the emoji itself were explored, the ambiguity characteristics of the emoji itself were measured, the degree of ambiguity was measured, and the relationship between it and its own valence and arousal was studied. Methods: The sentence scoring paradigm and GT-CS score (Ground-Truth Confidence Score) were used to measure and analyze the ambiguity of each emoji. Results: 1) GT-CS = 1 with only one emoji, and the rest of the emojis, etc., have different degrees of ambiguity; 2) The number of people who selected an emoji as positive (t = 13.924, p < 0.001) and neutral (t = 9.000, p < 0.01) had significant differences in high and low ambiguous emojis, but the number of negative emojis was not significant. Conclusion: Only one emoji in this experiment is completely unambiguous, and the rest of the emojis have different degrees of ambiguity. In this study, emojis were sorted according to the degree of ambiguity, and a relatively continuous table of emoji ambiguity degree was sorted out; and positive emojis and neutral emojis are less likely to cause ambiguity, negative emojis are more likely to cause ambiguity.
文章引用:洪芳, 黄璟 (2023). 表情符号歧义性的探究. 心理学进展, 13(6), 2224-2232. https://doi.org/10.12677/AP.2023.136275

1. 引言

表情符号在在线沟通中起重要作用,它是为了弥补在线交流缺乏非语言信息的缺点而产生的,但表情符号对沟通所发挥的作用好坏参半(荣文静,许炳坤,2017;宋素涛等,2022;Boutet et al., 2021; Gantiva et al., 2020; Van Buren, 2002)。深入探究表情符号的阻碍作用,发现它体现在若表情符号不能完美的和文本契合,则会节外生枝,诱发不利结果。除了需要注意表情符号是否与文本语境契合,还要考虑到这是否是因为表情符号自身具有歧义性,情绪指向不明确而造成的。

从人脸表情的领域可知表情的歧义性一般包含两个方面的概念,一方面是不同种群的人类可能对一个表情有不同的解读,另一方面是很多表情本身就很难用单一的基础表情来描述(蔡悦,2020)。表情符号与人脸表情类似,歧义性也基本上来自于这两个方面。表情符号作为文本信息的补充,它的歧义性也影响了沟通,但前人研究更多的集中于影响研究而疏于实证。唐清霞以QQ表情为例,分析了表情符号的特点,在网络交流中的表达功能,并且考虑了其在传递信息时的局限性,如表意不全,解读困难等,这些局限性都可能会造成表情符号的多义性理解(唐清霞,2008)。顾宇蓉分析了网络表情符号在人际传播中的消极影响,符号的“能指”指向性不明、含义模糊,进而让受众解读的“所指”各有不同,因此会造成传播中理解的偏差(顾宇蓉,2013)。郑玮从符号学的角度来诠释网络表情符号的本质。符号的主观随意性使受众对网络表情有不同的解读(郑玮,2010)。林振扬指出受众了解网络表情符号的意义与其经验、社会化过程等密切相关,由于双方的文化背景迥异,在使用网络表情交流时,可能会对符号产生认知落差(林振扬,2016;张洛伊,2017)。由此可知,前人研究大多集中于表情符号歧义性的不良影响,但对于表情符号为何具有歧义性的研究还存在欠缺,因此本研究欲探究表情符号自身的歧义性特点,弄清楚不同的表情符号所传递的情感是否清晰。

目前对于表情符号领域歧义性的研究还相对较少,蔡悦在他的研究中为研究面孔歧义性开创了一个新的研究范式(蔡悦,2020):首先给被试呈现一个图像,要求被试从7个基本情绪中(愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性,这些情绪选自Ekman (Ekman, 1993)对于人类基本情绪的研究)选择一个或大于一个来描述给定的图像。接着,主要关注每张图像投票结果中的最大票数和总票数,就可以将这张图像的歧义程度定义为最大票数和总票数的比值。称其为GT-CS (Ground-Truth Confidence Score,真实置信度)分数,计算方法见式(1):

GT-CS = Max / Sum (1)

在这里,GT-CS是针对图像的,也就是说每张图像都有自己的GT-CS分数。这样定义的理由在于,如果一张图像是很单纯的基础情感,那么大家对这张图的认知应该是近似一致的,自然会将票数投给同一种情绪,反之亦然。理论上GT-CS = 1是最好的情况,这意味着所有人都投给了同一个标签。而GT-CS = 1/7就是最差的情况,这意味着一个表情下面七个标签的票数是相同的,人们对于其表情的判断近似于随机猜测(蔡悦,2020)。他在后续的研究中也验证了此种方法的有效性,因此本文也主要借鉴了这种方法。

郑飞宇在其文章中选取了20名学生,要求其根据Ekman (Ekman, 1993)研究中的7种人类基本情绪做出相应表情并拍照,同时要求学生们在每种情绪下做出高、中、低三种强度而设计出了部分面孔微渐变图组,对于模糊表情的解释偏向做出了研究(郑飞宇,2019)。这也在一定程度上印证了表情的歧义来源于面孔中不同情绪与其强度的比例。Kinchella等学者为了得到不同歧义程度的面孔表情,在他们的研究中通过操纵面部表情模糊性(快乐与愤怒的不同比例)来设置(Kinchella & Guo, 2021),也可以说明歧义的表情就是因为其同时具有多种情感且强度占比不同而产生的。根据上述学者的研究,我们可以认为,面孔、表情歧义低的特质就是它所传达的情绪是准确、唯一的且情绪强烈程度较高,对应到操作层面来说,一个低歧义的表情,就是无论选取多少被试选择其包含的情绪,都应该相对集中在同一个情绪标签上,而且被试对于该表情符号的唤醒度会更高。

因此,本研究也将遵循此原则,借鉴蔡悦(蔡悦,2020)的方法对不同表情符号歧义性分数进行计算并排序,同时收集该表情符号的效价和唤醒度进行综合分析,得出如下假设:

H1:不同的表情符号有不同的歧义程度,根据GT-CS分数,分数越高,歧义程度越低;分数越低,表情符号歧义程度越高。

H2:积极和消极表情符号的歧义程度更低,中性表情符号的歧义程度更高。

H3:唤醒度方面,积极情绪和消极情绪的表情符号唤醒度更高且显著高于中性表情符号。

2. 研究方法

2.1. 研究对象

被试选取30名浙江理工大学的学生,平均年龄为22.8 ± 3.29岁,其中23名为女生,7名为男生。被试的母语均为汉语,裸眼或矫正视力正常,没有色觉障碍。所有被试事先不知实验目的,自愿参加实验并在实验前填写了知情同意书,实验结束后获得一定的报酬。

2.2. 实验材料

实验中用到的所有表情符号来自表情符号网站(http://www.emojiall.com)。

最终在所有表情符号中选取了82个。选取标准:1) 仅人脸;2) 能够表示一定人物状态;3) 排除不符合人脸正常有的其他元素(如爱心、光环等)。选取标准参考了Franco (Franco & Fugate, 2020)的研究。每一个表情符号的分辨率固定为120 × 120。情绪词选取Ekman (Ekman, 1993)研究中人类的7种基本情绪,它们分别是:愤怒、厌恶、恐惧、快乐、悲伤、惊讶、中性(平静)。

2.3. 实验仪器

实验程序采用心理学实验编程软件E-Prime 2.0编写。实验材料在13英寸的笔记本电脑上呈现。屏幕分辨率为2160 × 1440像素,刷新率为60 Hz。表情符号以120 × 120分辨率呈现在屏幕中央。

2.4. 实验设计

实验采用单因素(表情符号)被试内设计进行实验。

因变量为GT-CS分数与效价和唤醒度。GT-CS分数,即真实置信度,代表表情符号的歧义程度,该分数越大,歧义程度越低;分数越小,歧义程度越高,取值范围为[1/7, 1],计算方法见式(2):

GT-CS = Max / Sum (2)

对于效价和唤醒度,由于表情符号与人脸表情具有相似性,本研究也考虑收集被试对于表情符号的效价和唤醒度的评级。JA Russel (Russell, 1980)等人提出了一种基于Valence-Arousal机制的人脸表情模型。研究表明,人脸表情所表达的情感可以分解为valance和arousal两个维度,其中valence意味效价值,描述了该情感的积极程度,而arousal意味唤醒值,描述了该情感的强度如何。例如,当valence和arousal都很高的时候,就表达出了“高兴”的情感。

2.5. 实验任务和流程

本研究采用句子评分范式(Walther, 1992),当被试每看完一个表情符号按“ENTER”键翻页,选择该表情符号蕴含的所有情绪词后,在键盘上对该表情符号的情绪效价(消极、中性、积极)进行选择、对唤醒度进行Likert7点评分。

每个被试单独施测。被试进入实验室后,首先向被试介绍实验室的环境。然后被试阅读实验指导语。当被试阅读完之后,由主试简要的介绍实验过程以保证被试对实验程序理解无误,然后才开始实验。被试观看屏幕上呈现的表情符号,其中前5个表情符号为练习,当被试练习结束后,开始正式的实验,整个实验过程大约持续15分钟。实验流程如图1所示。

Figure 1. Schematic diagram of the experimental process

图1. 实验流程示意图

被试的任务是依次观看每个表情符号,通过按对应数字键选择该表情符号蕴含的所有情绪词,并对每一个表情符号情绪效价、唤醒度进行评分。如情绪效价评分方面,“你觉得刚才看到的这个表情符号情绪是怎样的,1=消极,2=中性,3=积极”;在唤醒度方面,“你觉得刚才看到的这个表情符号唤醒度是怎样的,1=非常平静,4=中等,7=非常激动”。评分结果在此过程中不给予任何反馈。整个实验一共包含82个表情符号,每评完41个休息一次,休息时长1分钟。

3. 研究结果

3.1. 歧义程度分析

根据被试的选择结果,本研究对82个把表情符号的歧义程度进行了从大到小排序。部分结果如表1所示。

Table 1. Emoji ambiguity degree poll results (partial)

表1. 表情符号歧义程度投票结果(部分)

上述结果表明,每一个表情符号都会有一个相对应的GT-CS分数,在所有表情符号中,仅有一个表情符号是完全没有歧义的。根据计分规则,真实置信度(GT-CS分数)越小,代表歧义程度越高,真实置信度越大,代表歧义程度越低。表1中前10个表情的分数最低,代表歧义程度最高;后10个表情的分数最高,代表歧义程度最低。

3.2. 情绪效价分析

在情绪效价方面,根据所有被试对同一表情符号的选择取众数,得到了每一个表情符号对应的效价,部分结果见表2

表2中的选择当前表情为该情绪效价的人数进行配对样本t检验,结果显示,积极表情符号中,选择当前表情为高、低歧义的人数具有显著差异(t = 13.924, p < 0.001),选择当前表情为低歧义表情的人数显著多于选择其为高歧义表情的人数;中性表情符号中,这两者在0.01的水平上存在显著差异(t = 9.000, p < 0.01)且选择该表情为高歧义的人数低于选择其为低歧义的人数;但在消极表情符号的情况下两者的差异不显著,结果见表3

Table 2. Emoji sentiment valence (partial)

表2. 表情符号情绪效价(部分)

注:括号内为选择当前表情为该情绪效价的人数。

Table 3. The difference between the number of people with high and low ambiguous expressions selected for different emotion valences

表3. 不同情绪效价选择高、低歧义表情人数的差异检验

注:*p < 0.05,**p < 0.01,***p < 0.001,下同。

选择每种情绪效价下表情符号的歧义程度进行单因素方差分析,结果显示,每种情绪效价下歧义程度的差异显著(F = 12.144, p < 0.001),多重比较结果表明,消极表情和中性表情的歧义程度都在0.001的水平上显著高于积极表情,但这两者之间的歧义程度不存在差异,结果见图2,H2仅被部分证实,只有积极表情符号的歧义程度是最低的。

上述结果表明,低歧义的表情符号在某一特定效价上选择的人数更多,更能说明低歧义的表情符号所表现出来的“积极”或“中性”特质更明显,消极表情符号情况下,高、低歧义表情符号的选择不存在差异。但对不同情绪效价下的表情符号进行歧义程度的分析发现,积极表情符号的歧义程度是最低的。

3.3. 唤醒度分析

在唤醒度方面,根据被试对同一表情符号的选择取均值(近似),得到了每一个表情符号对应的唤醒度。

选择每种情绪效价下表情符号唤醒度的值进行单因素方差分析,结果显示,每种情绪效价下唤醒度的差异显著(F = 9.011, p < 0.001),多重比较结果表明,消极表情与积极表情唤醒度之间的差异不显著,但消极表情的唤醒度在0.001水平上高于中性表情符号,积极表情的唤醒度在0.01的水平上高于中性表情,H3被证实是正确的,结果见图3

Figure 2. The degree of ambiguity varies under different emotional valences

图2. 不同情绪效价下歧义程度差异

Figure 3. Differences in arousal under different emotional valences

图3. 不同情绪效价下的唤醒度差异

上述结果表明,积极和消极情绪的表情符号唤醒度更高,更容易引起情绪上的起伏反应,相对应的感受到的情绪强度会更高。而中性情绪在这方面没有太大的作用。

4. 分析与讨论

因为表情符号在网络沟通中的作用好坏参半,才让我们开始关注表情符号在发挥作用时的起效机制。在对于表情符号自身的探索中,我们发现,有部分表情符号本身就是模棱两可的,由于其含义的不确定性会导致信息理解出现问题,因此本研究又细致地对表情符号的歧义特性进行了探究。

首先根据前人对于表情歧义的研究对表情符号的歧义性进行测量。在郑飞宇、Kinchella等(郑飞宇,2019;Kinchella & Guo, 2021)几位学者的研究中,由于要设计歧义性面孔作为实验材料,均采用了在同一面孔中设置多于一种的情绪,并调整了不同情绪在表情中的强度占比的方法。这与蔡悦(蔡悦,2020)使用GT-CS分数计算人脸表情歧义的方法原理如出一辙。蔡悦在研究中设置了一种具体的计算方法,即使用所有被试选择同一表情中的最大情绪票数与总票数的比值作为一个表情的歧义程度。在我们的研究中,也根据此种方法对表情符号的歧义程度进行了排序,每一个表情符号都分别对应一个歧义程度分数,分数越低代表歧义程度越高,反之亦然。在我们选取的所有表情中只有一个表情符号的分数为1,代表完全没有歧义。

据此方法我们计算出了每一个表情符号的歧义程度并进行了排序,并在后续与收集到的效价和唤醒度做出了部分分析。我们猜测,不论情绪效价如何,低歧义的表情符号都应该比高歧义的表情符号在情绪标签上更聚焦,但消极表情的结果却与我们的假设不一致。本研究猜测是因为我们给出的7种基础情绪中,有多个情绪标签偏向负面情绪,例如悲伤、恐惧、厌恶等等,虽然指向不同方向,但整体情绪上都属于消极。大多数心理学理论认为,刺激的不确定性本质上是令人厌恶的,通常会导致负面情绪感知和反应。通过查阅文献可知,当表情模棱两可时,人们对于这种模糊表达的感知受到解释偏差影响,这通常是一种消极偏见,即倾向于将不确定的刺激或事件解释为消极,以确保更紧急的反应(Rozin & Royzman, 2001)。Neta和Whalen也在研究中发现对于惊讶的面部图像,参与者更倾向于将模糊的惊讶表情解释为负价(Neta & Whalen, 2010),因此在消极表情符号中,高、低歧义表情选择其为消极效价的人数上才不存在差异。关于此本研究猜测还有一种可能,因为Jones (Jones et al., 2020)在研究中指出情绪消极偏见在女性中更为常见,而本研究中的女性被试数量较多,占所有被试的76%,因此也有可能是造成以上结果的原因。

在不同表情的唤醒度方面,我们的研究与前人研究结果一致,我们的结果发现积极和消极效价的表情唤醒度高于中性表情,Jones等学者也在研究中指出,在许多类型的刺激中(文字、情感图片、面孔),对于更高的唤醒度和更极端的消极和积极刺激,效价和唤醒度共享一个U型关系(Jones et al., 2020)。Yao等人在文章中指出,效价对情感启动的贡献比唤醒度更强,情感词的效价信息往往比语义系统中的唤醒信息更稳定(Yao et al., 2019),这样也能证明,情绪效价是积极或消极时,唤醒度会高于中性表情。李萍在文章中指出,中性表情是效价模糊的面孔表情,中性表情因为在情绪选择上既不指向快乐等积极情绪,也不指向悲伤等消极情绪(李萍,2019),更多的表示一种平静,因此唤醒度会更低。

5. 结论

只有一个表情符号是完全没有歧义的,其余表情符号都具有不同的歧义程度。本研究将表情符号按歧义程度大小排序,整理出了相对连续的表情符号歧义程度表;积极表情符号和中性表情符号不容易引发歧义,消极表情符号更容易引发歧义。

参考文献

[1] 蔡悦(2020). 人脸表情离散模型识别与表情歧义性研究. 硕士学位论文, 南京: 南京大学.
https://doi.org/10.27235/d.cnki.gnjiu.2020.001984
[2] 顾宇蓉(2013). 网络表情符号初探——以QQ表情为例. 南通纺织职业技术学院学报, 13(1), 46-50.
[3] 李萍(2019). 中性和惊讶面孔表情加工情境效应的事件相关电位研究. 硕士学位论文, 大连: 辽宁师范大学.
[4] 林振扬(2016). 网络表情符号的符号学阐释. 美术大观, (2), 128.
[5] 荣文静, 许炳坤(2017). Emoji模糊性的研究. 齐齐哈尔大学学报(哲学社会科学版), (3), 131-133+144.
https://doi.org/10.13971/j.cnki.cn23-1435/c.2017.03.037
[6] 宋素涛, 张伟涛, 江敏, 全丽娜, 车晓玮, 王荣, 佟月华, 郑元杰(2022). 语境对愤怒与厌恶面孔表情知觉的影响. 中国临床心理学杂志, 30(2), 256-261.
https://doi.org/10.16128/j.cnki.1005-3611.2022.02.003
[7] 唐清霞(2008). QQ表情符号在网络聊天中的表达功能及其局限性. 今日南国(理论创新版), (4), 154-155+216.
[8] 张洛伊(2017). 网络表情符号的多义性研究. 硕士学位论文, 重庆: 西南政法大学. https://kns.cnki.net/kcms2/article/abstract?v=3uoqIhG8C475KOm_zrgu4lQARvep2SAkZIGkvqfmUZglMdu7fCR481nvrZzXlDf6TuCW1-zPGJGEr1hRzOrrkjH6rNtOVa-c&uniplatform=NZKPT
[9] 郑飞宇(2019). 抑郁解释偏向测评工具的研制及其应用. 硕士学位论文, 重庆: 中国人民解放军陆军军医大学.
https://doi.org/10.27001/d.cnki.gtjyu.2019.000375
[10] 郑玮(2010). 解读网络表情符号. 青年记者, (20), 109-110.
https://doi.org/10.15997/j.cnki.qnjz.2010.20.051
[11] Boutet, I., LeBlanc, M. A., Chamberland, J., & Collin, C. (2021). Emojis Influence Emotional Communication, Social Attributions, and Information Processing. Computers in Human Behavior, 119, Article ID: 106722.
https://doi.org/10.1016/j.chb.2021.106722
[12] Ekman, P. (1993). Facial Expression and Emotion. American Psychologist, 48, 384-392. https://psycnet.apa.org/record/1993-32252-001
https://doi.org/10.1037/0003-066X.48.4.384
[13] Franco, C. L., & Fugate, J. M. B. (2020). Emoji Face Renderings: Exploring the Role Emoji Platform Differences Have on Emotional Interpretation. Journal of Nonverbal Behavior, 44, 301-328.
https://doi.org/10.1007/s10919-019-00330-1
[14] Gantiva, C., Sotaquira, M., Araujo, A., & Cuervo, P. (2020). Cortical Processing of Human and Emoji Faces: An ERP Analysis. Behaviour& Information Technology, 39, 935-943.
https://doi.org/10.1080/0144929X.2019.1632933
[15] Jones, L. L., Wurm, L. H., Norville, G. A., & Mullins, K. L. (2020). Sex Differences in Emoji Use, Familiarity, and Valence. Computers in Human Behavior, 108, Article ID: 106305.
https://doi.org/10.1016/j.chb.2020.106305
[16] Kinchella, J., & Guo, K. (2021). Facial Expression Ambiguity and Face Image Quality Affect Differently on Expression Interpretation Bias. Perception, 50, 328-342.
https://doi.org/10.1177/03010066211000270
[17] Neta, M., & Whalen, P. J. (2010). The Primacy of Negative Interpretations When Resolving the Valence of Ambiguous Facial Expressions. Psychological Science, 21, 901-907.
https://doi.org/10.1177/0956797610373934
[18] Rozin, P., & Royzman, E. B. (2001). Negativity Bias, Negativity Dominance, and Contagion. Personality and Social Psychology Review, 5, 296-320.
https://doi.org/10.1207/S15327957PSPR0504_2
[19] Russell, J. A. (1980). A Circumplex Model of Affect. Journal of Personality and Social Psychology, 39, 1161-1178.
https://doi.org/10.1037/h0077714
[20] Van Buren, A. (2002). The Relationship of Verbal Nonverbal Incongruence to Communication Mismatches in Married Couples. North American Journal of Psychology, 4, 21-36.
[21] Walther, J. B. (1992). Interpersonal Effects in Computer-Mediated Interaction: A Relational Perspective. Communication Research, 19, 52-90.
https://doi.org/10.1177/009365092019001003
[22] Yao, Z., Zhu, X., & Luo, W. (2019). Valence Makes a Stronger Contribution than Arousal to Affective Priming. Peerj, 7, e7777.
https://doi.org/10.7717/peerj.7777