新视觉语法下自闭症儿童绘本的人际意义构建研究——以《我的孤独症朋友》为例
Research on the Construction of Interpersonal Meaning in Children’s Picture Books for Autism under the New Visual Grammar—Taking “My Friend with Autism” as an Example
摘要: 随着国家和国际社会对儿童自闭症问题的日益重视,学术界对于自闭症的研究和治疗手段不断丰富和深化。近年来,绘本在治疗自闭症儿童中发挥了显著的作用,本文以新视觉语法分析框架为基础,结合系统功能语言学的人际功能,以《我的孤独症朋友》为语料,探究自闭症儿童英语绘本中图像模态建构人际意义的方式。在丰富新视觉语法理论应用的同时,为科学优化自闭症儿童绘本提供思路。
Abstract: As the nation and international society increasingly prioritize the issue of autism in children, academic research and therapeutic approaches have become increasingly diverse and advanced. In recent years, picture books have played a significant role in the treatment of children with autism. This study is based on the framework of new visual grammar and integrates the interpersonal function from systemic functional linguistics, using “My Friend with Autism” as the corpus. The research explores how images in children’s English picture books for autism construct interpersonal meanings. This not only enriches the application of new visual grammar theory but also provides insights for the scientific optimization of picture books for children with autism.
文章引用:王滋润. 新视觉语法下自闭症儿童绘本的人际意义构建研究——以《我的孤独症朋友》为例[J]. 现代语言学, 2025, 13(5): 682-688. https://doi.org/10.12677/ml.2025.135526

1. 引言

自闭症谱系障碍(Autism Spectrum Disorder, ASD)是一种神经发育性疾病,核心特征为社交沟通障碍、刻板行为及感知觉异常。自闭症儿童存在语言发展迟缓,且在社交互动中表现出显著的共情缺失与情感识别困难:他们难以理解面部表情、肢体语言等非语言线索,对社交情境的主动参与度低,常陷入“自我中心化”的孤立状态。研究指出,自闭症儿童的视觉信息处理能力优于听觉通道,对色彩、线条、动态图像的敏感度显著高于文字与语音[1],这一特质为绘本干预提供了生理学基础。绘本作为视觉优先的多模态媒介,通过图像叙事、色彩符号与互动设计三重机制,成为突破自闭症儿童社交壁垒的关键工具。在众多自闭症儿童绘本读物中,《我的孤独症朋友》在2022年被教育部专家选为幼儿推荐图画书,该书以同伴视角呈现,展现了孤独症儿童与普通儿童的相似性与独特性,强调孤独症儿童在不同方面的优势与挑战。全书内容涵盖孤独症儿童的感觉统合敏感性、沟通方式的特殊性、独特的游戏行为模式以及对日常规律的依赖性等核心特征。因此,本研究重新视觉语法理论出发,通过研究绘本如何利用图像模态共建人际意义以达到吸引自闭症儿童阅读、改善自闭症儿童社交障碍的语篇目的,旨在为国内自闭症儿童绘本设计提供借鉴和参考。

2. 研究回顾

2.1. 新视觉语法理论

系统功能语言学(Halliday, 1978; Halliday & Matthiessen, 2004)为多模态语篇分析奠定了理论基础,其核心在于语言作为社会符号资源的三大元功能:概念功能、人际功能和语篇功能[2]。随着“互联网 + 图像”时代的到来,单一的语言分析已无法完全解释文本和图像共同构建的意义,视觉语法应运而生。Kress和van Leeuwen (1996)提出的早期视觉语法理论基于语言的三大元功能,构建了再现意义、互动意义和构图意义的分析框架[3],分别揭示图像表达的内容、图像与读者之间的关系以及图像的语篇衔接功能。Painter等(2013)在Kress和van Leeuwen理论的基础上,提出了新视觉语法分析框架,包含人际意义系统、概念意义系统和组篇意义系统[4],并进一步完善了图像分析的理论工具。新视觉语法突破了传统视觉语法对单一图像的局限性,将研究对象扩展到由多个图像组合而成的复杂视觉叙事,并重新阐释了传统理论中备受争议的观点,同时加入了情感表征、氛围营造等重要分支。

在人际意义系统中,Painter等(2013)提出了一套新的分析框架,包括聚焦系统、情感系统和氛围系统(颜色系统) [4]。聚焦系统用于解释图像人物与读者之间互动的不同视角,以及图像与图像之间的人际意义构建视角;情感系统用于分析图像与读者之间的情感交流方式;氛围系统则通过色彩设计反映图像所营造的氛围及其变化。Painter等的新图像人际意义构建分析框架为图画书的视觉叙事解读提供了科学的理论工具。本研究结合新视觉语法的人际意义系统,构建了分析框架,并将其应用于自闭症儿童绘本图像的构建研究中,以期为提升绘本质量提供参考。

2.2. 绘本研究

绘本作为典型的多模态语篇形式,已成为视觉语法研究的重要领域。Guijarro和Sanz (2008)基于视觉语法与韩礼德语言学理论,对一本图画书进行了多模态分析[5],旨在考察视觉与语言成分在意义构建中的作用。随后,Guijarro (2011)进一步拓展研究,以系统功能语法和视觉社会符号学为理论框架,探讨插图画家在构建读者与被代表参与者之间互动关系时的人际选择[6]。研究证实,将图像与文字作为相互依存的组成部分进行多模态分析,是挖掘绘本中图文结合潜力的关键手段。视觉语法已成为绘本研究的重要理论工具。然而,针对我国自闭症儿童绘本的研究仍较为稀缺。有鉴于此,本研究以系统功能语法和Painter等人(2013)提出的新视觉分析框架为理论依据,从人际意义的视角对《我的孤独症朋友》中的图像进行深入分析,旨在探讨视觉语法在自闭症儿童绘本研究中的适用性及其可能的完善方向。

3. 图像人际意义构建分析

在新视觉语法理论中,人际意义的构建占据核心地位,绘本通过视觉图像传递情感信息,旨在培养儿童在阅读过程中的共情能力,从而提升其判断力。基于新视觉语法人际意义理论框架,本文从聚焦系统、情感系统和氛围系统三大维度(如图1所示),对《我的孤独症朋友》的视觉图像内涵进行深入研究。

3.1. 聚焦系统

聚焦系统主要涵盖两个维度:一是图像中角色与读者之间是否存在互动关系;二是图像为读者提供的阅读视角类型。在互动关系层面,图像可划分为接触型与旁观型两类,其中接触型又可进一步细分为直接接触与间接接触。具体而言,直接接触指图像角色与读者存在直接的眼神交流,而间接接触则指通过角色的头部或眼部朝向与读者进行交流。在视角层面,根据Painter等人的分类,图像可分为有中介与无中介两种图像(Painter et al., 2013: 24)。为了便于理解,我们借用电影研究中主观镜头( subjective shot)与客观镜头的术语,将无中介视角称为客观视角,有中介视角称为主观视角[7]。其中,主观视角指的是读者通过图中人物的视角进行阅读,而客观视角则指读者的视角与图中人物视角不一致。值得注意的是,主观视角又可细分为直示主观视角和引发主观视角。前者指读者跟随图像中某一角色的视角,观察另一角色的表情或动作;后者则指读者通过当前图像中的角色推断另一角色的表情或动作,这一过程往往需要结合前后画面进行分析。基于上述分类,本文将对《我的孤独症朋友》图像进行量化分析(见表1)。

根据分析,故事中的“孤独症朋友”共有24个画像。从互动关系来看,绘本中人物与读者以间接接触为主,侧重展现角色间的互动关系,体现孤独症朋友的独特社交模式和日常生活状态。从视角选择来看,图像以直视主观视角为主,读者可以通过角色的视角更深入地融入故事,从而更深刻地理解孤独症儿童的内心世界。在接触和主观视角下,意义的建构更多依赖图像的视觉表达,而在旁观和客观视角下,则更侧重于文字的叙述作用。下面选取《我的孤独症朋友》中较为典型的案例进行说明。图2通过间接眼神接触和直示主观视角的叙事手法,生动地展现了孤独症朋友与环境的互动关系。这一画面采用了间接眼神接触的聚焦方式,避免了直接对视可能带来的视觉压力,而是通过角色的头部朝向和轻微的眼神交流,引导读者关注其专注的内在状态。从视角分析来看,图2采用了直示主观视角,读者的观察角度与孤独症朋友的视角保持一致。这种视角选择使读者能够直观地感受到角色的专注与沉浸,画面中孤独症朋友正在观察某种自然现象,如树枝的纹理或者小鸟的活动,这些细节在画面中得到了细腻的描绘。通过这种视角的呈现,读者仿佛置身于角色的位置,能够更深入地理解其对细节的关注和对环境的独特感知。

Figure 1. Analytical framework for interpersonal meaning in the new visual grammar

1. 新视觉语法人际意义分析框架

Table 1. Statistical analysis of images in “My Friend with Autism” from the perspective of the focalization system

1. 聚焦系统视域下《我的孤独症朋友》图像数量统计

互动

视角

接触

旁观

主观

客观

直接接触

间接接触

直示主观

引发主观

数量

5

14

2

18

0

6

Figure 2. Selected Images 2 from “My Friend with Autism” (Page 3)

2. 《我的孤独症朋友》图选2 (3页)

3.2. 情感系统

在视觉叙事研究中,人际意义的重要子系统之一是情感介入(Painter et al., 2013)。图像的表现形式(如写实、抽象等风格)不仅是情态的体现,更是作者构建读者与图像人物之间情感关系的叙事策略。具体而言,情感介入可分为两种主要表征方式:介入与异化。介入方式指读者与图像中人物之间存在情感联系,作者通过特定的叙事手段吸引读者的情感投入;而异化方式则表现为读者以一种客观、批判的态度与图像互动,情感投入较少根据读者情感投入的不同程度,介入方式又可细分为三种类型:鉴赏类、移情类与个体类。鉴赏类图像通常采用简约的风格,较为抽象,注重形式美感;移情类图像则以类化风格为主,人物形象具有普遍性,读者能够较为容易地识别其情感状态,但无法明确分辨具体人物;个体类图像则采用自然风格,图中人物以个体照片形式呈现,面部表情和情感表现具有高度的真实性,三类图像情感介入程度由低到高。

按照Painter等(2013)的观点,鉴赏类图像引发观众情感较弱,移情类图像较能促使读者对图像中的人物产生情感或态度,个体类图像较能引起读者联系现实中的自己。在《我的孤独症朋友》中,全篇采用移情类图像的叙事策略(如图3),其优点和好处主要体现在以下几个方面:首先,移情类图像通过类化风格的视觉呈现,能够有效引发读者对图像中人物的情感共鸣。这种风格既保持了角色形象的普遍性,又避免了过于具体化可能导致的刻板印象,从而为读者提供了更广阔的想象空间,使其能够更深入地理解孤独症朋友的情感状态和内心世界。其次,移情类图像的叙事策略在视觉呈现上注重情感的传达,能够更好地平衡情感介入与客观呈现的关系。通过类化风格的角色设计,图像既展现了孤独症朋友的独特性,又避免了过于个性化可能导致的解读偏差。这种叙事方式使读者能够在情感层面与角色建立联系,同时保持一定的距离感,从而更全面地理解孤独症朋友的行为特征和社交互动模式。此外,移情类图像的叙事策略还能够增强故事的代入感和感染力。通过类化风格的视觉呈现,图像能够更直观地传达孤独症朋友的情感变化和心理活动,使读者在情感层面与角色产生共鸣,从而更深刻地理解其独特的生活状态和社会环境。这种叙事方式不仅提升了故事的艺术性,也为学术研究提供了丰富的视觉依据,进一步深化了对孤独症群体特征的探讨。

3.3. 氛围系统

在视觉叙事研究中,氛围(ambience)作为情感基调的重要构成,主要通过色彩的运用得以构建(Painter et al., 2013: 35)。Kress和van Leeuwen (1996)指出,颜色作为一种符号资源,不仅具备概念功能和组篇功能,还能实现人际功能,因此未将其单独归入人际意义的分析框架。然而,Painter等(2013)在Kress和van Leeuwen (2012)的基础上,将颜色纳入人际意义的研究范畴,并提出了一套分析颜色资源的理论框架。

Figure 3. Selected Images 3 from “My Friend with Autism” (Page 19)

3. 《我的孤独症朋友》图选3 (19页)

该框架首先区分了情感氛围的激活与否,即是否使用彩色。值得注意的是,黑白色彩无法有效营造情感氛围。在彩色图像中,色彩主要从色度、色调和自然度三个维度进行分析。首先,色度可分为高色度和低色度,前者代表高饱和度的鲜艳色彩,后者则为低饱和度的灰暗色彩。从情感氛围的角度来看,鲜艳色彩通常营造兴奋、充满活力的氛围,而灰暗色彩则倾向于构建沉郁、克制的情感基调(Painter et al., 2013: 37)。其次,色调可分为暖色调和冷色调,前者主要指红色和黄色,后者则指蓝色和绿色。暖色调通常与温馨、舒适的氛围相关联,而冷色调则倾向于营造冷漠、疏远的情感氛围。最后,自然度反映了色彩的丰富程度。色彩越丰富,越能体现自然色彩的特点,从而拉近与读者的距离;反之,单一色彩则显得较为抽象,难以与读者建立情感联系。从情感氛围的角度来看,自然色彩因其熟悉性和亲切感,能够有效拉近与读者的距离;而单一色彩则因缺乏这种特性,难以引发强烈的情感共鸣。与电影中的音乐类似,漫画作者可以通过选择不同的色彩组合,构建多样化的情感氛围,从而引发读者的情感共鸣。这一理论框架不仅为分析视觉叙事的情感基调提供了依据,还能够用于探讨不同类型视觉叙事在不同阶段情感氛围的变化规律。

《我的孤独症朋友》全篇采用高饱和度、暖色调、自然的色彩搭配,具有显著的叙事优势。高饱和度的暖色调能够有效激发读者的情感共鸣,营造积极、温暖的情感基调。这不仅增强了画面的视觉吸引力,还通过色彩的心理暗示作用,传递出积极、乐观的情感基调。如图4,画面中采用了红棕色作为主色调,通过高饱和度的色彩渲染,展现了与孤独症朋友一起跑、跳、转圈的活力场景,进一步强化了轻松、愉悦的情感氛围。这种色彩与情感的互动,不仅增强了故事的叙事张力,还为读者提供了更深刻的情感体验。

4. 结语与展望

本研究基于新视觉语法理论框架,通过对绘本《我的孤独症朋友》的多模态图像分析,系统揭示了自闭症儿童绘本在人际意义构建中的独特策略及其对社交能力培养的积极价值。研究发现,绘本通过聚焦系统、情感系统与氛围系统的协同作用实现人际意义建构:聚焦系统以间接接触与主观视角缓解视觉压力,引导读者关注角色内在情绪;情感系统借助类化角色设计与移情图像平衡情感共鸣与客观呈现;氛围系统则通过高饱和度暖色调与自然色彩传递积极情感基调。三者共同搭建了读者与角色间的情感桥梁,为自闭症儿童理解社交互动提供视觉支持。该研究不仅拓展了儿童绘本的语言学分析维度,为国内自闭症主题绘本的创作与干预实践提供理论依据与设计思路,同时通过实证研究验证了视觉语法在人际意义建构中的有效性,进一步提升了此类绘本在治疗与教育中的应用潜力。

Figure 4. Selected Images 4 from “My Friend with Autism” (Page 7)

4. 《我的孤独症朋友》图选4 (7页)

本研究虽然通过新视觉语法框架分析《我的孤独症朋友》的图像模态,揭示了其在人际意义构建方面的独特价值,为自闭症儿童绘本的设计提供了理论支持和实践参考。然而,研究仍存在一些局限性:一方面样本量有限,仅聚焦于一本绘本,未来可拓展至更多自闭症绘本进行对比分析;另一方面是研究方法以定量分析为主,缺乏对图像叙事的深度质性探讨,理论框架未完全覆盖新视觉语法的全部系统,未来可结合概念意义和组篇意义进一步完善分析维度。

参考文献

[1] Robinson, R. and Nohelty, K. (2024) Interventions to Improve Social and Play Skills for Autistic Children. In: Autism and Child Psychopathology Series, Springer Nature Switzerland, [Publisher location], 379-393.
https://doi.org/10.1007/978-3-031-64499-3_19
[2] Halliday, M.A.K. (1978) Language as Social Semiotics: The Social Interpretation of Language and Meaning. Edward Arnold.
[3] Kress, G. and van Leeuwen, T. (1996) Reading Images: The Grammar of Visual Design. Routledge.
[4] Painter, C., Martin, J. and Unsworth, L. (2013) Reading Visual Narratives: Image Analysis of Children’s Picture Books. Equinox Publishing Ltd.
[5] Moya Guijarro, J. and Pinar Sanz, M.J. (2008) Compositional, Interpersonal and Representational Meanings in a Children’s Narrrative. Journal of Pragmatics, 40, 1601-1619.
https://doi.org/10.1016/j.pragma.2008.04.019
[6] Moya Guijarro, A.J. (2011) Engaging Readers through Language and Pictures. A Case Study. Journal of Pragmatics, 43, 2982-2991.
https://doi.org/10.1016/j.pragma.2011.05.012
[7] 冯德正. 视觉语法的新发展: 基于图画书的视觉叙事分析框架[J]. 外语教学, 2015(3): 23-27.