动态多模态话语的模态协同研究——以城市宣传片为例
On the Modal Synergy of Dynamic Multi-Modal Discourse—A Case Study of City Promotion Video
摘要: 以武汉2020城市宣传片为语料，结合ELAN软件的分割、分层、标注功能，探讨多模态话语中不同模态的特点，展现视觉模态和听觉模态的相互配合及其在镜头速率与运镜方式层面上的体现，同时分析了模态之间的协同以及多模态话语的意义建构。研究发现模态之间的关系随时间呈动态变化，其标注分布规律图揭示了模态的选择取决于最佳搭配，并非完全自由随意，模态协同可通过相互协调、相互强化以实现意义构建。
Abstract: Wuhan 2020 City Promotion Video has been analyzed with the help of ELAN software. According to the function of segmentation, tier and annotation, the characteristics of different modalities in multi-modal discourse are presented, revealing the mutual cooperation of visual and auditory modalities and the representation on lens speed and camera moves. The production of the video embodies the synergy between modalities and the meaning construction of multi-modal discourse. The study indicates that the relationship between the modalities changes dynamically over time. The annotation distribution map reveals that the choice of modal depends on the best collocation and is not completely free and arbitrary. Modal coordination can achieve meaning construction through mutual coordination and mutual reinforcement.
文章引用：何广惠, 李成. 动态多模态话语的模态协同研究——以城市宣传片为例[J]. 现代语言学, 2022, 10(4): 605-613. https://doi.org/10.12677/ML.2022.104076

参考文献

[1] O’Halloran, K. (2004) Multimodal Discourse Analysis: Systemic Functional Perspectives. Continuum, London.
[2] 张德禄. 多模态话语分析综合理论框架探索[J]. 中国外语, 2009, 6(1): 24-30.
[3] Kress, G. and van Leeuwen, T. (1996) Reading Images: The Grammar of Visual Design. Routledge, New York.
[4] Baldry, A. and Thibault, P. (2006) Multimodal Transcription and Text Analysis: A Multimedia Toolkit and Course book. Equinox, London.
[5] 代树兰. 多模态话语研究的缘起与进展[J]. 外语学刊, 2013(2): 17-23.
[6] 潘艳艳, 李战子. 国内多模态话语分析综论(2003-2017)——以CSSCI来源期刊发表成果为考察对象[J]. 福建师范大学学报(哲学社会科学版), 2017(5): 49-59.
[7] 姚银燕, 陈晓燕.对视频语篇的多模态话语分析——以一则企业形象电视广告为例[J]. 外国语文, 2013, 29(1): 86-91.
[8] 王立非, 文艳. 应用语言学研究的多模态分析方法[J]. 外语电化教学, 2008(5): 8-12.
[9] 李德志. 广告类超文本多模态的视觉语法分析[J]. 外语学刊, 2013(2): 7-11.
[10] 胡壮麟. 社会符号学研究中的多模态化[J]. 语言教学与研究, 2007(1): 1-10.
[11] 朱永生. 多模态话语分析的理论基础与研究方法[J] . 外语学刊, 2007(5): 82-86.
[12] 李战子, 陆丹云. 多模态符号学: 理论基础, 研究途径与发展前景[J]. 外语研究, , 2012(2): 1-8.
[13] 冯德正. 多模态语篇分析的基本问题探讨[J]. 北京第二外国语学院学报, 2017, 39(3): 1-11 + 132.
[14] 张德禄, 王璐. 多模态话语模态的协同及在外语教学中的体现[J]. 外语学刊, 2010(2): 97-102.
[15] 吴安萍, 钟守满. 视觉语法与隐喻机制的多模态话语研究[J]. 外语与外语教学, 2014(3): 23-28.
[16] 张德禄. 系统功能理论视阈下的多模态话语分析综合框架[J]. 现代外语, 2018, 41(6): 731-743.
[17] 孙小孟, 贺川, 廖巧云. 多模态隐喻与“一带一路”话语体系建构——评析大型纪录片《一带一路》第一集《共同命运》[J]. 外国语文, 2020, 36(3): 68-74.
[18] 程瑞兰, 张德禄. 多模态话语分析在中国研究的现状、特点和发展趋势——以期刊成果为例[J]. 中国外语, 2017, 14(3): 36-44.
[19] 耿敬北, 陈子娟. 网络社区多模态话语分析——以QQ群话语为例[J]. 外语教学, 2016, 37(3): 35-39.
[20] 史兴松, 徐文娟. 近十五年SSCI期刊网络多模态话语研究现状及发展趋势分析[J]. 外国语, 2020, 43(3): 55-66.
[21] Van Uytvanck, D. (2007) EUDICO Linguistic Annotator (ELAN). Version 3.2.0, Manualun.
[22] 张德禄, 袁艳艳. 动态多模态话语的模态协同研究——以电视天气预报多模态语篇为例[J]. 山东外语教学, 2011, 32(5): 9-16.