1. 引言
文本连贯性是一种将文本中的思想有机联系在一起的逻辑关系，可以使文本在语义上具有连续性 [1]。近些年，文本连贯性在二语写作领域，尤其是写作测试与评价方面已经成为热点问题。文本连贯性在读者理解文本含义以及作者的意图方面具有举足轻重的地位，因此研究其与写作质量之间的关系显得格外重要。
作为中国难度系数最高的英语等级考试，英语专业八级考试具有很高的权威性，其参与者为英语专业的大四学生，他们经过了大学四年专业的英语训练，能够代表中国高水平英语学习者。基于此，本研究将选取英语专业八级考试写作文本为语料研究中国高水平英语学习者的文本连贯性与写作质量的关系，以期为英语写作教学以及作文自动评分工具的开发提供一定启示。
2. 理论基础与文献综述
衔接与连贯最初由Halliday和Hasan提出，随即被广为研究。衔接与连贯是相互关联但又不同的结构，前者是指文本中的表层语言联系，而后者则是指文本在读者心中的心理表征质量，能够将文本的思想联系在一起 [2]。一般来说，衔接往往与连贯密切相关，因为使用衔接手段可以表现出语篇的逻辑关系，便于读者理解。然而，与衔接手段不同的是，连贯是一个语义层面的概念，其一定意义上得助于衔接手段恰当地使用，但两者并非充分必要条件。
借助于自然语言技术对文本衔接特征的提取，Crossley等人提出文本连贯性包括三个维度：局部连贯性、整体连贯性以及篇章连贯性 [3]。局部连贯性指句子层面的局部衔接与连贯(例如，相邻句子间的词元重叠)，整体连贯性则指段落层面的整体衔接与连贯(例如，相邻段落间的词元重叠)，而篇章连贯性指整个篇章的衔接与连贯，它不仅仅局限在句子和段落层面而是落足于整个文本层面(例如，代词密度)。
目前国内外很多学者研究文本连贯性和二语写作质量(人工评分)的相关性，但研究发现各有不同。早期的研究主要集中于考察局部与篇章连贯性，大部分以Halliday和Hasan于1976年提出的五种衔接手段，即指称、连接、替代、省略和词汇衔接为理论基础 [2]。这些研究通常考察文本中衔接手段使用的数量与二语写作质量的关系，其中大部分研究发现，局部与篇章连贯性与二语写作质量呈正相关。例如，Liu和Brane以中国非英语专业本科生的50篇议论文为研究对象，考察他们的衔接手段使用情况及其与写作质量的关系，发现中国非英语专业本科生议论文的写作质量与衔接手段的使用量有显著的正相关性 [4]。Chanyoo则以泰国英语专业本科生为研究对象，考察了他们的学术论文的衔接特征与写作质量的关系，同样发现学生的写作成绩与文本中使用的衔接手段总量呈显著的正相关 [5]。可见，这些研究表明无论是非学术语篇还是学术语篇，文本连贯性与写作质量都存在着显著的正相关性。然而，也有少部分研究发现文本中衔接手段的使用与文本质量不具有相关性。Alarcon和Morales选取了菲律宾本科生64篇作文为语料，发现衔接手段与学生作文质量没有显著的相关性 [6]，该结论也与Coskun以及Dastjerdi和Hayati的研究发现一致。与Alarcon和Morales研究不同的是，Coskun的研究语料则来自于土耳其和乌兹别克斯坦学生的英语写作 [7]，而Dastjerdi和Hayati选取的研究对象则为伊朗非英语专业研究生 [8]。
随着计算机技术的发展，一些学者应用计算机技术开展研究，把整体连贯特征纳入到他们的研究范围。这类研究考察的不再是衔接手段使用的数量，而是一些基于工具所计算的连贯性各项指标的数值。一些研究发现文本连贯性与二语写作质量为正相关。例如，杜慧颖和蔡金亭通过考察中国大学生英语议论文的语篇特征，发现局部连贯性和整体连贯性都与写作质量存在显著的正相关 [9]。梁茂成也以中国大学生为研究对象，选取了120篇英语作文为研究语料，但却发现高分作文整体连贯性较高，而低分作文局部连贯性较高 [1]。Crossley和McNamara则以中国香港高中毕业的学生参加香港高级程度会考所写的英语作文为语料，考察了文本连贯性对二语写作质量的预测效应，发现一些局部和篇章连贯性指标，如局部内容词重叠、局部积极逻辑连接词重叠、局部语义相似度等，与香港高中生的英语写作质量呈显著的负相关 [10]。
综上，以往研究对文本连贯性与写作质量呈何种关系的结论不一，且多数研究集中在研究局部和篇章连贯性特征，鲜少研究整体连贯性特征，更少以中国高水平英语学习者为研究对象。此外，在文本连惯性指标对二语写作质量的贡献程度上也并未达成一致。因此，本研究选取代表中国高水平英语学习者写作水平的英语专业八级考试作文文本为语料，分析文本连贯性三个维度：局部连贯、整体连贯、篇章连贯与写作质量的关系，以期为写作教学以及作文评分工具的开发提供启示。
3. 研究设计
3.1. 研究问题与语料来源
本研究主要回答以下两个问题：
1) 中国高水平英语学习者文本连贯性和写作质量是否具有相关性？若有，具体体现在哪些指标上？
2) 中国高水平英语学习者文本连贯性对写作质量是否具有预测作用？若有，哪些指标对英语写作质量贡献率较大？
本研究语料选自《中国高校外语专业多语种语料库建设与研究——英语语料库》(以下简称CEM语料库)。CEM语料库由英语专业四、八级考生作文以及英语专业八级翻译构成，其中不仅包括文本，还包括相应的性别、来源学校、分数等。作文的分数均由阅卷组专家评定，因此具有很好的信度和效度。本研究随机选取某一年度的英语专业八级考生作文200篇，建立CEM_W8子库。该年度考试题目要求作者以“On Ambition”为话题写一篇大约400字的议论文。CEM_W8子库中考生平均分为12.455，最高分为18，最低分为7，标准差为1.562，分数呈正态性分布。
3.2. 文本连贯性指标选取
本研究文本连贯性分析工具采用Crossley等人开发的自然语言处理工具：自动文本连贯性分析器(Tools for the Automatic Analysis of Text Cohesion, TAACO)，版本为2.0.4 [3]。TAACO 2.0.4共涉及到194项指标，分属于局部连贯特征、整体连贯特征以及篇章连贯特征三个维度。借鉴部寒和王立非 [11] 研究所选取的11项指标，本研究去掉了与本研究所考察的文本连贯性关系不大的类符与形符比(Type-Token Ratio, TTR)指标，加入语义相似度的4项指标，最终选取14项连贯性指标进行测量，具体如下。
局部连贯性指标选取局部词元重叠、局部论元重叠、局部同义名词重叠、局部同义动词重叠、局部LSA、局部Word2vec等6项指标。与局部连贯特征选取指标一致，整体连贯性指标也选取整体词元重叠、整体论元重叠、整体同义名词重叠、整体同义动词重叠、整体LSA、整体Word2vec等6项指标。词元重叠是指相邻句子或段落间所有词元的重复。论元重叠指的是相邻句子或段落间论元的重复，即名词与代词重叠。同义名词、同义动词重叠指的就是相邻句子或段落间的名词、动词的同义词的重复。本研究所有涉及到重叠的指标的分母均为句子数(sentence normed)或段落数(paragraph normed)。LSA和Word2vec是两项基于自然语言处理技术的语义相似度指标，前者的训练模型是基于奇异值分解(Singular Value Decomposition, SVD)的矩阵分解技术，而后者则是基于神经网络对词的上下文训练从而得到词的向量化表示。
篇章连贯性则选取2项指标，分别为连接词指标以及代词密度指标。连接词指标指的就是文本中所有具有连接意义的词的数量，包括一些基本的连接词，如“and”、“or”、“so”等，也包括一些逻辑连接词，如“alternatively”、“after all”、“despite the fact”等。代词密度指的是文本中第三人称代词数除以单词数。
3.3. 统计分析
通过TAACO 2.0.4计算语料库中各个写作文本的14项指标数值后，随即采用SPSS 28.0进行统计分析。首先，运行Pearson相关分析考察各项指标与写作质量的相关性。然后，剔除不相关变量，随即进行多元回归分析找出文本连贯性在多大程度上可以预测写作质量。最终得出相应的回归方程。
4. 结果
4.1. 文本连贯性和写作质量相关性分析结果
由表1，相关性分析结果显示，文本连贯性14项指标中，8项指标与写作质量具有显著的正相关，6项指标与写作质量不具相关性，没有指标与写作质量呈负相关。具体来看，局部连贯性有4项指标与写作质量具有相关性，由强到弱分别为局部论元重叠(r = 0.351, p < 0.01)、局部同义名词重叠(r = 0.263, p < 0.01)、局部Word2vec (r = 0.257, p < 0.01)、局部词元重叠(r = 0.217, p < 0.01)，而局部同义动词重叠、局部LSA与写作质量不具有相关性。与局部连贯性一致，整体连贯性也有4项指标与写作质量呈正相关，由强到弱分别为整体Word2vec (r = 0.491, p < 0.01)、整体LSA (r = 0.312, p < 0.01)、整体词元重叠(r = 0.199, p < 0.01)、整体论元重叠(r = 0.160, p < 0.05)，整体同义名词重叠与整体同义动词重叠与写作质量不具相关性。此外，篇章连贯性的2项指标：连接词和代词密度与写作质量不相关。综合来看，与写作质量相关性强度排名前三的指标分别为整体Word2vec、局部论元重叠、整体LSA。
4.2. 文本连贯性和写作质量回归分析结果
如表2所示，剔除不相关变量后，进行线性回归分析，共得出三个回归模型。模型1中包括整体Word2vec指标在内的一项文本连贯性指标，在这种情况下R2值为0.237，意味着整体Word2vec可以解释写作成绩23.7%的变异。模型2是由整体Word2vec和局部论元重叠构成，R2值为0.28，表明两者的联合可以解释28%成绩的变异。模型3中共包括整体Word2vec、局部论元重叠、整体词元重叠等三项指标，此时R2值为0.328，是三个模型中的最大值，意味着这3项指标的联合可以解释写作成绩32.8%的变异。
表3显示模型3通过F检验(F = 31.932, p = 0.000 < 0.05)，说明该模型有效。回归模型中的三项预测变量(整体词元重叠、局部论元重叠、整体Word2vec)均具有显著统计意义(t > 2)，表明这三个指标对写作成绩产生显著的正向影响关系。模型中整体Word2vec、局部论元重叠、整体词元重叠等三项指标的VIF值在1附近且小于5，意味着三项预测变量不存在共线问题。此外，该模型的D-W值为1.930，在2附近，说明模型不存在自相关性，三项预测变量数据之间并不关联。模型3拟合程度较好，解释了文本连贯性与写作质量的关系，公式为：写作分数 = 1.025 × 局部论元重叠 + 0.083 × 整体词元重叠 + 13.107 × 整体Word2vec − 1.569。
Table 1. Results of Pearson correlation analysis
表1. 相关性分析结果
*p < 0.05; **p < 0.01.
Table 2. Summary of multiple linear regression models
表2. 多元线性回归模型汇总表
a预测变量：(常量)，整体Word2vec；b预测变量：(常量)，整体Word2vec，局部论元重叠；c预测变量：(常量)，整体Word2vec，局部论元重叠，整体词元重叠；因变量：写作分数。
Table 3. Coefficients of multiple linear regression
表3. 多元线性回归系数表
因变量：写作分数。
5. 讨论
本研究发现局部连贯性和整体连贯性与二语写作质量存在正相关性，该结论部分验证了杜慧颖和蔡金亭 [9] 的结论，进一步证实了局部连贯性与整体连贯性对写作质量具有一定的影响。然而，基于研究工具使用的不同，本研究所发现的与二语写作质量呈正相关的指标与他们的研究发现不太一致。本研究基于TAACO工具发现局部连贯性指标中的局部论元重叠、局部同义名词重叠、局部Word2vec、局部词元重叠以及整体连贯性指标中的整体Word2vec、整体LSA、整体词元重叠、整体论元重叠与写作质量具有正相关性，而他们则基于Coh-Metrix工具发现局部LSA、所有句子间LSA、论元重叠相邻句子比例、论元重叠句子比例、词干重叠相邻句子比例、词干重叠句子比例以及整体LSA指标与写作质量正相关。因此，本研究丰富了文本连贯性与二语写作质量的相关性指标。然而，两项研究还存在一些分歧，表现在局部LSA上。可以看出，在相同的计算指标中，本研究发现局部LSA和写作质量不具有相关性，而他们则发现局部LSA与写作质量呈正相关。因此，局部LSA是否与写作质量存在相关性还需要在接下来的研究中进一步验证。
本研究相关性分析结果与Crossley和McNamara [10] 的研究发现相悖。他们发现中国香港高中生的局部和篇章连贯性指标与写作质量呈负相关，而本研究则发现中国高水平学习者的文本连贯性与写作质量呈正相关。研究对象选取的不同可能是造成这两个研究结论不一致的原因。因此，本研究认为不同水平写作的考察侧重点可能有所差异，所以现有的作文自动评分工具可能需要进一步优化，将不同学习阶段的测评指标纳入评分系统中，以便对具体阶段水平的作文具体分析，而不是仅仅应用一个模型对其进行评分。此外，相关性分析结果表明所有连接词以及代词密度两项篇章连贯性指标与二语写作质量不具有相关性。该发现与相关研究发现一致 [3]，进一步说明了文本中连接词的运用以及代词密度不会影响文章的质量。
在回归模型中，我们可以发现整体Word2vec、局部论元重叠、整体词元重叠等三项指标的联合可以解释写作成绩的32.8%变化原因，说明局部连贯性与整体连贯性的联合更能影响写作质量。因此，学习者要在写作中兼顾局部连贯性与整体连贯性。此外，自动评分工具的开发可以引入这三项文本连贯性指标，使机器评分和人工评分更为接近。
6. 结语
本研究以英语专业八级考试写作文本为语料，探究了中国高水平学习者文本连贯性与写作质量的关系，发现：1) 局部连贯性和整体连贯性各有四项指标与写作质量呈正相关关系，局部连贯指标分别为局部论元重叠、局部同义名词重叠、局部Word2vec、局部词元重叠，整体连贯性指标分别为整体Word2vec、整体LSA、整体词元重叠、整体论元重叠。综合来看，相关性强度排名前三的指标分别为整体Word2vec、局部论元重叠、整体LSA；2) 多元回归分析共产生三个回归模型，其中整体Word2vec、局部论元重叠、整体词元重叠等三项指标的联合可以解释写作成绩32.8%的变异。标准化回归方程为：写作分数 = 1.025 × 局部论元重叠 + 0.083 × 整体词元重叠 + 13.107 × 整体Word2vec − 1.569。
基于研究发现，本研究为写作教学与自动评分工具的开发提供几点启示。首先，教师在写作教学中应提醒学习者不要仅仅关注局部的连贯，更要关注整体的连贯。其次，自动工具的开发不能仅仅应用一个单独的模型进行评分，应使不同学段评分规则差异化，提供可选择评分模型的功能。最后，可以将整体Word2vec、局部论元重叠、整体词元重叠三项指标联合的回归模型引入到中国高水平学习者写作自动评分工具的开发中。
虽然本研究探究了中国高水平英语学习者的文本连贯性与写作质量之间的关系，但鉴于所选取的语料库的特点，本研究仅仅考察了文本连贯性与总体写作成绩的关系，并未考虑到篇章结构、内容、语言等单项分数。为此，接下来的研究应细化写作评分，将连贯性与写作质量各方面的评分分别进行相关性分析，找出连贯性具体对哪一单项的评分会产生影响，以便更精细地指导教学以及自动评分工具的开发。