基于汉字简繁转换的汉日神经机器翻译数据增强研究

Research on Data Augmentation for Chinese-Japanese Neural Machine Translation Based on Conversions between Traditional Chinese and Simplified Chinese

摘要: 本文提出了一种基于汉字简繁转换的神经机器翻译(Neural Machine Translation, NMT)数据增强方法，旨在通过利用简繁转换表将源端文字替换为目标端文字，从而融合汉字简繁转换信息，并提高翻译质量。本文将此方法应用于汉日机器翻译任务，实验结果表明此方法是一种有效的数据增强方法，可以显著地提高汉日机器翻译质量。

Abstract: This paper proposed a neural machine translation (NMT) data augmentation method based on conversions between Traditional Chinese and Simplified Chinese. The method aimed to integrate the information of conversions between Traditional Chinese and Simplified Chinese by replacing the source text with target text according to the Chinese characters mapping table, thereby improving the translation quality. The method was applied to the Chinese-Japanese machine translation task, and the experimental results demonstrated that this approach was an effective data augmentation method and could significantly improve the translation quality of Chinese-Japanese machine translation.

1. 引言

汉日机器翻译是指用计算机自动将汉语文本翻译成日语文本，或将日语文本翻译成汉语文本的过程。汉日机器翻译既涉及汉语与日语这两种语言，也涉及人工智能与计算机科学这两个领域。

中国和日本是东亚地区最大的两个国家，也是东亚地区最重要的经济体。中日两国在技术、文化、经济等方面的交流与合作已有几千年的历史，但随着时代的发展，中日两国的交流和合作变得越来越紧密。近几十年来，随着中国的经济腾飞，中国成为世界第二大经济体。中国的经济增长也带动了中日两国的贸易增长，中国成为日本的最大贸易伙伴，日本也成为中国的第二大贸易伙伴。随着中日两国经济关系的加强，中日两国的文化交流和科技合作也变得更加密切。由于中日两国语言的不同，语言障碍成为了阻碍中日两国更紧密合作的一个重要因素。因此，汉日机器翻译在这种背景下应运而生，成为了解决中日两国语言障碍的有效手段。

随着人工智能技术的飞速发展，神经机器翻译(Neural Machine Translation, NMT)已经取代了过去的翻译方式，成为了当下最好的翻译应用框架 [1] [2] [3] 。比起其他常用语种的翻译，汉语与日语这两个相近的语言具有很多共同的特点，但相关机器翻译研究的翻译精度仍未达到实用要求，仍需引导和关注。

想要得到高质量翻译结果的话，NMT对汉日对译语料库的数据量的需求很大。但是，相比于汉英的公开平行对译语料的数百万至数千万句对，汉日的公开平行对译语料的规模只有几十万句对。如ASPEC-JC与WCC-JC汉日对译语料库，仅有约67万与215万对译句子，比起其他语言对的千万级别的量，具有较大差距 [4] [5] [6] [7] 。

数据增强(Data Augmentation, DA)技术缓解了深度学习中数据不足的场景，在图像领域首先得到广泛使用，进而延伸到自然语言处理领域，并在许多任务上取得效果。主要的方向是增加训练数据的多样性，从而提高模型泛化能力。在NMT中，经常使用的方法是回翻译：将原始数据从目标语言A翻译到中间语言B，然后再翻译回目标语言A，从而实现对原始数据的改写 [8] 。另一种是单向翻译，将原始数据从语言A翻译到语言B，从而扩充语言B的数据，此种方法多出现在多语言场景中。优势是容易使用、使用范围广、保证句法跟语义不变。劣势是不可控且多样性受限，会受限于固定的翻译模型。归根结底，回翻译旨在生成跟原始数据语义尽可能相似的新数据。还有的方法则是在原始数据上添加微弱的噪声，不至于严重影响文本原来的语义，但又能跟原始数据存在一定的差异性。这种方式不仅可以实现训练数据的扩充，还能增加模型训练的难度，提高模型的鲁棒性。

日语和汉语的读法和语法构造完全不同，但是却有很多相同的特征。比如在汉字方面上，有相当一部分汉字是日语和汉语都通用的(简繁转换后)。而且很多词语的意义也是相同的，这在世界范围内都是很罕见的特征。虽然汉日机器翻译现在仍未达到高品质的地步，但是汉日两种语言在本质上天然就具有互译优势。中澤敏明等人的研究使用了日中语言中共同汉字的信息 [9] 。还有一些简单利用汉字分解、拼音、五笔和部首等汉日语言信息的研究。但在机器翻译中深度融合更多汉日语言外部知识仍是汉日翻译的难题。

对于汉语和日语这两个相近的语言而言，它们的最大的共同之处就是都具有汉字。日本在1946年的时候，用内阁公告的方式来推动了繁体字的简化。中国在20世纪60年代之后进行了简体字的改革，而韩国则进行了废除汉字运动。可以说，汉字的发展贯穿着整个汉语与日语的历史，也是汉语与日语的最主要的共通信息。那么，考虑到通过简繁转换可以将日语和汉语中的汉字进行无损意义上的变换，我们希望在机器翻译中通过数据增强来深度融合汉字简繁转换的信息。本研究致力于通过数据增强来深度融合汉字简繁转换的信息，提高汉日机器翻译的翻译精度。

2. 相关研究

很多研究都在尝试通过改进翻译模型来为低资源语言对提供支持，例如Mao等人针对日语提出了一种特定的联合预训练方法来优化翻译模型 [10] 。Xu等人则是通过一种动态学习策略对数据进行重新排序以改进翻译效果 [11] 。Dou等人提出了一种权重策略来提升回译模型的性能 [12] 。Araabi等人通过优化翻译模型，提高了在稀有资源语言上的翻译效果 [13] 。Ngo等人则是针对稀有资源语言对中的稀有词汇翻译问题，提出了相应的解决策略 [14] 。

智能筛选训练数据被证实是一种成功的技术，可以同时提升机器翻译的训练效率和翻译性能。Amittai等人提出的数据筛选技术在基于短语的机器翻译中表现出色，取得了良好的效果 [15] 。Marlies等人探讨了数据筛选在NMT上的应用，主要利用动态数据筛选方法，有效地提升了模型的性能 [16] 。Zhang等人也对NMT的数据选择进行了研究，并在主动学习框架下选择信息量大的源语句子构建平行语料库，尽量降低人工翻译的成本 [17] 。Wang等人针对特定领域的翻译进行了数据筛选研究 [18] ，为NMT提出了一种多域平衡方法，以平衡训练数据的领域分布，从而显著提高NMT的性能。此外，Song等人通过在目标语言中替换目标词汇来加强数据，进而提高翻译准确性 [19] 。李毅鹏为中日双语平行语料库提出了一种采用XML标记的方法 [20] 。

另一方面，有一些研究专注于通过“回翻译”进行语料库的扩展和增强 [6] 。Caswell等人在回翻译中提出了一种更简单的添加噪声方法 [21] 。Khatri等人将回翻译应用于无监督NMT中 [22] ，Wei等人提出了一种反向翻译迭代框架 [23] ，Abdulmumin等人提出了一种迭代式自训练方法以改善回翻译 [24] ，Hieu等人针对回翻译提出了一种专门的元学习框架 [25] ，均取得了良好的翻译成果。尤丛丛等人提出了一种基于低频词的同义词替换数据增强方法 [26] 。贾承勋等人研究了基于更大粒度的替换，提出了一种基于短语替换的汉越伪平行句对生成方法 [27] 。赵志耘等人介绍了中日两国近年来在机器翻译合作项目中的情况，包括合作背景与基础、知识产权、具体合作内容与成果以及对机器翻译实用化方面的一些思考 [28] 。Zhuang等人以及Hagiwara等人在IWSLT 2020 open domain translation task上针对汉日翻译集成了语料数据增强以及选用最新模型等方法，分别建立了相关的汉日神经网络机器翻译系统 [29] [30] 。

Zhang等人提出了一种语料数据增强的方法，该方法有两种变化，一种是针对所有语言对，另一种是针对汉日语言对。该方法利用现有平行语料库的源句和目标句，对包含标点符号的长句对进行切割并通过回翻译生成多个伪句对。本方法使用了词对齐信息，用于确定分割点。针对汉日语言对，使用了“相同汉字率”来修改句对的分段，有效提升了汉日长句分割的精度。提出的方法和过去的只使用反向翻译的方法相比，取得了更显著的翻译效果 [31] 。

Zhang等人曾尝试在字级别的NMT上加入额外特征“部首”。因为汉语和日语中的汉字无法拆成Subword，所以基于字符级别选择了汉字的部首当作外部特征来融合到字向量(Embedding Vector)中。翻译结果展示了把部首当作特征能有效提升翻译效能，甚至可以翻译出参考译文没有翻译成功的单词 [32] 。

对于汉日神经网络机器翻译中的低频词语的翻译问题，Zhang等人选择利用汉字分解后产生的部首偏旁来进行低频词语和高频词语的转换。通过提出的词典编码方案，可以把高频词语用低频词语加上特定标注的伪词来表示。这样消除了低频词语之后，学习模型变得更加轻量化，最后再转换回低频词语。最终使翻译效果得到了一定的提升 [33] 。

3. 基于汉字简繁转换的神经机器翻译数据增强

Table 1. Similarities and differences between Japanese Kanji and Chinese simplified characters

表1. 日语汉字与汉语简体字的异同点

日语中含有大量汉字，但这些日语汉字与汉语汉字(简体字)还有一些不同。如表1中“雪”“安”这样的汉字是完全一致的，日语“愛”“詞”和汉语“爱”“词”大部分一致，日语“発”“広”和汉语“发”“广”小部分一致，和制汉字就是日语独创的汉字，汉语中并不包含和制汉字。但和制汉字并不经常使用。

Figure 1. The process of converting traditional Chinese and simplified Chinese

图1. 融合汉字简繁转换信息的过程

通过汉字简繁转换，我们可以将日语常用汉字和汉语简体字互相转换。那么，为了融合汉字简繁转换信息，可以根据汉字简繁转换表替换源端文字为目标端文字，翻译模型将学会将源端句子中的目标端译文片段复制到译文端，这样，指定简繁转换的原文信息会得到完整保留(以译文的形式出现在源端)。具体步骤如图1所示。这种方法中充分利用了汉字简繁转换信息，简繁转换速度极快(Word软件都可以进行)，而且不损失源端信息，也不影响解码速度。最后，使用和回翻译类似的方法，将增强后的语料与原始语料合并，形成原始语料两倍的新训练语料。

4. 实验与分析

我们在ASPEC-JC日中语料库上进行了实验，该语料库是近年来Workshop on Asian Translation的日中翻译子任务中共享的语料库。该语料库由手动将日语科学论文翻译成中文的对译语料构建而成 [4] 。这些日语科学论文属于日本科学技术振兴机构或存储在日本最大的学术期刊电子平台J-STAGE上。ASPEC-JC由4个部分组成：训练数据(672,315个句对)、开发数据(2,090个句对)、开发测试数据(2,148个句对)和测试数据(2,107个句对)。ASPEC-JC包含论文摘要和部分正文。由于难以包含所有科学领域，ASPEC-JC仅包括“医学”、“信息”、“生物”、“环境学”、“化学”、“材料”、“农业”和“能源”领域。这些领域是通过调查重要科学领域以及日本研究人员和工程师使用文献数据库的趋势而选择的。

Meng等人的研究表明汉语的自然语言处理相关任务的最佳选择是使用字符级别与LSTM训练模型 [34] ，因此我们选择使用字符级别与LSTM来训练翻译模型。使用的LSTM模型有1层，每层有512个单元，词向量大小为512。参数在[−0.1, 0.1]范围内初始化，使用SGD进行优化，起始学习率为1.0。Batch size设定为10，梯度的范数超过1时，将其进行归一化处理。解码时的Beam Size为5。为了计算机器翻译通用评价指标BLEU值 [35] ，我们使用了Jieba [36] 和Mecab [37] 分词工具对输出的汉语和日语句子进行分词处理，最后在词语级别计算BLEU值。

在实施所提出的简繁转换方法时，我们采用了Chu等人公开发布的汉字简繁对照表 [38] 。最后，在神经机器翻译框架OpenNMT上进行了实验 [39] ，实验结果如表2和表3所展示。

Table 2. Japanese → Chinese experiment results

表2. 日语→汉语实验结果

Table 3.Chinese → Japanese experiment results

表3. 汉语→日语实验结果

表2和表3中的Baseline表示未使用数据增强的字符级别方法；Double指为与数据增强后的语料库作对比的纯复制方法，使句子对数量增加至2倍，与增强后的语料库一致；Aug是本文提出的简繁转换后的数据增强方法，句子对同样增加至原语料库的2倍；Double + Radical是在纯复制基础上结合额外特征“部首”的方法 [32] ；Aug + Radical则是结合本文的方法与额外特征“部首”的方法。PPL (Perplexity)表示模型复杂度，BLEU是机器翻译通用评价指标。

从表中的实验结果来看，在日语→汉语和汉语→日语两个翻译方向上，如果不使用加入额外特征“部首”(Radical)的方法，那么使用数据增强(Aug)的方法相较于单纯复制数据(Double)的方法，虽然在汉语→日语的翻译任务中表现略差，但在日语→汉语的任务中表现相近。这说明数据增强方法在一定程度上有助于提高翻译质量。在将额外特征“部首”(Radical)融入方法之后，结合数据增强和部首特征(Aug + Radical)方法在日语→汉语和汉语→日语两个翻译方向上都取得了最佳的翻译品质，相较于基线，分别提高了约0.9和1.6个BLEU值。由此可以得知，结合数据增强和部首特征可以有效提高神经机器翻译模型在日语→汉语和汉语→日语任务中的翻译质量。这两种方法的结合可以互相弥补对方的不足，数据增强方法为模型提供更多学习样本，部首特征有助于模型理解汉字和日本汉字的结构和语义关系，共同提高翻译质量。尽管在日语→汉语的PPL方面并未获得最低值，但与最低值的差距仅为0.01，再结合BLEU值评估，证实结合数据增强和部首特征的方法对翻译质量的提升具有重要意义。

5. 结语

在本文中，我们对基于汉字简繁转换的汉日神经机器翻译数据增强研究进行了深入探讨。通过分析不同的数据增强技术和方法，我们发现利用汉字简繁转换可以有效地提高汉日神经机器翻译的性能。我们综合了现有的研究成果，提出了一种新的数据增强策略，通过将简体字与繁体字进行转换，成功增加了语料库的句对数量，提升了最终的翻译结果。

在实验部分，我们展示了所提出的数据增强方法对汉日神经机器翻译的有效性。实验结果表明，该方法在提高翻译准确性方面取得了显著的进展。然而，研究还有很多值得进一步探索的方向。未来，我们将继续研究其他可能的数据增强技术，如结合多模态信息、利用迁移学习等，以提高汉日神经机器翻译的性能。我们希望这项研究为提升汉日翻译的质量提供新的视角，并为未来的相关研究奠定了基础。

基金项目

辽宁省教育厅高等学校基本科研项目(面上青年人才项目) (Grant No.LJKZ0267)，沈阳理工大学引进高层次人才科研支持计划(Grant No.1010147001004)，沈阳理工大学科研创新团队建设计划资助项目(Grant No.SYLUTD202105)。

NOTES

^*通讯作者。