复杂数据上的实体识别综述

A Survey of Entity Recognition on Complex Data

摘要: 复杂数据的数据量大和数据源不同的特征导致在挖掘复杂数据中的潜在价值时，需要利用实体识别技术。实体识别技术能实现对传统数据进行完整刻画、对数据质量进行管理的重要操作。而在复杂数据进行实体识别具有识别效果差、识别精度不高等问题。本文首先从应用领域的角度探讨复杂数据上的实体识别技术，包括社交网络领域的敏感实体识别、军事领域的目标实体识别、商业领域的商情实体识别。其次，对不同领域中的各个实体识别常用方法进行对比，分析了各个方法的问题与不足。最后，对在不同领域中进行实体识别的难点进行总结。

Abstract: Complex data is characterized by a large amount of data and different data sources, which lead to the use of entity recognition technology in mining the potential value of complex data. Entity recognition technology can realize some important operations, such as complete description of traditional data and data quality management. However, entity recognition technology applied in complex data has the problems of poor recognition effect and low recognition accuracy. This paper first discusses entity recognition technology on complex data from the perspective of application field, including sensitive entity recognition in social network field, target entity recognition in military field and business entity recognition in commercial field. Secondly, the usual methods of entity recognition in different fields are compared, and the problems and shortcomings of each method are analyzed. Finally, the difficulties of entity recognition in different fields are summarized.

1. 引言

随着各个行业内复杂数据的数据量在信息化时代均呈爆发式增长，这使得挖掘数据的潜在价值愈发重要，如何更好地利用这些复杂数据逐渐被人们重视。而复杂数据通常具有数据量大和数据源不同的特征。数据量大使得处理数据时需要使用大量的计算资源，数据源不同导致在数据使用之前数据内部逻辑或结构需要统一整合。这两个特征是判断数据是否属于复杂数据的基础，另外，复杂数据的复杂性需要通过数据结构、数据量大小、数据的颗粒度、数据查询语言、数据类型、数据分散性以及数据增长率7个指标进行深入判断 [1] [2]。这些指标导致在复杂数据上开展相关研究将比传统数据更加困难，并存在一些难以解决的问题。

实体识别技术是自然语言处理(Natural Language Processing, NLP)技术 [3] [4] 中的一项重要的基本任务。这项基本任务可以简单总结为在目标文本中识别出命名实体，并标注其位置与类型的过程。根据MUC-6将命名实体划分为时间类(TIMEX)、实体类(EMAMEX)与数字类(NUMEX)，可以将实体识别问题看作一种特殊的序列标注问题(Sequence Labeling Problem) [5] [6] [7] [8]，这类问题不但与常规的输入特征相关，而且与目标文本的上下文之间有一定的联系。如表1，早期实体识别技术通常使用基于规则的方法 [9] [10] [11] 建立字典、规则库、语料库以及规则模板，从而使目标文本中的特征词能够根据人工规则被计算机识别并提取，但人工规则的构建需要耗费大量人力与时间进行人工标注，不能适应当前复杂数据拥有的数据量大的特征，进而发展形成基于统计的方法。基于统计的方法 [12] 利用机器学习算法弥补了基于规则的方法需要人工工作带来的损失，同时通过构建模型实现特征词语的自动提取，实体识别的效率得到增强。但基于统计的方法仅能够通过大量数据完成对模型的训练，面对数据量较小的数据集往往难以保证实体识别的正确率，因此能够处理小规模数据的基于深度学习的方法应运而生。基于深度学习的方法 [13] [14] [15] 根据深度学习模型完成小样本条件下实体的自动识别 [16] - [21]，同时更好地联系上下文关系。但使用基于深度学习的方法仅能针对某一领域进行实体识别，而非提取实体在各个领域的全部特征，无法做到目标实体全部特征的联合，导致目标实体识别的准确性受到影响。传统实体识别使用的基于规则的方法与基于统计的方法一般将目标文本的识别分为特征工程与文本分类两个部分，在特征工程部分完成人工标注，在文本分类部分完成特征提取，但这两个阶段往往消耗大量人力成本，且最后得到的识别结果也并不准确，因此运用深度学习方法进行实体识别是较好的选择。实体识别技术又被称为实体消歧 [22]、数据消重 [23]、重复检测等 [24] [25]，常用于社交媒体领域 [26] [27] 的敏感实体识别、军事领域 [28] 的目标实体识别或是商业领域 [29] 的商情实体识别。在自然语言处理(Natural Language Processing, NLP)中，作为识别单位的文本包括人名、地名、机构名、时间和数量 [30] [31]，这些具有重要意义的主体均可以作为实体识别的对象进行研究。在对现实世界的复杂数据进行实体识别操作时，现实世界存在的多条记录可能指向同一个实体对象，而这些杂乱的、待清洗的数据记录未必以相同的表现形式呈现。另外，这些作为实体识别对象的复杂数据还存在重复、缺失、陈旧、虚假问题。因此，理清这些记录与实体对象之间的关系，消除多余的、无用的信息对于后续的相关应用研究非常重要。

Table 1. The development of named entity recognition method (time sequence from left to right)

表1. 根据时间顺序发展(由左至右)的实体识别方法对比分析

Table 2. Traditional method of named entity recognition

表2. 传统实体识别的方法

根据识别对象的不同，在识别过程中运用的方法也不尽相同，如表2所示。传统的复杂数据实体识别技术按时间发展顺序可以分为三类：基于规则(Rule-Based)的方法、基于统计(Statistic-Based)的方法和基于深度学习的方法 [32]。基于规则的方法是早期研究中的常见的一类方法，该类方法通过人工构造规则，以模式和字符串相匹配的方式识别实体。随后，基于统计的方法大多采用基于机器学习的序列标记方法与自动构造规则的监督学习方法进行复杂数据实体识别。以上两种方法通常以语言模型与机器学习算法为基础，包括：1) 解决序列标记问题的有监督方法，如隐马尔科夫模型(Hidden Markov Model, HMM)、最大熵(Maximum Entropy, ME)、最大熵马尔科夫模型(Maximum Entropy Markov Model, MEMM)、条件随机场(Conditional Random Fields, CRF)等 [33] [34] [35] [36]；2) 让上下文中的同义文本自行聚类的无监督方法，如支持向量机(Support Vector Machine, SVM)等。最近，基于深度学习的方法在实体识别领域的研究热点，如卷积神经网络(Convolutional Neural Networks, CNN) [37] [38] 与循环神经网络(Rerrent Neural Network, RNN) [39] 是应用最广泛的方法。基于深度学习的复杂数据实体识别方法通过对深层神经网络的研究，在识别词性、抽取字段等方面均在不断发展 [40]。

目前，对于实体识别技术的研究大部分集中于文本边界识别技术、文本重复检测技术、歧义识别技术与关系数据 [2] 等方面。而对复杂数据的实体识别技术从应用领域角度进行分析的研究却很少。因此，本文从应用领域方面对现有命名实体识别技术进行对比与分析，分别从社交网络、军事、商业为主的特殊领域对实体识别方法进行综述，并对各领域主要的实体识别技术的难点进行总结。

2. 面向社交网络领域的敏感实体识别

面向社交网络领域的敏感实体识别是特定领域的命名实体识别(Name-entity recognition, NER)，主要是对互联网领域中的专业词汇进行识别和分类。所识别的实体相较于普通命名实体更具专业性与复杂性，识别范围更小，要求识别精度也更高。社交网络领域的敏感实体识别主要任务是通过识别敏感信息文本数据的方式将社交网络中潜在的危险识别出来。建立强有力的监管措施已经成为了网络治理的有效手段，对互联网中极端思想和联络潜在人员传播的敏感实体进行识别与处理已经成为了当下维护社交网络安全的首要问题 [41]。互联网敏感实体的识别能够帮助网警对于涉恐涉黑等危险信息提前做出预警，维护网络环境安全与社会稳定；使研究人员在收集互联网信息时更有针对性地对网络安全治理进行研究；提高互联网从业人员对互联网生态的了解，从而设计出更贴合人们日常需求的新产品。

2.1. 敏感实体识别常用方法

2.1.1. 基于规则的方法与基于统计的方法

Webb S [42]、Qiang C [43]、Liang Z [44]、Ding W [45] 等人提出基于规则与基于统计的实体识别方法，分别对社交网络中的恶意实体、虚假实体、关键实体以及不良话题进行了识别。其中，Weeb S [42] 及其研究团队提出基于机器学习的分类器模型分析恶意实体的行为特征的方法，但该方法仅能通过被动接收好友申请的方式获取垃圾邮件配置文件，导致识别恶意实体存在限制与风险。Qiang C [43] 等人提出一种基于图的方法的实体识别工具，在一定程度上解决了识别具有被动性的问题，但其提出的SybilRank在识别准确性与效率方面却大打折扣。Liang Z [44] 等人提出了基于动态查询扩展的方法，该方法通过动态提取网络中的关键字构建图模型，在一定程度上提高了识别虚假实体的准确性，并考虑到了社交网络的异构性，但其针对范围小，且效率仍有待提升。Ding W [45] 等人开发并使用了半监督的Dirichlet处理过程进行社交网络短文本的实体识别，但联系上下文方面仍存在问题。

2.1.2. 基于深度学习的方法

与基于规则的方法和基于统计的方法相比，深度学习方法 [46] 具有更强的泛化能力和对人工特征的低依赖性，在实体识别的各个领域均取得了良好的效果。其中，卷积神经网络(CNN)与循环神经网络(RNN)是命名实体识别领域运用最广泛的深度学习方法，使用过程中通过与条件随机场(CRF)结合联系上下文特征，从而提高传统实体识别方法的识别效果。基于深度学习的方法中，CNN与RNN在提取文本字符特征与序列特征方面有所提升。

CNN通过“端到端”学习，能够很好地实现对数据样本特征的学习与表示。对于通常是由中英文混合的互联网敏感实体，CNN主要用于处理文本中的英文、拼音等字母实体。相较于基于规则和基于统计的方法，CNN对声母、韵母、字符大小写的处理更加细腻，所以通常利用CNN进行敏感实体字符特征的提取。为了提高识别社交网络领域中中英文混合文本的准确率，魏笑 [47] 等人提出了一种基于部件CNN的网络安全命名实体识别方法(CC-NS-NER)。

为了处理更长的数据序列，RNN逐渐由长短时记忆网络(LSTM)演变为双向长短时记忆网络(BiLSTM)。Chen T [48] 等人提出一种使用BiLSTM分类文本语句并搭建序列模型过程的方法，相较于Tai K S [49] 等人基于LSTM技术进行语义分割的方法，该方法得到的准确率与效率都更高。原因是BiLSTM比起LSTM能够更加有效地联系文本的上下文信息。而融合双向门控循环单元(BiGRU) [50] 是 BiLSTM 的一种优化结构，在保持了BILSTM原有的效果同时使得结构更加简单，但在社交网络领域的敏感实体识别应用中仍待进一步研究。

2.2. 敏感实体识别的难点

互联网敏感实体的识别难点可归结如下：一是互联网敏感实体具有数量大、种类多以及更新迅速的特性，由于互联网用户具有创造性，许多新的命名实体被创造，这为敏感实体识别的工作进行带来困难；二是互联网敏感实体具有“一词多义”的特性，同一名称的敏感实体之间界限不明确将造成旧词新用和不同语境下实体含义不同的问题；三是互联网敏感实体具有字符混杂的特性，识别过程当中常常难以区分混杂的中英文字符以及标点符号；四是互联网敏感实体存在着大量的代称与缩写，敏感实体识别技术难以联系上下文语境自行识别。以上特性都使得敏感实体难以识别，需要在识别效果方面进行优化 [51]。

3. 面向军事领域的目标实体识别

面向军事领域的目标实体识别是特定领域的命名实体识别。部队作战中累积的文本情报数据蕴含着大量活动、动向、意图、趋势等揭示战场内幕的重要信息，具有重要的军事价值。为了能让情报效能得到充分发挥，为情报分析研判提供支撑 [52]，从文本情报中自动抽取军事目标及其相关活动以完成目标实体识别成为了军事领域的重要任务。在军事领域，可以将目标实体分为军事人员、军事保障机构、军事保障设备、军事保障设施、军事装备名称5种类型。军事领域目标实体识别的主要任务通常包括从作战情报中识别出作战指令、作战文书与军事武器，这对识别精度以及实时性有着更高的要求。

3.1. 目标实体识别常用方法

3.1.1. 基于规则的方法与基于统计的方法

面向军事领域的目标实体识别前期多使用基于规则的方法和基于统计的方法结合而成的基于混合的方法 [53]，但此类方法对于目标实体的识别效果很大程度上依赖于人工设计的规则与设计的特征模板。基于规则的目标实体识别方法主要使用BIO (begin：开始，internal：中间，other：其他)方法表示每个输入单元，从而对输入序列进行标注。而条件随机场(CRF)作为基于统计的目标实体识别方法，能够综合利用包括字、词、词性在内的上下文信息与外部特征，在一定程度上提高了军事目标实体识别的效果。姜文志 [54] 等人提出一种CRF与规则相结合的方法，通过结合基本特征与外部词典特征进行军事目标实体识别，但其识别效果仅能达到通用领域水平，仍有待改进。

3.1.2. 基于深度学习的方法

基于深度学习的双向长短时记忆(BiLSTM)方法能够有效地利用上下文信息，识别文本序列间的顺序关系，降低目标实体识别中对于规则与特征模板的依赖。齐玉东 [55]、李健龙 [56]、高学攀 [57] 等人利用BiLSTM具有的自动学习任务特征与CRF模型结合的方法有效联系了上下文信息，提升了目标实体的识别效果，但BiLSTM与RNN均难以避免分词时原始字向量的长短对实体识别结果的影响，所以双向循环神经网络(Bidirectional Recurrent Neural Network, BiRNN) [58] 逐渐替代神经网络按照军事目标实体实例关系构建分词模型。丁海强 [59] 等人提出一种基于双向循环神经网络(Bidirectional Recurrent Neural Network, BiRNN模型的海军军械不均衡文本数据集处理方法，利用BiRNN模型自动学习文本序列的特征均衡目标实体数据，提高目标实体文本分类的性能 [60]。

3.2. 目标实体识别的难点

相较于传统领域的命名实体识别，军事领域目标实体具有独特的命名规则 [57]，目标实体之间的辨析难度更大。增加军事领域知识更够提高军事实体的识别效果，但相应领域知识具有一定保密性，在学习上具有局限性与滞后性的问题。在目标实体识别过程中，面对军用文书以及标绘图等不同的信息载体，以及专有名词数量较多且嵌套使用的情况，切词分词也是一项重要难点。目标实体在识别过程中常常难以做到根据上下文联系进行准确识别，而是依赖于构造的特征模板与规则进行词义联系，这将造成识别结果的不准确。

4. 面向商业领域的商情实体识别

面向商业领域的商情实体识别是特定领域的命名实体识别。社会中存在的大量商业信息可供人们挖掘其潜在价值以发现商机，进而带来经济效益。商业领域的商情实体通常出现在工程单位发标时编制的标书，网络销售产品网站以及包装产业生产的包装电子文档中，其产品名具有构成复杂、长度较长等特点，如“防静电透明 PVC 板棒”、“双通道连卷背心袋机”等，这种结构使得商情实体识别比传统的命名实体识别更为复杂和困难。商情实体识别是充分挖掘商业信息价值必不可少的步骤。

4.1. 商情实体识别常用方法

4.1.1. 基于规则的方法与基于统计的方法

面向商业领域的商情实体识别早期主要使用基于规则的方法与基于统计的方法。基于规则的方法需要使用BIO技术对商业领域出现的商情实体进行标注。条件随机场(CRF)作为基于统计的方法，能够考虑标签之间的关系来获取全局最优标签序列，利用句子级别的标签信息集成任意知识源，使实体抽取结果更加准确 [61] [62] [63] [64]。方莹 [65] 等人在爬取到的英文农产品语料库中使用CRF对商情实体名称包含的特有关键词进行了特征模板抽取与特征参数训练，使商情识别的准确度有所提升，但CRF模型训练的时间依赖于特征空间的规则，导致商情识别的效率仍需提高。

4.1.2. 基于深度学习的方法

基于深度学习的方法常使用循环神经网络(RNN)及其衍生模型与注意力(Attention)等机制结合的方法 [66] [67]。RNN类型的神经网络模型能对序列数据中非限定长度的上下文信息进行表示，不同于基于统计的方法对人工提取特征的依赖性，RNN适用于构建词的分布式特征，提升了商情实体识别效率。Attention机制能实现不同层级间的信息传递，加快商情实体语言特征识别的速度与准确度。贾全烨 [68] 等人提出基于RNN与CRF结合的方法识别商情实体，发现在识别准确性与模型训练成本等方面均未达到理想效果。黄晓 [69] 等人将RNN与Attention机制结合的方法应用于商情实体识别过程中，虽然准确率相较于RNN-CRF模型有所提升，但复杂度较高，且执行效率不如其他RNN衍生模型。

BiLSTM、GRU等作为RNN的衍生模型，在解决序列标注问题、识别字符较长的商情实体以及利用上下文信息提取句子特征方面均取得了良好的效果。张应成 [70] 等人提出一种BiLSTM-CRF模型，以获取商情实体序列化文本的整体特征。虽然在双向语义识别以及识别准确率方面均获得了提升，但模型训练时间消耗仍然较大。李一斌 [71] 等人提出一种BiGRU-CRF模型，该模型能够自动学习商情实体的分布式特征，在识别准确率方面相较于传统CRF模型有所提高，但仅能保证小数量的商情实体识别效果。

4.2. 商情实体识别的难点

商业领域的商情实体具有行业种类繁多的特性，这常对商情实体识别的上下文联系产生阻碍。商情实体还具有领域特殊性与复杂性，且实体名称用词随意，难以在识别过程中快速确定商情实体，导致识别效率低下。其呈现的文本类资源结构化低，可利用和传播性较差，造成商情实体识别难以从大量不同来源的非结构化文本资源中自动提取相关实体。商情实体名称的构成复杂、关键词混乱、长度较长等特性也使得商情实体识别比一般的实体识别更为复杂和困难 [72]。

5. 总结与展望

网络智能化与数据化使得数据呈现复杂的特点，而在复杂数据中挖掘有用的潜在信息，需要利用有效的实体识别方法。目前，对复杂数据上的实体识别技术通常从技术角度进行总结研究，而实体识别技术从应用领域进行汇总的研究却很少体现。本文从社交网络、军事、商业为主的特殊领域对实体识别技术进行具体对比与分析，发现各领域实体识别过程中存在的一些难点，如实体种类繁杂、实体名称不规范、实体数量庞大等，以及各领域实体识别使用的方法虽然相似，但各模型对于不同领域的实体识别起到的作用却不尽相同的规律。

在复杂数据不断涌现的背景下，早期基于规则的方法的研究思路仍然给人以宝贵的启示，基于规则和统计相结合的混合方法仍不时得到有效的尝试，基于深度学习的方法在复杂数据上的实体识别应用中也具有巨大的发展空间。基于规则和基于统计的实体识别方法中出现的问题可以由不断发展的基于深度学习的方法进行解决 [86] [87]，针对各领域复杂数据实体的特性完善实体识别的方法，以及对于基于深度学习的实体识别方法存在的仅能针对某一领域进行实体识别，而非提取实体在各个领域的全部特征，无法做到目标实体全部特征的联合的问题，仍可以作为复杂数据上实体识别的研究重点。实体识别在特定领域上的应用已经成为了各领域处理复杂数据的关键技术，未来面对复杂数据潜在价值的挖掘工作仍需要继续研究在复杂数据上的具备高效特性的实体识别技术。考虑到基于广度学习的方法和基于联邦学习的方法能够融合多个领域的实体特征的特点，复杂数据上实体的特性导致难以识别和难以联合的问题与广度学习以及联邦学习相结合有着广阔的发展空间。

基金项目

河北省教育厅科学研究计划项目(重点项目，ZD2019017)。

NOTES

^*通讯作者。