电力通信运维元数据建模技术的研究
Research on Metadata Modeling Technology of PowerCommunication
DOI: 10.12677/HJDM.2018.83015, PDF, HTML, XML, 下载: 1,141  浏览: 3,181  科研立项经费支持
作者: 李星南*, 施 展, 付佳佳:广东电网电力调度控制中心,广东 广州
关键词: 电力通信运维数据元数据建模建模方法Power Communication Operation and Maintenance Data Metadata Modeling Modeling Method
摘要: 随着电力通信技术的发展,产生了大量分布式的电力通信运维子系统以及海量的电力通信运维数据。这些运维数据中隐含着大量的宝贵信息。为了挖掘隐含在运维数据中的信息,实现运维信息的资产化,故而在电力通信网运维系统中引入了元数据管理技术。本文介绍了电力通信中的运维元数据的建模技术、建模标准以及模型形式化描述语言。在此基础上,提出了电力通信运维数据的建模方法,具体的展现了元数据建模的过程。
Abstract: With the development of power communication technology, a large number of distributed power communication operation subsystem and massive maintenance data are produced. Massive maintenance data implied a lot of valuable information. If the operation and maintenance data has not been dealt with, it will increase the system information load. Therefore, in the power and communication network operation and maintenance system, the introduction of metadata management, operation and maintenance data is necessary. This paper introduces the data modeling technology, modeling standard and model formal description language of power communication operation and maintenance. On this basis, the modeling method of power communication operation and maintenance data is put forward. And thus, the research results support the sustainable development for operational data analysis system.
文章引用:李星南, 施展, 付佳佳. 电力通信运维元数据建模技术的研究[J]. 数据挖掘, 2018, 8(3): 131-141. https://doi.org/10.12677/HJDM.2018.83015

1. 引言

以往电力通信网运维管理系统的建设基本上以功能为中心,因而产生了大量的分专业运维管理系统、分功能运维管理系统和分管理域运维管理系统,导致产生了大量运维数据孤岛。这些分离的运维系统需要配置大量运维人员负责系统的使用,严重制约了运维数据综合效益的发挥。随着新网络技术的引进、新业务需求的提出、新运维管理系统的建设。运维数据还会继续分裂和增加,这也提高了系统运行和维护的数据管理难度。一方面,难以有效地描述分析这些数据,缺乏管理运行和维护过程的方法,另一方面,子系统数据管理数据和数据集成的难度也在增长,影响了系统数据的质量。因而在电力通信网运维系统中,引入元数据管理成为了必然。

目前元数据管理已经在电信、金融、互联网等领域发挥着重要的作用。在元数据建模方面,李珊珊等人 [1] 对基于CWM的元数据管理系统中的数据交换格式进行了研究。孟庆君等人 [2] 基于面向对象的建模方法,给出了Oracle Spatial组件中对象关系数据模型及元数据表存储空间数据的存储结构。曾文等人 [3] 提出了基于元数据建模的市政专业管网数据模型。陈刚等人 [4] 提出了电信管理的元模型及数据模型。

而在电力通信网领域,系统性描述面向电力生产与电力交易全环节实体及关系的建模方法最早在文献 [5] 中提出,即电力系统公共信息模型(common information model, CIM),并为国际电工委员会(IEC)釆纳,形成了一些标准;然而在应用实践中,CIM模型需要根据实际系统进行一定的改造与拓展。目前国内外已形成了多个电网相关的地区性、公司性私有模型,如IBM和C3-Energy开发了针对智能电网的大数据分析系统,Oracle提出了智能电网大数据公共数据模型,国家电网公司的SG CIM等。但是这些模型都缺乏对电力通信运维数据的统一描述和管理维护,国内外在电力通信运维系统中进行元数据管理的应用研究才刚刚起步。

本文所研究的电力通信网运维元数据模型中包含各级运维管理系统的数据结构、生产规则和数据库访问权限等信息。这些信息可以对运维管理系统的开发和维护提供便利。因此只有构建了高质量的运维元数据模型,才能进一步支撑运维数据的有效获取和管理,实现运维管理活动的可持续发展。

目前信息建模方法可以分为面向过程的建模、面向数据的建模、面向信息的建模、面向决策的建模和面向对象的建模等五种方法。面向过程的建模方法是把数据产生的过程作为模型设计的基本部分,最典型的方法是Yourdon设计法。面向数据的建模方法侧重于模型的输入输出,因此数据结构的定义是该方法的基础和关键,而过程模块是从数据结构中导出的,即功能跟随数据,最有影响的方法是Jackson设计法。面向信息建模方法是通过一个全局信息视图来展示需求并说明系统中所有基本数据实体及其相互关系,在分析需求和关系的基础上构造整体逻辑数据模型,信息实体可能包括人员,地点,事物,观念等。面向决策的建模是对决策支持系统进行建模,即通过建立决策系统结构的宏观视图清楚展示决策系统内部各组织的决策职能及其相互关系,常用方法有Petri网和GRAI法。面向对象的分析方法是利用面向对象的信息建模概念,如实体、关系、属性等,同时运用封装、继承、多态等机制来构造模拟现实系统的方法。对象的建模方法可以满足信息系统规模大,复杂程度高及多层次的抽象的需求,故本文所选择的元数据建模方法是面向对象的建模方法。

2. 元数据建模方法

2.1. 元数据建模关键技术

随着空间数据量飞速增长,分布式存储和管理已成为发展的必然趋势。电力通信网运维管理系统可以建设许多个、彼此之间具有独立性的元数据仓储,分别对应于各自的部门,然后通过元数据建模方法实现信息交换和分布式的非同构系统的集成 [6]。元数据建模主要包括以下关键技术:

1) UML (Unified Modeling Language)即统一建模语言,是面向对象开发的通用图形建模语言。它定义明确,易于描述,功能十分强大,且具有普遍适用性。在以往的研究中,面向对象的拆解分析主要包含对问题内容和系统任务的理解,增加属性联系,满足用户需求,支持软件重用这四个方面。UML在这四点之上显示出比其他系统分析方法更好的特性,因而成为主流系统分析方法 [7]。UML不仅统一了过去出现的OMT,OOSE等方法,而且统一了符号表述在面向对象中的应用。因此,它改变了数十种面向对象的建模语言相互独立的变化和发展的情况,成为了软件工程中对象分析和设计的重要工具之一 [8]。

2) MOF (Meta Object Facility),是元对象工具,是用来构建元模型和元数据库的技术。用于定义元数据和用CORBA对象表达元数据。如图1所示,其体系结构分为4层。

M0层是对客观世界进行描述的信息;M1是元数据(模型),是指对客观现实中的数据信息进行描述的数据,通常用于表示某些东西的模型。其中MOF模型是元数据的组合;M2层是元元数据(元模型)。由于元数据本身也是一种数据,因而也可以由另一数据,即元元数据,称为元模型的元数据模型来描述;M3层是元元模型,元元模型是以MOF方式描述元数据抽象语法。因为MOF框架需要支持许多异构的MOF元模型,所以MOF定义了一个标准的元模型抽象语法来集成这些模型 [9]。

3) XMI (XML-based Metadata Interchange),XML元数据交换技术,是关于元数据交换的标准。XMI的目的是,在分布式异构的环境中,简单的实现基于UML的建模工具和基于MOF的元数据存储库之间的元数据交换。作为模型驱动工程的一部分,XMI也常用作模型从建模工具传递到软件生成工具的媒介。

Figure 1. MOF architecture

图1. MOF体系架构

上面介绍的三个技术是元数据建模过程中的核心技术。其中,UML对代表模型和元模型的语法和语义下了定义;MOF提供了一个可扩展的构建模型和元模型的框架,并为之提供了访问元数据的一个程序界面。XMI可用于将元数据转换为标准的数据流或者标准的文件格式,以便于进行数据交换,从而大大增强了元数据管理的普适性。

2.2. 元数据标准

CWM是OMG组织定义的数据仓库和相关系统的国际元数据标准,给出了各种元数据结构的标准定义。本次开发的元数据管理模块的元模型是以CWM为基础并扩展形成的,针对各业务系统的数据模型、数据库结构、业务规则、业务指标等主要实体进行精确定义。

定义元数据模型可以统一元数据管理标准,为将来电信网中的数据仓库、BI分析等系统的元数据交换提供统一的语义基础。

国际电工委员会(IEC)、美国国家标准与技术研究院(NIST)、美国电气与电子工程师协会(IEEE)和美国能源部(DOE),是最具有代表性的国外的开展智能电网技术标准研究的国际组织。IEC为了研究智能电网标准体系,在2009年成立了智能电网战略工作组(SG3) [10]。

IEC认为应考虑通用的需求,研究和制定促进产品接合的互操作性标准,即元数据标准。并且提出了许多重要的智能电网标准,涵盖了大多数的技术领域,包括互操作、开放性架构和网络安全性等方面,形成了IEC62357、IEC61970、IEC61850和IEC61968等标准。上述标准的适用范围如表1所示。其中IEC61970和IEC61968系列标准是由国际电工技术委员会(IEC)负责电力系统控制及通信的第57技术委员会(IECTC57)制定的,这两个系列的标准一起定义了电力行业内的公共信息模型(Common Information Model, CIM)。CIM是一种涵盖电力企业发电、输电、配电等各大系统的元数据模型,现在已成为电力企业统一遵循的信息交互标准 [11]。

CIM是用XML/RDF语言来描述的,用UML语言定义元数据关系,用RDF定义语法。这是当前最为常见的方式。例如,一个EMS或者DMS的电力系统数据库可以和一个遵循CIM RDF Schema的XML文档进行彼此之间的导入、导出,两个系统间的信息交换用KML/XML/DF文档作为接口。因此,本项目可以CIM模型为基础,构建电力通信网运维元数据模型。

2.3. 遵循CIM标准的RDF/XML文档实例

可扩展标记语言(XML)是SGML的一个简化子集。它把SGML的复杂功能与HTML的易用性相结合运用到Web的应用中,以一种开放的自我描述的方法定义了数据结构,在能够实现具体描述数据内容的情况下,同时能够对数据的结构进行重点突出的描述,从而表现出数据之间的关系 [12]。它的优点主要有:1) 可扩展性,它允许各个组织、个人建立适合自己需要的标记集合;2) 灵活性,数据存储格式不受显示格式的制约。另外,随着XML的广泛应用,XML的解析器已经非常成熟。因此利用XML来表示元

Table 1. Power grid metadata standards

表1. 电网元数据标准

数据。对于应用程序和用户都是友好的、可操作的。W3C提出的资源描述框架(Resource Description Framework, RDF)是用XML来描述的,提供了各种语法格式和关系模型来描述网络资源(web resource)。

XML具有数据类型丰富和支持数据结构定义和数据约束、支持命名空间、方便与其他系统的数据进行交换等优点。故而需要将采用UML图构建的元数据模型转化成用XML/RDF描述。表2是资源元数据的XML/RDF语言描述示例片段。

这段元数据描述的含义是设备波特率类型及取值范围。

2.4. 典型应用案例

目前国内外已经有了较为许多成熟的元数据管理工具,并成功应用于电信、金融、电力等诸多领域。代表性的有IBM的Meta Stage,CA的Decision Base,DAG的Meta Center,开源产品Pentaho Metadata,Hortonworks公司的Apache Atlas,国内也有普元Meta Cube、新炬网络元数据管理系统、石竹Meta One等较为成功的元数据管理工具。以中信银行元数据管理系统为例做简单介绍。

中信银行借助普元的元数据管理产品Primeton Meta Cube管理和共享全行的元数据,为中信银行总行和分行用户提供全行统一的数据字典,并且辅助ODS、EDW建设及运维。图2是中信银行的元数据管理系统。

1) 元数据获取层。通过ER Win、Excel、Perl等采集适配器从数据仓库和ODS中采集技术、业务元数据并建立元数据间的关系。元数据范围包括数据库信息、文件分发信息、数据映射信息、ODS表结构信息、表加工信息、交易链路信息、交易接口信息等。

2) 元数据存储层。实现元数据的存储,存储的元数据包括业务元数据和技术元数据。存储前对抽取的元数据进行采集验证,对不满足数据仓库采集存储的元模型进行重新构建,如:文件存储元模型、表和文件的关系建立,Erwin元模型、逻辑模型和物理模型关系映射调整等。

3) 元数据功能层。该部分实现资源展示试图、逻辑模型管理、可配置分析、数据文件管理、质量审核等基本功能模块。

4) 元数据应用层。辅助用户日常的开发和维护工作,帮助用户进行图形化逻辑模型展现、血缘分析、影响分析、关联度分析、问题数据分析等多元分析。

以银行IT系统业务变更为例,借助元数据管理产品强大的采集适配器能力,可以将软件开发全生命周期不同阶段、不同形态、不同存储介质的元数据采集到存储库中进行统一管理。业务系统发生需求变更

Table 2. Resource metadata XML/RDF language description

表2. 资源元数据XML/RDF语言描述

Figure 2. CITIC Bank metadata management system

图2. 中信银行元数据管理系统

或功能模块升级导致表结构变更时,用户可以在元数据管理系统中发起申请流程,经过多阶段元数据一致性比对分析生成对比报告,使得IT部门能够及时的获知业务系统的变更方案,协同受影响的ODS、分析应用等下游系统同时变更,使得变更上线简单、可控,提升了IT运行整体效率。同时,系统提供了变更影响分析功能,使得用户掌握元数据变更可能造成的影响,以便更有效的评估变化带来的风险。

3. 电力通信网建模思路

本文在电力通信运维数据的基础上研究电力通信网络资源元数据、网络行为元数据、网络业务元数据等模型的建模思路。

3.1. 电力通信网络资源元数据

网络资源元数据包括对以下资源进行元数据建模。包括对基础设施(如站点、机房、杆塔等)、光缆网(光缆、纤芯)、传输网(SDH设备、光缆、纤芯)、数据网(路由器、交换机、网线)、电话网(程控交换机、IMS交换机)以及业务系统的资源进行元数据建模 [13]。

以基础设施中的站点为例,进行站点元数据建模时应考虑以下属性:站点的标识符、站点的名称、站点的类型(500 KV变电站,200 KV变电站)、物理位置、状态、编码、管理站点的单位、地理位置、投运成本、所属版本组成等。表3为可抽取的站点元数据属性。

3.2. 电力通信网络行为元数据

电力通信网络的元数据模型包括对告警信息、性能、使用状态等方面进行元数据建模。

Table 3. Site resource metadata attributes

表3. 站点资源元数据属性

以非实时告警元数据为例(表4),元数据建模时应考虑告警名称、告警源、告警类型、告警级别、告警发生时间、告警原因、告警信息描述、所属省、局站、设备名称、设备所在地、告警状态、确认时间、清除时间等方面的属性 [14]。

以电力运维网络中告警信息中需要抽取的元数据属性为例。

3.3. 电力通信网络行为元数据

业务元数据应考虑光纤通道、传输链路以及数据链路上承载的业务。以表5所示的电路业务元数据属性为例。

Table 4. Alarm metadata

表4. 告警元数据

Table 5. Circuit service metadata

表5. 电路业务元数据

4. 总结与展望

本文介绍了元数据建模的关键技术、标准、以及元数据建模的方法。根据已有的UML、MOF、XMI等先进的建模方法,提出了电力通信网资源元数据、网络行为元数据、网络业务元数据等模型的建模思路。通过对电力运维元数据的建模,有助于对运维元数据进行查询、浏览和维护,实现运维数据的有效管理和有效利用,支撑运维数据分析系统的有效建设和促进运维管理活动的可持续发展。

基金项目

广东电网电力通信运维管理元数据建模技术研究,项目编号:GDKJQQ20161191。

参考文献

[1] 李姗姗, 宁洪, 彭绍亮. 基于CWM的元数据管理系统中数据交换格式的研究[J]. 计算机工程与应用, 2004, 40(14): 192-195.
[2] 孟庆君, 王飞, 刘健, 等. 基于Oracle的空间数据库元数据建模研究[J]. 海洋测绘, 2004, 24(5): 46-50.
[3] 曾文, 黄健. 基于元数据建模的市政专业管网数据模型[J]. 测绘科学, 2013, 38(5): 36-39.
[4] 陈刚, 宋俊德. 电信管理元模型及数据模型的研究[J]. 计算机工程, 2007, 33(23): 117-119.
[5] Simmins, J. (2013) IntelliGrid Common Information Model Primer. Electric Power Research Institute, Palo Alto, CA.
[6] 张玲, 王新龙, 肖田元, 韩向利. 虚拟制造中的产品建模技术研究——基于产品定义单元和元建模的产品模型[J]. 机械科学与技术, 2000(6): 18-22.
[7] 吕建, 陶先平, 马晓星, 胡昊, 徐锋, 曹春. 基于Agent的网构软件模型研究[J]. 中国科学E辑: 信息科学, 2005(12) : 34-42.
[8] 文必龙, 赵晶浩, 张璇, 赵满. IT系统运维管理研究[J]. 计算机系统应用, 2013(3): 24-31.
[9] 范玉顺, 曹军威. 复杂系统的面向对象建模、分析与设计[M]. 北京: 清华大学出版社, 2000.
[10] 崔南方, 张安. 现代资产管理: EAM系统的管理和应用[M]. 北京: 电子工业出版社, 2008.
[11] 曹晋彰. 面向智能电网的公共信息模型及其若干关键应用研究[D]: [博士学位论文]. 杭州: 浙江大学, 2013.
[12] 李磊, 曲俊华. 电厂资产管理系统的设计与实现[J]. 电力系统自动化, 2005, 29(13): 80-83.
[13] 曲朝阳, 沈晶, 李佳, 等. 具有面向服务架构的电力企业资产管理系统模型设计[J]. 电网技术, 2007, 31(11): 69-73.
[14] 王扬, 朱承治, 等. 基于公共信息模型的电网企业资产管理信息模型及应用[J]. 电力系统自动化, 2012, 36(2): 77-81.