水务大数据平台系统设计与应用实践
Water Affairs Big Data Platform System Design and Application Practice
摘要: 水务大数据平台是影响智慧水务建设运行成效的关键。本文以宁夏水投集团为实例,提出以数据标准体系为抓手、数据模型为关键、Sass化为部署方式,构建基于数据中台架构的水务大数据平台系统。以宁夏水投集团的建设成果为我国其他同类型企业提供一定的借鉴经验。
Abstract: The water big data platform is the key to affecting the effectiveness of smart water construction and operation. Taking Ningxia Water Investment Group as an example, this article proposes to use the data standard system as the starting point, the data model as the key, and Sass as the deployment method to build a water affairs big data platform system based on the data middle platform archi-tecture. The construction results of Ningxia Water Investment Group can provide certain reference experience for other similar enterprises in my country.
文章引用:徐晶. 水务大数据平台系统设计与应用实践[J]. 计算机科学与应用, 2023, 13(11): 2044-2050. https://doi.org/10.12677/CSA.2023.1311203

1. 引言

近年来,我国水务行业呈现出数字化、网络化、平台化、智慧化的发展趋势,智慧水务的发展也开始了从“业务数据化”向“数据业务化”的转变 [1] 。对于水务企业而言,水务系统的数字化发展不仅可以提升水务管理的精细化,同时对于提升水务企业的社会服务能力也有重要作用,是水务企业未来市场竞争的核心基础资源之一 [2] 。经过多年的发展,水务系统的大数据管理体系已初步形成,包括数据采集、整理、传输、存储、分析、呈现和应用。水务企业也不断加大数据收集、管理、应用的投入力度,逐步形成数据分析、数据诊断、数据决策的大数据发展生态 [3] 。与此而来,数据类型和数据量的不断丰富,数据不能在信息系统中自动汇集、自由流动的问题也愈加突出,数据资源价值难以挖掘,制约了水务企业进一步的数字化升级 [4] 。

本文以宁夏水务投资集团有限公司(下称“宁夏水投”或“集团”)的水务大数据平台建设实践为例,阐述水务大数据平台的设计思路和应用实践,为我国水务企业智慧水务工作的进一步推进提供一些借鉴思路。

2. 宁夏水务集团大数据系统建设面对的挑战

宁夏水投的水务业务由集团下属20多家子公司负责具体经营,覆盖宁夏银川市、石嘴山市、吴忠市、中卫市、固原市等多个地区,涉及供水人口406万人,年供水规模超4亿吨。目前集团和各子公司都分别建设了各自的信息化系统,但由于建设时没有统一规划,集团主要应用系统之间、集团与分子公司之间数据都无法打通对接,严重影响了各业务应用系统之间的有效衔接,影响了集团对分子公司经营状况的了解、管控和协同,也不利于数据资源化、业务化。目前宁夏水投在智慧水务建设和数据处理方面现状及问题如下:

1) 数据种类多。水务数据的来源多样,其形式也是多样,包括企业长期积累的结构化、半结构化数据和大量非结构化数据。宁夏水务集团现存有不同时期、不同开发商、不同技术开发的各类系统,数据孤岛问题严重,数据共享需要定制开发大量接口,开发实施难度大,成本高,难以持续。

2) 数据质量差。数据管理中数据质量差是一个非常严重的问题。历经多年的信息化建设,宁夏水务集团的系统中已存储了大量的数据,但数据的标准化程度不高,数据质量达不到要求,难以精确支撑集团的管理决策。

3) 缺少标准指引。集团已建的信息化系统多为无序开发、分散使用和管理,数据采集和管理统一的标准和规则,部分系统功能重叠,数据重复录入,数据不一致、数据冗余,对于目前的系统集成与数据汇聚、跨部门间的信息共享,都存在极大的困难。

4) 数据应用不足。集团前期没有做过智慧水务的顶层设计和总体部署,导致决策层、管理层和业务层等不同层级对数据管理的思路不一致,数据逻辑混乱,出现无法解释、无法整合的垃圾数据。此外,已有的系统缺少有效的数据挖掘与分析功能,导致虽然积累了大量的数据,但数据没有利用,不能发挥数据对业务管理指导作用。

为解决以上难题,本文提出基于数据中台思维的大数据平台架构,打造宁夏水务集团统一的大数据平台,建立数据标准体系,全面汇聚整合集团及分子公司各种业务数据,建设跨领域业务数据仓库和维度分析模型,实现全面数据资产治理、建立标准化的数据服务接口,形成集团“智慧大脑”。

3. 宁夏水务集团水务数据标准规范体系建设

大数据标准体系是大数据治理的基础和保障。根据宁夏水土集团的实际情况,依据国标、行标量身制定一套水务大数据标准体系,一方面能规范系统建设的一致性,另一方面能增强各业务部门、技术部门对大数据治理体系的定义和使用一致性。建立统一的数据标准有助于对数据进行统一规范的管理,消除各部门间的数据壁垒,方便数据的共享,同时数据标准也将对业务流程的规范化有帮助作用。

标准规范体系应建设遵循如下原则:

1) 与集团发展战略方向及集团智慧水务建设目标保持一致原则。

2) 可行性原则。标准规范体系必须从集团信息化现状入手,制定切实可行的要求,确保其可行性和可落地性。

3) 高效性原则。标准规范体系必须对集团智慧水务建设有明确的指导作用,能够指引相关部门和人员顺利地完成智慧水务建设工作。

4) 前瞻性原则。标准规范体系应具有一定的柔韧性,能适应未来一段时期业务模式的变化,不仅要考虑解决目前存在的问题和需求,还要考虑集团未来发展的需求。保证标准规范体系具有可扩展性、技术前瞻性、接口灵活性等特点,要能适应企业管理模式与业务模式的不断变化,合理预测环境变化可能给企业战略带来的偏移。

5) 适应性原则。标准规范体系应符合国际、国家及行业标准和政策法规,参考和遵循国家、行业、地方相关的标准体系,并在其基础之上有提升和优化。

在上述原则指导下,设计了系统、全面的数据标准规范体系,包括:宁夏水投集团数据编码标准、宁夏水投集团数据编码管理及实施规范、宁夏水投集团组织主数据标准、宁夏水投集团人员主数据标准、宁夏水投集团业务主数据标准、宁夏水投集团客户主数据标准、宁夏水投集团设备主数据标准、宁夏水投集团工程主数据标准、宁夏水投集团数据交换标准等。

4. 宁夏水务集团水务大数据平台建设实践

根据宁夏水务集团信息化建设目标和要求,设立两级大数据中心:集团级大数据中心与子公司级大数据中心。集团级大数据中心主要负责汇聚分析结果型数据,建立数据上报通道,发布数据标准。子公司级大数据中心负责原始数据的采集和计算,并往集团大数据中心报送。

4.1. 水务大数据平台的总体架构设计

基于宁夏水投集团生产运营、营收客服、管理管控业务场景建立数据开发工厂,完善集团公司标准数据信息模型,以数据脚本、维度建模丰富数据的模型库。同时针对数据实现集团层面的运维管理,全方位展示数据集群、数据源、数据模型、数据服务等,从多个维度分析数据的质量和可用性等数据状态。

通过大数据平台汇集整个生产经营过程,以实现数据的高效化与准确化。大数据平台为供排水企业的生产运营提供全面监控,提供预警报警、应急调度、决策分析功能。智慧水务大数据平台主要包括基础层、数据层、支撑层、主动决策支持与主动服务层。建设内容包括大数据标准体系、数据采集、数据处理与治理、算法模型,其框架如图1所示。

4.2. 水务大数据平台的关键技术

1) 数据采集技术

水务数据采集系统的目标是帮助用户建立一个数据交换平台,来联系横贯整个企业的异构系统、应用、数据源等,完成在企业内部的ERP、CRM、SCM、数据库、数据仓库,以及其它重要的内部系统之间无缝地共享和交换数据的需要。

Figure 1. Overall architecture of water affairs big data platform

图1. 水务大数据平台总体架构

数据采集依托应用集成中间件、应用集成中间件适配器设计,实现对水投及子公司各业务系统数据信息的采集。数据采集通过丰富灵活的适配器服务组件采集业务部门的数据信息,将其传输、归集到数据中心库中。数据采集类型主要包括结构化数据、非结构化数据、半结构化数据三大类。

对于供排水管网、水厂、泵站、水库、工程等实时数据,数据接入要能提供安全、稳定、高效的网关连接服务,支持MQTT,WEBSOCKET、HTTP等协议,对接标准协议设备,单实例每秒处理能力可达15万点,支持下发命令到对应的边缘网关,实现对设备的远程控制,以及仪表、参数的远程设置。

对于业务系统数据的采集,通过WebService接口或ETL方式实现,数据根据需求进行实时同步,通过统一数据汇集与共享交换平台进行数据汇集,存储到中心数据库,保障整体系统安全。

针对非结构化的视频等数据进行采集,实现关键区域的视频监控工作。借助已有的生产安全视频监控平台,视频整合平台需要支持主流的视频设备和码流格式,自动进行编解码格式转换。视频整合平台提供视频资源目录集中管理,可对每个摄像机进行浏览权限控制,并提供统一的外网发布接口。

2) 基于行业和业务的数据规划策略

数据规划是水务行业大数据中台的顶层业务设计,基于水务行业生态、特征预划分的业务逻辑空间和技术逻辑空间,为数据集成和资产分类提供了基础依据。对于宁夏水务集团,在集团层面建立起业务分类,将水务业务分成供水、环保、工程、内控等板块。

为进一步发挥打通数据孤岛的价值,为集团快速搭建更具有决策意义的“分析专题”目录,与水务数仓的ods模型的建表、同步、开发功能。分析专题题的内容可跨板块、跨业务域,并非归属某个业务板块(域)内。

3) 水务数据模型构建

用户通过水务信息模型服务构建的模型是水务业务的抽象,具有很高的重用价值。基于对宁夏水务集团业务的梳理,建立了水量智能预测模型、设备寿命预测模型、设备选型评估模型、人员绩效评价模型。

水量智能预测模型,结合水厂自身的历史数据,根据进厂出厂水量和清水池液位的实时变化情况,对未来全天进厂和出厂水量进行动态计算和调整,最终预测出一个最佳的全天进、出水量指导方案,保证清水池液位稳定在合理范围内。同时,根据进水水量、出水水量及液位的实时变化,在线计算进水量和出水量设定值,并通过控制水泵频率实现水量的控制和调度。通过水量智能预测模型,降低了人工操作强度,保障水厂和整个供水系统的稳定运行。

以大用户水表为例,通过设备选型评估模型分析是否存在大马拉小车,小马拉大车的情况,为降低表观漏损和大表选型提供依据。

建立人员绩效评价模型,对工单的对执行效率进行评价,为管理者合理评估工作效率提供依据,让管理者可以通过“标准工时”约束工人作业,进而合理量化工人的工作量,促进工作的精细化和标准化。

4) 基于SaaS的部署方式

对于多级管理的大数据中心,为了不重复建设,采用SaaS方式部署,打通数据服务链条,保证不同的使用场景。在SaaS模式、OGC Web Service和地理计算服务理论研究的基础上,采用分层架构设计,从数据层、应用服务层、Web服务层、SaaS层、客户层五个层次来构建。

4.3. 典型应用

1) 综合指标分析中心

依托数据中台,利用综合查询、统计和专题分析对数据进行分析,将业务数据转化为全面、系统的分析型信息,展示实时生成运营数据,关键KPI指标,各个业务领域核心分析模型大屏综合展示系统,为决策者提供一个发现问题、分析问题、建立模型、拟定方案的辅助环境,提高决策水平和质量(图2)。

Figure 2. Ningxia water investment smart center business thematic map

图2. 宁夏水投智慧中心业务专题图

对于不同类型的指标,采用了不同的生成和展示方式。其中,原始指标主要针对现有业务系统中的核心指标进行梳理,采用可视化的方式来呈现整体的指标;计算指标是基于业务系统中基础的指标,通过逻辑计算公式生成外部计算指标,这种指标的生成方式更灵活,根据日常工作管理来灵活生成。此外,基于业务不同,不同的指标采用了不同的采集频度,其指标呈现的维度也不同,主要频率维度可以分为四种:实时、小时、日、月。

对于集团中层领导,指标分析结果采用了驾驶舱的展现方式,以核心结果指标为主,更多的呈现分析结果,展示维度和层面更高。

针对领导层要查看的核心经营数据,项目还建设了以智慧中心业务专题图为主的管理驾驶舱。区别于传统的领导驾驶舱,管理驾驶舱对驾驶舱内的指标设置评估的标准,对经营异常的指标第一时间推送到管理驾驶舱,不同的管理者可设置自己经常关注和关心的指标,实现个性化的配置。在管理驾驶舱中,还融入部门的绩效考核,依托行业相关经验,设置了不同部门的管理的核心指标,如与营业收费相关的水费回收率、抄表率、热线投诉率等指标,将企业经营绩效管理与核心业务指标结合起来,切实让数据服务于业务。

2) 智能报表

宁夏水投集团的业务系统较多,报表的种类、使用部分也较多。为此建设了集团智能报表系统,根据管理需要或上级填报要求,可快速新增或调整报表格式和内容,生成的报表可以链接的方式挂接至各个业务系统。智能报表系统有良好的跨平台兼容性,支持和各类业务系统进行集成,支持各种操作系统,支持主流web应用服务器。智能报表系统可以为所有业务系统提供统一的报表服务,业务人员无需提前建模,拖拖拽拽就可以设计出自己需要的业务分析报表,使用户可以更加直观简便地探索数据、分析数据、共享数据。

4.4. 应用成果

宁夏水投基于数据中台的水务大数据平台的建设,使得管理者能全面、直观了解集团生产、管网、营销、生产管理的经营情况,并为业务运营决策提供了初步的数据支撑(图3)。

Figure 3. Ningxia water investment big data platform application results

图3. 宁夏水投大数据平台应用成果

1) 保证生产运行:通过系统的管网监控、分析,在有效控制水质污染事件的发生的同时,对用户水质进行主动跟踪,为用户提供更优质供水服务。系统上线后,生产运行中出现的故障率减少52%,主动发现的风险点增加45%。通过化被动处置故障为主动处置风险,提高了运行稳定性。

2) 提高工作效率:从集团层面可以基于大数据平台提高工作效率。在平台部署并正式使用前,获取各公司经营数据,数据统计需要10天左右,出具分析报告也需要10天时间,在系统建成正式运行后,集团公司工作效率提高90%以上,极大降低管理成本。

3) 提高企业价值:通过建设集团智慧水务大数据平台建设,提高核心竞争力,智慧水务是未来继续保持发展优势的保证,是新一轮竞争中水务企业保持核心竞争力的根本所在,对未来发展意义重大,节能减排,提高运维效率。

5. 结论

水务大数据平台是企业智慧化水平提升的重要标志之一,通过水务大数据平台的构建,宁夏水务集团构建了水务数据标准体系、场景化的数据数据模型,构建了综合指标展示中心,实现了用数据说话、用数据决策、用数据管理,实现了集团数据信息的共享、智能的分析、可视化的展示,提供了集团的工作效率和企业价值。宁夏水务大数据平台的应用实践为其他同类型水务企业提供了借鉴经验。

参考文献

[1] 任海静, 许冬件, 于栋, 蒋梦然, 武昆峰, 刘广齐. 城镇水务系统数据管理体系构建研究[J]. 建设科技, 2023, 10(3): 14-18.
[2] 杨明祥, 蒋云钟, 田雨, 等. 智慧水务建设需求探析[J]. 清华大学学报(自然科学版), 2014, 54(1): 133-136+144.
[3] 张金松, 李旭, 张炜博, 等. 智慧水务视角下水务数字化转型的挑战与实践[J]. 给水排水, 2021, 57(6): 1-8.
[4] 罗贤伟, 庞子山, 谭松柏, 张晔明, 蒋怀德. 基于云计算的水务大数据平台系统设计与实践[J]. 给水排水, 2022, 48(1): 144-150.