1. 引言
在新一代天气雷达日常观测业务中,规定采用降水观测模式VCP21,每日产生接近262份基数据及约8860个数据产品。由于基数据、产品数据与资料整编文件在命名规则上存在显著差异,若仅依赖人工方式进行收集与整编,不仅面临文件数量庞大、信息量密集的困难,后续的校对与审核工作也极为繁琐。目前,精河新一代天气雷达的资料仍主要依靠人工操作,通过复制、粘贴及光盘刻录等方式进行日常存储。尽管业务及预报服务人员可通过网站、省局一体化平台等系统在线查阅雷达产品,但相关基数据与产品数据的系统保存周期普遍较短。各级业务人员如需获取完整数据,必须前往档案室复制基数据光盘,并借助RPG、PUP等软件进行回放处理,这一流程不仅严重制约了天气雷达数据的应用效率,也显著增加了档案室的管理负担。近年来,有相关研究学者根据自身工作需求研发了适用于本地的雷达资料整编系统[1],也有其他相关研究学者也开发了雷达数据管理系统[2],还有相关研究学者在雷达运行管理、运行监控等方面进行了深入研究[3]。
面向实际业务需求,本文设计并实现了一套适用于本地新一代天气雷达基数据整编平台。与其他平台相比,该平台旨在通过自动化处理减少人工操作失误,在提升数据处理效率的同时,为各级气象业务人员开展短时临近预报提供有力支持,并为科研工作者查询与分析天气雷达数据提供全面、详实的数据基础。
2. 系统设计原则
(1) 基数据文件每年必须进行整编。
(2) 每天所有的基数据文件形成一个压缩文件,文件命名方式为:RDCCYYYYMMDD.ZIP (RAR),其中RD表示雷达资料识别码、CC代表雷达站2位字母代码(台站CCCC码的后两位)、YYYY代表4位数字年、MM代表2位数字月(1位数字用0补足2位)、DD代表2位数字日(1位数字用0补足2位)、ZIP (RAR)为文件压缩格式的扩展名。
(3) 每天建立一个索引文件,文件名为:INDEX.TXT,包括每天压缩文件RDCCYYYYMMDD.ZIP中包含的基数据文件的文件名、文件大小、文件修改时间等信息,存放在当天的目录下。
(4) 每个存储介质均以日期序列为线索建立目录,每月刻录一张DVD,并在盘面用记号笔按照YYYYMMDD—YYYYMMDD标识起止日期;硬盘按整年为时间单位编录,盘面用不易掉的记号笔或不干胶带标明台站名称、起止日期。
(5) 建立格式说明文件,对基数据文件格式进行必要说明。文件名为:FORMAT.TXT。每张DVD介质上均应在根目录下建立格式说明文件,硬盘只在根目录下建立一个格式说明文件。
(6) 解压缩软件要同时存放在保存介质上。每张DVD介质和硬盘上均应存放解压缩软件。
(7) 每张DVD介质均应包含上述的基数据压缩文件、索引文件、格式说明文件与解压缩软件。硬盘上只在根文件夹存放格式说明文件与解压缩软件。
(8) 雷达站自存硬盘根据自己的实际情况规定每块硬盘保存多少年的雷达基数据,上交硬盘每年一块。尽量保证每块硬盘存储的年数相对稳定,以便于对介质的检索。
(9) 整编结果形成电子文档,永久保存在雷达站。
3. 系统总体结构
系统基于层次化设计思想,构建了一个集应用软件与系统支撑环境于一体化的综合框架。
3.1. 新一代天气雷达基数据整编软件主要分为基础数据层、数据应用层和数据服务层
新一代天气雷达基数据整编系统是在分层架构的指导下构建而成的,构建了涵盖数据存储、业务处理与用户服务的完整体系。数据存储层依托文件管理系统实现雷达数据的统一汇聚;业务处理层承上启下,集成了批量处理与分类管理等核心功能;用户服务层则最终通过标准化接口,提供数据查询、统计分析与资料下载等多元化服务。
3.2. 系统框架
本系统构建于服务器/计算机硬件平台之上,选用Java作为核心编程语言进行开发。系统实现了对雷达基数据与产品数据两种异构格式的一体化整编,并集成了包括名称筛选、时间选择、路径配置及运行状态反馈在内的多项辅助功能,形成一个功能完备的综合应用系统。系统的首页如图1所示。
Figure 1. Homepage of the new-generation weather radar raw data compilation software
图1. 新一代天气雷达基数据整编软件首页
系统构建以前端界面设计为先导,创建了集成原始目录、关键词、目标路径、时间参数及文件命名等在内的多级菜单系统。在此基础上,系统开发了条件筛选、批量压缩、存储与重命名等关键功能模块,通过融合WINZIP压缩与自动批处理技术,最终建成了一个功能完备的新一代天气雷达基数据整编应用系统。
4. 系统的设计与实现
Figure 2. System architecture diagram of the new-generation weather radar raw data compilation software
图2. 新一代天气雷达基数据整编软件系统架构图
系统分二大模块(如图2):一是实现新一代天气雷达基础观测数据、生成产品数据、雷达状态数据的分类自动存储和数据备份;二是实现雷达基数据整编,雷达产品数据整编、入库、统计、查询和下载等功能。
4.1. 雷达数据分类存储
该系统通过控制程序采集并生成V格式基数据,其输出经由软件或磁盘映射机制传输至产品生成程序。经后续算法处理生成的产品数据,最终由PUP显示程序解析并绘制为雷达回波图。所有基数据文件均存放于控制计算机的data目录,且精河雷达的系统软件已升级至ROSE 3.0版本。
4.2. 雷达基数据整编设计
实时控制程序生成的基数据存放于data文件夹,依据中国气象局业务规范,系统需将新生成的数据按日为单位进行整理、压缩,并转存至指定目录,随后通过专用程序完成入库。对于历史数据,则需在本系统内通过“基数据上传”功能,并指定其存储路径以实现手动入库。此外,系统还集成了基数据的统计、查询及下载等综合数据管理功能。
4.3. 雷达产品数据整编设计
在日常雷达观测业务规程中,产品数据通常无需长期保存。然而,预报服务人员在开展技术总结与研究时,常需回溯大量历史雷达产品。若依赖基数据进行回放与返演,将显著降低工作效率。为此,本系统通过对产品数据进行规范化管理以应对这一矛盾。具体而言,系统将新生成的产品数据按日整理并压缩为标准化文件,经专用程序自动化入库;对于历史数据,则提供手动上传功能,用户可通过指定存储路径完成入库。该系统同时集成了产品的统计、查询与下载功能,旨在为预报、服务及科研人员提供一个高效便捷的数据检索与分析平台。
4.4. 系统具体实现方法
(1) 系统通过映射网络驱动器的方式,访问并获取实施控制计算机data文件夹中的基数据。随后,将这些数据按日为单位进行整理,并暂存于网络磁盘。软件系统会进一步处理网络磁盘中的数据,将其导入数据库。在存储层面,系统创建了按“月–日”层级划分的目录结构,并依据数据的生成时间,将其自动归类到对应的日期文件夹中。最终,系统将每日的基数据进行压缩,存储在以日期命名的特定文件夹下。
(2) 在完成数据的相互备份后,系统依据中国气象局颁布的相关雷达业务规范,对新一代天气雷达数据执行整编操作。
(3) 自动化批量数据处理的关键技术与编程开发
系统开发的核心技术在于实现雷达基础数据的自动搜索、批量化处理与管理功能。其中,自动搜索功能能够实时扫描指定目录或数据库,精准定位并获取所需的雷达数据文件,确保数据源的完整性与及时性。批量化处理则是在获取数据后,对目标数据执行更名、压缩与整理等一系列自动化操作,以提高数据存储效率和后续处理速度。更名操作可统一文件命名规范,便于快速检索与识别,压缩处理能有效减少存储空间占用,同时保证数据在传输过程中的稳定性,整理过程则对数据格式、结构及元数据信息进行规范化处理,确保数据的一致性与可用性。通过这一系列高效的自动化流程,系统能够显著提升数据处理效率,降低人工干预成本,为后续的气象业务分析与应用提供坚实的数据基础。
4.5. 基数据整编数据内容对比分析
整编前,基数据文件(例如:2024年5月19日数据)大小约为3.14 GB;经整编处理后,文件大小显著减小至约203 MB (如图3)。分析表明,整编后的数据体积仅为原文件的约1/15,同时文件目录结构也得到了显著简化。此举大幅提升了存储效率与管理条理性,为气象业务人员快速检索与调用历史雷达资料提供了极大便利,从而为气象服务提供了坚实的技术支撑。
Figure 3. Comparison of file sizes after data compilation
图3. 数据整编后文件大小对比
5. 结语
新一代天气雷达基数据整编系统构建了与之配套的精河雷达气象资料数据库,具备对基数据与产品数据进行整编、压缩、入库、查询、统计及下载的完整功能集合,有效减少了人工干预。新一代天气雷达基数据整编系统自投入业务试运行一年以来,运行结果显示,其显著增强了气象业务日常工作效率,为业务、预报及科研人员检索历史个例与下载雷达资料提供了便捷支持,较好地满足了日常业务对雷达数据存储与检索的需求,实现了对台站雷达资料进行高效管理的既定目标。
基金项目
博州气象局2025年度科研课题项目,编号:2025BZ01。