1. 引言
随着对地观测卫星的不断发射，国内外对地观测卫星地面应用系统有效载荷数据预处理系统建设技术日益成熟，但人类在深空探测领域尝试较少，服务于深空探测的卫星地面应用系统建设仍面临很多问题需要不断攻克。以“天问一号”任务为例，“天问一号”是我国首次火星探测任务，火星是太阳系中环境与地球最为相似的行星，对研究地球起源与演化具有非常重要的比较意义，是探寻地外生命、探索生命起源与演化等重大科学问题最有价值的目标之一，因此一直是国际行星探测的重点目标 [1] 。但火星探测难度之高也是世界公认的，人类已先后对火星开展了大约50次火星探测，但是整体上成功率也就一半左右 [2] 。此次“天问一号”地面应用系统有效载荷数据预处理系统(下文简称“数据预处理系统”)作为探测任务的重要一环，也面临多个难题。首先，火星探测器地数传距离较大，对数传能力和地面数据解析能力要求更高。火星探测器距地球最远距离达4亿千米，与探月工程地月最远距离40万千米相比，地火距离是地月距离的1000倍。信号传输的空间衰减从地月距离21 dB增大到81 dB，空间衰减增加了60 dB，传统的数据解析方式无法满足火星探测的任务要求 [3] ；其次，“天问一号”探测有效载荷类型多，包含13类科学探测仪器，每种探测仪器又包含多种观测模式；探测方式多样，既有环绕器遥感探测，又有火星车的巡视探测，既有地火转移阶段探测，又有到达火星阶段探测，与常见的卫星地面应用系统数据预处理流程相比更加繁琐复杂，变化频繁；最后，此次“天问一号”探测数据采用三个地面站四个天线同时进行数据接收的方式，这种方式导致地面接收数据量成倍激增，且大量相同数据需要在短时间内完成筛选剔除，与之前研发的探月工程、对地观测数据预处理系统运行管理方式都存在较大差异。
经过严谨的设计建设和在轨验证，此次“天问一号”地面应用系统有效载荷数据预处理系统解决了深空探测数据预处理面临的难题，圆满完成了首次火星探测数据的预处理任务。本文从数据预处理系统顶层设计角度，研究总结了系统总体设计和技术创新点等方面的内容。
2. 系统总体设计
2.1. 系统处理任务
为完成火星科学探测任务，“天问一号”环绕器和火星车共搭载了13类科学探测仪器。其中，环绕器配置了中分辨率相机、高分辨率相机、环绕器次表层探测雷达(含甚低频射电接收设备)、火星矿物光谱分析仪、火星磁强计、火星离子与中性粒子分析仪、火星能量粒子分析仪7类有效载荷；火星车配置了火星表面成分探测仪、多光谱相机、地形相机、次表层探测雷达、火星表面磁场探测仪、火星气象测量仪6类有效载荷 [4] 。
数据预处理系统主要任务为解析这13类科学探测器下传的科学数据及其他辅助数据，如星历数据，遥测数据等，实现行星际环境、火星大气电离层、表面和地下水冰、土壤、地形地貌、表面物质成分的探测数据产品生产，以及对火星着陆区地形、物质类型、化学元素、次表层结构、磁场的探测，着陆区气象条件以及火星表面声音的测量数据处理，为科学研究提供数据支持 [5] [6] 。
2.2. 系统总体设计
通过分析“天问一号”首次火星探测任务的需求，数据预处理系统具备以下几个特点：
特点之一：处理流程复杂，处理种类繁多。此次火星探测包含巡视器和环绕器两个平台，共搭载科学探测载荷13个，需处理各级别各观测模式300种。各观测模式和各载荷数据处理顺序和处理约束条件各不相同。
特点之二：正确性要求高。数据预处理系统基本要求为数据均可实现正确的处理，即系统中数据处理实现过程要准确还原科学处理算法，因此，系统特点之二即为：系统逻辑清晰准确，与各载荷各模式预处理科学算法设计严格一致。
特点之三：变动频繁。首次火星探测任务中搭载了多个创新型载荷，其数据处理算法需根据认识的深入和实际测量结果不断的改进，因此，数据预处理系统的第三个特点是变动频繁。
针对数据预处理系统的上述特点，系统设计重点关注了流程灵活配置、处理逻辑清晰稳定和松耦合的问题。
1) 系统架构及业务流程
此次“天问一号”地面应用系统有效载荷数据预处理系统采用较为成熟的SOA架构(Service-Oriented Architecture，面向服务的架构)，实现上使用工作流技术和ESB (Enterprise Service Bus，企业服务总线)技术。根据SOA架构的特点，对数据预处理系统进行分层设计，将整个数据预处理系统分为业务流程层、服务层、通用组件层和数据资源层四个层次，各层之间互相协作，实现对首次火星探测数据的预处理 [7] [8] 。
工作流技术是支持数据预处理业务流程快速重构、灵活配置的关键。根据工作流技术特点，在业务流程层设计中引入流程建模和流程引擎的功能，流程建模可提供定义业务流程的工具，业务操作人员通过该功能可根据数据处理需求定制业务流程，实现数据处理顺序的灵活调整；流程引擎是该层的核心，可解析定义好的业务流程，并提供业务流程运行的执行引擎 [9] 。由此，可实现业务人员对数据处理业务流程的灵活配置部署。
在数据处理逻辑清晰，运算稳定的需求方面，通过引入通用组件层，将各载荷不同的算法按步骤进行拆分，对所有科学探测数据通用算法部分进行统一封装，该设计不但减少了运算出错的概率，同时方便系统的运行维护和算法修改，并且极大提高了算法重组的灵活性。
针对松耦合的特点，系统通过SOA架构的设计 [10] ，对首测火星探测数据预处理的算法和业务流程进行分离，业务流程层负责下发、调用和监控数据处理全过程，而服务层则提供了所有数据的科学处理算法，从而将科学处理逻辑从业务逻辑中分离出来，实现了松散耦合，这也提高了整个系统的功能拓展能力、维护能力、稳定运行能力。
“天问一号”地面应用系统有效载荷数据预处理系统业务流程框架如下图1“天问一号”地面应用系统有效载荷数据预处理系统框架图所示：
Figure 1. Frame of data preprocessing system for “Tianwen-1” ground application system
图1. “天问一号”地面应用系统有效载荷数据预处理系统框架图
Figure 2. Composition of data preprocessing system for “Tianwen-1” ground application system
图2. “天问一号”地面应用系统有效载荷数据预处理系统组成图
2) 系统组成
在系统组成方面，“天问一号”地面应用系统有效载荷数据预处理系统由流程处理平台、科学数据处理模块以及通用算法库组成(图2)。
流程处理平台：负责与火星探测数据存储系统和火星探测天线接收系统进行业务通信；根据前端天线数据下传情况自动启动对应的数据处理流程；对处理流程的处理进度、系统运行情况、系统资源进行实时监控；对中间数据产品和内部资源数据进行管理，并将标准产品推送至数据存储系统进行存档。同时，该平台支持手动结束流程及手动重处理数据功能。
科学数据处理模块：根据科学探测载荷及其遥测数据的下传数据格式进行信道处理、解包、解压缩、格式化等处理，生成各有效载荷的原始探测数据及遥测/工程辅助处理数据参数，数据按照二进制格式进行存储，生成0级数据产品。并且在0级数据的基础上按照对应载荷、对应观测模式的科学研究要求生产1、2级标准数据产品，数据按照PDS格式进行存储。
通用算法库：通用算法库中包含了在火星探测数据预处理过程中具有共通性的数据处理方法 [11] ，主要可包括以下几个部分：
1) 物理量转换函数库，主要包含对常用的载荷物理量进行转换的函数方法，包括常用的温度、电压、电流转换公式等，以及二进制转十进制的转换方法。
2) 辐射定标函数库，包括常用的辐射定标公式，如线性方程等。
3) 时间转换函数库，主要将二进制时间码进行转换，实现各时间基准下时间码的精确转换，包括二进制转UTC时间，二进制转北京时间，二进制转秒级数等。
4) 坐标转换函数库，包括常用坐标系之间的位置转换。
5) 图像几何粗校正函数库，包含几何粗纠正模型，支持多项式、小样条等。
6) 灰度重采样函数库，重采样算法支持最邻近、双线性、双三次卷积等。
7) 格式转换函数库，主要包括将二进制数据转换为jpeg、hdf、tiff、pds等格式数据。
Figure 3. Data processing task setting interface of data preprocessing system for “Tianwen-1” ground application system
图3. “天问一号”地面应用系统有效载荷数据预处理系统数据处理任务下发界面
Figure 4. Data processing task list of data preprocessing system for “Tianwen-1” ground application system
图4. “天问一号”地面应用系统有效载荷数据预处理系统数据处理流程界面
目前，“天问一号”地面应用系统有效载荷数据预处理系统已部署至中国科学院国家天文台，作为首次火星探测任务的数据预处理主要平台进行业务化运行，其生产的数据已发布至月球与行星数据发布系统网站，图3、图4为数据预处理系统运行界面图。
3. 关键技术突破
3.1. 信噪比较低情况下的数据处理技术
火星与地球距离遥远，由于火星与地球都在以不同的速度围绕太阳作公转运动，因此两者之间的距离不固定，但即使是最近距离也有5500万公里，最远距离则超过4亿公里 [12] ，遥远的距离势必会影像回传信号质量。同时，与常见的卫星数据单站单天线接收不同，此次“天问一号”火星探测数据接收主要由3个地面站4台天线共同完成，分别为北京密云地面站GRAS-1和GRAS-3天线，昆明地面站GRAS-2天线，天津武清地面站GRAS-4天线，由于地面站地理位置不同，设备配置不同，接收到的数据内容及数据质量都会有区别。因此，在设计阶段，经过充分考虑回传信号质量和多站多天线接收的卫星数据接收安排，提出了主、备两种原始数据解析方案。这两种数据解析方法可根据回传数据质量灵活切换，实现了在最小数据损失的情况下，最大限度地保障数据处理质量。针对0级数据处理的主、备两种解析方法可参见图5。
地面站天线接收到“天问一号”探测数据后，处理模块依次进行数传包的解扰、解格式、虚拟信道提取、多站数据合并、载荷数据提取等操作，当获得完整的载荷帧数据后，对该帧数据进行质量评价，评价依据包括数据帧序号是否连续、数据采集时间是否连续、质量字是否异常等要素，并根据不同评价结果切换原始数据解析方法：在正常情况下，即质量评价通过的情况下，采用主要数据处理方法，对多接收站载荷帧数据进行合并，之后进行多站数据排序、去重复操作，最终按照约定格式生成完整的、具有较高质量的观测数据；在回传信号较差的情况下，即质量评价未通过的情况下，采用备选数据处理方法，针对信号质量较差的数据，该部分载荷帧数据不再与其他接收站数据合并，而采用单独处理的方式。主动处理方式比备份处理方式增加了多站多天线数据混合、去重复的处理过程。通过主、备两种数据处理方法，一方面无论回传信号质量好坏，系统均可完成对所有接收数据的处理解析，最大限度保留了火星探测数据，另一方面使得质量较差数据无法干扰其他正常数据，保证数据整体的质量。
Figure 5. Level-0 data processing schematic of data preprocessing system for “Tianwen-1” ground application system
图5. “天问一号”地面应用系统有效载荷数据预处理系统0级数据处理流程示意图
3.2. 多载荷多模式数据自动处理技术
此次“天问一号”火星探测任务包含环绕器和火星车两大平台，共搭载了13类科学探测载荷，每个载荷又包含不同的观测模式，在地火转移阶段、火星捕获阶段、火星停泊阶段、中继通信阶段和遥感使命阶段，各载荷根据不同应用场景进行不同观测模式的探测 [3] 。同时，每个载荷每种模式的处理又包含多个级别，调用的约束条件也不相同。经过统计，综合主要的探测载荷数据处理以及相关的配置文件生产，此次火星数据预处理项目共包含不同载荷、不同观测模式、不同处理级别300类。如何将这300类处理流程科学整合，正确调用成为了此次数据预处理中的一大难点。针对这一问题，“天问一号”地面应用系统有效载荷数据预处理系统引入工作流技术，在流程处理平台中设计流程建模和流程引擎功能，流程建模可灵活配置数据处理顺序，业务操作人员通过该功能可根据数据处理需求定制业务流程，同时该功能可提供可视化的流程设计界面，在梳理每一条处理流程的调用条件、调用顺序的同时，可在流程处理平台可视化界面中绘制条理分明的数据处理流程图，如图6所示。流程引擎可根据流程图自动完成科学数据处理模块的调用，且流程建模功能支持通过拖、拉、拽数据处理模块的方式灵活修改业务流程，可实现系统在后续实际运行过程中不断完善，不断改进，最终实现整个数据预处理流程的全自动化运行。
Figure 6. Process modeling visualization interface of data preprocessing system for “Tianwen-1” ground application system
图6. “天问一号”地面应用系统有效载荷数据预处理系统流程建模功能可视化界面
3.3. 大数据量高效处理技术
此次“天问一号”环绕器搭载有效载荷7台，数据量巨大，以高分辨率相机(HiRIC)为例，在距离目标265 km处可实现分辨率为0.5米影像拍摄 [13] ，可以获取火星表面高清全色照片，单轨数据量达几十个G。同时，数据下传时为多个地面站多天线同时接收，数据量会成倍增加，这对数据处理模块的处理时效和内存管理提出了极大的挑战。
普通地面数据处理系统通过分布式数据切分的方式进行数据的高效处理，如图7所示。将卫星下传的原始数据经过分割形成n块可并行运算数据，构建n个节点进行大规模并行计算。计算逻辑包括解扰、解格式以及虚拟信道提取等操作，各计算逻辑的数据交互位于该节点内存内部，各节点完成计算后进行虚拟信道数据合并与载荷数据提取，并将不同的载荷数据通过网络传输至m个节点进行下一步数据预处理操作。该分布式处理方法可实现1分钟内完成100 GB规模原始数据的预处理 [14] 。
Figure 7. Satellite raw data processing flow based on distributed data processing method
图7. 基于分布式数据处理方法的卫星原始数据处理流程
但经过对“天问一号”环绕器有效载荷数据结构分析发现，上述大数据量处理常用的分布式计算方法无法适用于此次火星探测下传数据的处理。首先，“天问一号”环绕器下传虚拟信道传输帧VCDU原始数据无有效载荷数据采集时间码，虽然地面接收站标记了数据的接收时间，但由于多接收站地理位置的不同，相同帧数据接收时间不完全相同，存在秒级别的偏差；其次，此次“天问一号”探测任务数据由三站四天线同时接收，在数据解析时需要通过数传包中的质检码对不同天线接收到的相同数据进行筛选。这就导致多接收站数据分块后，块间数据无法设置全局唯一ID，当数据块合并为完整接收数据时无法定位相同帧并进行质量筛查和排序去重复。
经过综合考虑系统硬件参数，反复推演，最终设计采用数据分块、临时文件输出、关键字段提取相结合的方式实现火星探测0级数据的处理。具体方式可参见图8。
当处理多个地面接收站数据时，首先，对每一个接收站数据分别进行分块，当检测到虚拟信道传输帧中帧计数出现回跳时，即数据不连续时，对数据进行数据分块。并将每一块数据作为临时文件进行输出；之后，提取每一块数据的关键字，即首帧数据接收时间、首帧数据帧计数、数据接收时长字段，以关键字作为标准，进行相同数据块的判断，当不同数据块首帧数据接收时间相差不超过2秒且首帧帧计数相同，整块数据接收时长相差不超过5秒时，则判定为相同数据块。对相同块数据逐帧按照质量字进行筛选，当质量字不同时则取质量较优的帧，当质量字相同则取主站接收帧。相同数据块剔除后，每块数据内部进行解扰、解格式、虚拟信道提取、排序去重复。最后，将虚拟信道多块数据合并，逐帧写出，再次进行排序去重复，提取不同载荷数据，并发送至不同的节点进行后续的数据预处理。实现化整为零再化整的处理方式。通过目前在轨下传数据处理的验证得出，通过这种方式，模块既可以实现大数据量的处理，又可以兼顾数据处理时效，并且可以满足原始数据格式设计的需求。
Figure 8. Satellite raw data processing flow of data preprocessing system for “Tianwen-1” ground application system
图8. “天问一号”地面应用系统有效载荷数据预处理系统卫星原始数据处理流程
4. 系统在轨运行验证
“天问一号”地面应用系统有效载荷数据预处理系统于2020年7月完成正式部署，通过在轨运行试验测试，综合评估情况如下：
系统运行效率方面：平台登录、数据级别选择、载荷选择、数据文件选择、流程下发、参数配置等操作，平均响应时间为0.7秒；处理7 G大小原始数据时间为35分钟。
资源利用方面：一次性启动发射场火星车模拟数据11个，原始数据共1.03 G，处理过程中内存最大占用为52.89%，处理时间为19分钟，余量为47.11%。处理1个数据，原始数据7 G，处理过程中内存最大占用为62.63%，处理过程35分钟，余量为37.37%。
数据处理正确性方面：通过正确性验证，“天问一号”地面应用系统有效载荷数据预处理系统可正确解析探测数据，工程实现算法与科学设计算法一致。系统生产的数据已发布至月球与行星数据发布系统网站，截止到2023年4月，已发布二十批数据 [15] 。
5. 结论
综上所述，“天问一号”地面应用系统有效载荷数据预处理系统在其设计与实现过程中，充分考虑首次火星探测数据处理特点，通过切换主、备不同的数据处理方式克服了信号远距离传输信噪比较低的数据处理问题；通过引入流程建模和流程引擎工具解决了数据处理流程繁琐复杂、不断迭代变化的问题；通过采用数据分块、临时文件输出、关键字段提取相结合的方式解决了大数据量处理困难的问题，满足了系统灵活配置流程、处理逻辑清晰、业务运行稳定和松耦合可扩展性强的需求。经过在轨运行的验证，已形成较成熟的系统架构、系统组成、业务流程，能够保障“天问一号”地面应用系统数据预处理业务高效稳定进行，并且在一定程度上可以为后续深空探测任务地面应用系统有效载荷数据预处理系统提供借鉴。
NOTES
*第一作者。
#通讯作者。