1. 引言
随着煤矿智能化建设的快速发展，基于视频的智能化采煤模式已然兴起，综采工作面的视频监控系统在智能化采煤中扮演着至关重要的角色，其视频的清晰度和流畅性，直接影响到采煤机司机、支架操作工观察和操作的准确性，进而对整个综采工作面的生产效率和安全产生重大影响。煤矿智能化的发展同时对综采工作面不同设备、不同系统达成接口统一、数据共享、安全可靠等方面提出了更高要求，以确保信息的高效传输与利用。矿鸿操作系统是专门为煤矿行业开发的操作系统，构建了煤矿统一接口、统一数据格式的底座，完全自主可控，摆脱对国外关键技术的依赖[1]。矿鸿操作系统的应用，对煤炭行业构建安全、自主、可控的操作系统具有十分重要的现实意义[2]。
基于此，本文设计了一款基于矿鸿操作系统的矿用本安型视频监控一体机，通过专门开发的综采工作面视频监控软件，可实时、流畅、清晰地呈现综采工作面的视频画面，从而为智能开采提供坚实有力的保障。
2. 系统组成
Figure 1. Structure diagram of video monitoring system for fully mechanized mining face
图1. 综采工作面视频监控系统结构图
综采工作面视频监控系统结构图如图1所示。系统包括矿用本安型视频监控一体机、矿用交换机、采煤机控制器、液压支架控制器、摄像仪、网络变换器[3] [4]。摄像仪安装在液压支架上，连接至网络型液压支架控制器，视频监控一体机通过交换机、网络变换器、架间以太网链路，实现与摄像仪和液压支架控制器的以太网通讯，获取其相关信息。采煤机具有以太网和CAN总线两种通讯方式，能同时满足高带宽和实时性的要求，一体机通过双链路冗余方式获取采煤机的状态信息。一体机根据采煤机和摄像仪的相对位置，以及采煤机和液压支架的当前状态，实时显示智能化采煤视频。
3. 系统硬件设计
3.1. 硬件设计
一体机的硬件结构图如图2所示。处理器采用国产工控级RK3568高性能芯片，该芯片为四核64位Cortex-A55架构，具有强大的视频编解码能力，支持多种视频格式高清硬解码。显示屏采用21.5英寸液晶显示屏，与处理器通过LVDS接口连接，能够为工作面视频提供更宽广的视野和清晰的画质。设计蓝牙、WIFI无线传输功能，可实现与手机端的近场连接。1路隔离USB接口，用于连接本安无线键盘鼠标的接收器，以便人员通过无线键鼠操作一体机。1路CAN通讯接口和1路千兆以太网接口，用于实现与采煤机控制器、液压支架控制器、摄像仪的通讯。
Figure 2. Hardware structure diagram of video monitoring integrated machine
图2. 视频监控一体机硬件结构图
为防止煤矿井下变频器、高压电等对视频监控一体机通讯造成干扰，设计CAN通讯模块隔离耐压直流3500 V，同时在信号CANH和CANL之间增加共模电感以抑制共模噪声，在CANH、CANL、CGND之间采用二极管、TVS管连接防止电压过高对CAN通信电路造成损害。选用带网络变压器的RJ45接口，抑制电磁干扰和回路噪音，提高以太网信号的抗干扰能力[5] [6]。
3.2. 矿鸿操作系统适配
矿鸿操作系统(MineHarmony)是基于开源OpenHarmony系统，专门针对矿山行业所开发的物联网操作系统。矿鸿操作系统为不同设备的智能化、互联与协同提供了统一语言，针对矿山行业的安全可信进行了专项保障。
矿鸿操作系统适配过程如图3所示。一是获取矿鸿操作系统的底座源码，根据处理器芯片进行内核配置，编译构建框架，编译适配处理器内核、类型编译选项等信息。二是开发硬件平台驱动和器件驱动，连接板载外设。三是适配系统依赖的子系统组件，如分布式软总线、分布式调度等套件。再对系统进行编译构建，并完成系统启动。
在适配完成后，需要对系统进行兼容性测试，满足统一的兼容性设计要求，以此确保所有基于MineHarmony开发的设备可运行应用的用户体验一致[7]。本文设计的视频监控一体机已经通过了OS基础认证测试、矿鸿增强套件认证、矿鸿设备接入认证等矿鸿系统认证。
Figure 3. MineHarmony operating system adaptation flowchart
图3. 矿鸿操作系统适配流程图
4. 软件设计
4.1. 总体设计
工作面液压支架通常为100多台，为保证视频监控画面可以有效显示工作面实际采煤情况，每3台支架安装1台摄像仪，工作面的摄像仪数量大约在40~50台左右。在采煤机截割过程中，不仅需要观察采煤机左滚筒和右滚筒的截割情况，同时需要留意采煤机前后支架护帮板以及支架支护状态[8] [9]，当有端头支架观察需求时，也会将端头支架的视频固定显示在显示屏上，因此，一体机提供4分屏和6分屏显示形式可供选择，以满足显示需求。在4分屏显示界面中，2个画面为距离采煤机左、右滚筒最近的摄像仪视频，2个画面为采煤机附近的摄像仪朝向煤壁的视频。
综采工作面视频监控一体机软件系统包含多个功能模块，如图4所示。交互页面包括用户登录页面、参数设置页面、视频显示页面，负责与操作人员的人机交互，个性化参数设置，视频显示。HttpServer模块通过浏览器为用户提供参数上传与下载接口，实现参数的上位机管理。ModbusTCP通讯模块负责获取采煤机和液压支架的数据。CAN通讯模块负责获取采煤机的数据，采煤机同时具有CAN通讯和ModbusTCP通讯时，CAN通讯作为冗余通讯。ONVIF模块负责摄像头的在线管理、云台控制。摄像仪计算模块是视频监控画面调节的依据，计算具有最佳拍摄位置的摄像仪编号以及云台调节角度。视频播放模块负责摄像仪流媒体数据的硬解码以及播放功能。
Figure 4. System function module diagram
图4. 系统功能模块图
4.2. 视频画面调节
综采工作面视频监控画面调节包括两部分，一是选择需要显示的摄像仪，通过软件计算获取拍摄采煤机的最佳摄像仪编号及IP地址，二是对摄像仪的云台角度进行调节。工作面摄像仪采用天玛智控公司矿用本安型云台摄像仪，通过实时计算摄像仪拍摄角度，控制摄像仪云台调节，使摄像仪视频画面对工作面采煤机状态具有最佳显示效果。
摄像仪安装固定在液压支架上，采煤机在液压支架前刮板机上行走，范围从液压支架首架至尾架，一体机将安装摄像仪的支架编号导入软件，同时动态获取采煤机的位置，计算出具有最佳采煤机滚筒拍摄角度的摄像仪的编号，并将相应的视频画面显示出来。当采煤机往机头或机尾方向进行采煤作业时，会根据方向信息将采煤机前方朝向煤壁的摄像仪视频画面予以显示。采煤机相对液压支架位置的获取方式主要为两种，一种是红外方式，采煤机机身安装有红外发射器，每台支架安装红外接收器，根据接收到的红外信号来计算采煤机当前位置和运行方向，采煤机位置偏差为一台支架的宽度，另一种是编码器方式，采煤机安装有编码器，可测量其行走的里程，由此能精确获得采煤机的中心点与支架的相对位置，且位置精度可达厘米级。本文采用的是基于编码器的方式获取采煤机的位置。
工作面矿用摄像仪产品种类较多，对摄像仪的云台控制，通常采用厂商提供的摄像仪控制与管理SDK包，通过调用API接口实现摄像仪的在线管理、网络配置、云台控制等功能。在更换不同品牌摄像仪后，需要加入新的SDK包进行接口调用。
为解决使用不同厂商摄像仪而频繁更新一体机软件的问题，本文设计的一体机采用ONVIF协议实现摄像仪的管理。ONVIF协议是网络视频设备之间的信息交换的通用协议，包括装置搜寻、实时视频、音频、元数据和控制信息等。采用摄像仪ONVIF标准协议，可以实现摄像仪在线管理、断电断网后重连、网络配置、摄像仪云台控制等SDK包所具有的功能。
摄像仪云台调节分为水平方向和垂直方向，以朝向煤壁方向为基准点，在水平方向通过左右调节云台，以匹配采煤机行走时相对摄像仪位置的变化，在垂直方向通过上下调节云台，匹配采煤机左右滚筒截割时采高的变化。
在水平方向上，确定摄像仪的编号后，摄像仪与采煤机滚筒形成三角形关系，根据推溜距离、滚筒中心距、摄像仪安装位置，可以确定a1、b1、a2、b2的长度，从而得出α和β角度，如图5所示，通过调节云台角度，实现采煤机滚筒显示在画面水平方向的中心。
Figure 5. Camera horizontal angle pan tilt adjustment
图5. 摄像仪水平角度云台调节
同理，在垂直方向上，一体机获取采煤机当前滚筒的高度，根据摄像仪安装高度，确定摄像仪与滚筒的三角形关系，进而得出调节角度，始终将采煤机滚筒显示在画面垂直方向的中心。
当摄像仪不在采煤机滚筒最佳拍摄范围内时，摄像仪则恢复到朝向煤壁状态。
4.3. 视频解码
目前主流摄像仪使用的视频编解码技术为H.264和H.265，其压缩率高，并采用RTSP实时流传输协议。一体机显示4台或6台摄像仪视频画面，需要对多个视频同时进行解码，会极大地消耗CPU计算资源。RK3568集成Mali-G52-2EE GPU，其支持单路4K@60fps H.265/H.264/VP9多格式视频解码，或者多路1080P@30fps同时解码；同时也支持1080P@60fps H.265/H.264视频编码的动态码率、帧率、分辨率调节。通过GPU来实现硬解码，不仅能实现视频的流畅播放，降低功耗，还可以大幅减少CPU的占用率，从而让CPU可以更专注于人机交互、通讯、计算等功能。
在硬解码方面，芯片厂商提供通用媒体处理软件平台(Media Process Platform, MPP)，使用统一的视频媒体处理接口(Media Process Interface, MPI)即可实现媒体处理。MPP具备视频编解码功能，其类型涵盖了摄像仪广泛使用的H.264和H.265。MPI提供了一些硬件解码及相关功能的接口，其解码流程如图6所示。通过Mpp_create创建MPP解码器上下文ctx，对MppApi结构体进行初始化，通过其成员控制解码器的解码类型与格式，运用mpp_packet_init将avpacket的数据赋值到mpp_packet，通过decode_put_packet把压缩视频传输到MPP解码器，再由decode_get_frame获取每一帧MPP的解码数据，从而获得每一帧的原始数据。
Figure 6. MPP decoding flow
图6. MPP解码流程
Rockchipmpp是rk公司开发的一个gstreamer插件，其能够将MPP和GStreamer紧密结合。gstreamer是一个用于开发流媒体应用的开源框架，采用了基于插件(plugin)和管道(pipeline)的体系结构[10]。在编程时可直接将相关代码放到gstreamer源码中进行编译，其中文件gstmpph264enc.c和gstmpph265enc.c分别对应H.264和H.265的解码文件，通过直接使用gst/gst.h即可实现对库文件中函数的访问。
视频监控一体机主页面通常显示4台摄像仪信息，当所需要显示的摄像仪在线时，可实时获取视频信息并通过video组件来实现视频播放。
5. 现场应用
矿用本安型综采工作面视频监控一体机在煤矿井下进行了测试，显示画面如图7所示。一体机共连接39台摄像仪，所有摄像仪均为在线状态。在采煤机割煤作业过程中，一体机能够实时获取采煤机的位置信息，同时显示了采煤机左滚筒和右滚筒截割作业的画面，以及采煤机右侧的煤壁视频画面。一体机视频播放过程中，画面清晰流畅，解码速度快，未出现画面卡顿现象，表现出了良好的性能和稳定性。
Figure 7. Integrated machine display images in coal mine
图7. 一体机井下画面
6. 结论
本文基于矿鸿操作系统设计了矿用本安型一体机，并开发了综采工作面视频监控系统软件，实现了一体机和采煤机控制器、液压支架控制器、摄像仪之间的以太网通讯和CAN总线通讯，通过MPP框架、gstreamer插件，实现了视频的硬解码，保证了视频的流畅播放，且CPU占用率较低，同时能够快速处理采煤机位置与摄像仪编号计算的任务。经煤矿井下实际测试，一体机满足对工作面采煤机和作业区的视频监测需求，实现了一体机的安全可信、自主可控，为煤矿的安全生产提供了有力保障。