基于双镜头视野协同成像的无线视频传感器网络构建

Construction of Wireless Video Sensor Network Based on Dual Lens Field of View Collaborative Imaging

摘要: 针对地处边远地区江河湖库超大水域观测、大坝工程瞭望、恶劣天气条件下水面漂浮物检测、异常事件辨识及水体水质视觉监测等水利领域智能视频监控特有的应用需求，通过改进无线视频传感器网络(WVSN)、仿“复眼”成像以及视频边缘计算等现有的技术方法，本文提出一种基于双镜头视野协同成像的无线视频传感器网络(简称：WVSN-CI)设计新模式，为广域大范围的全域性水利智能视频监控系统建设提供前端网络设计解决方案。本文还对双镜头摄像机节点组成的WVSN-CI关键技术做出介绍，包括介绍和分析人工复眼与常规CMOS图像传感器双镜头合成，双镜(头)三核(芯)摄像机节点设备的光–机–电–算一体化设计，WVSN-CI视频数据传输协议，基于视频边缘计算的汇聚节点，以及WVSN-CI与水利信息化基础网络设施和视频主控中心的链接等内容。

Abstract: Aiming at the special application needs of intelligent video surveillance in the water conservancy field, such as observation of super large waters of rivers, lakes and reservoirs in remote areas, observation of dam projects, detection of floating objects on the water surface under bad weather conditions, identification of abnormal events and visual monitoring of water quality, by improving existing technical methods such as wireless video sensor network (WVSN), imitation compound eye imaging and video edge computing, this paper proposes a new design pattern for wireless video sensor networks based on dual lens field of view collaborative imaging (referred to as WVSN-CI), that the pattern can provide an front-end network design solutions for the construction of wide area and wide range intelligent video surveillance system in water conservancy. The paper also introduces and analyzes the key technologies of the WVSN-CI composed of dual lens camera nodes, including dual lens synthesis of artificial compound eye and conventional CMOS image sensors, the integrated design of optical, mechanical, electrical, and computing of “dual mirror -three core” camera node equipment, video data transmission protocol for WVSN-CI, sink node based on video edge computing, and links between WVSN-CI and water conservancy information infrastructure, video control center, etc.

1. 引言

水利视频监控系统是近年来用于监视江河湖库及水利工程的先进有效手段之一。针对汛情/险情/灾情的动态监视、防洪预警、供水安全、河湖垃圾倾倒、周边违建突出等问题，通过智能化视频监控技术手段的应用，实现超大水域远距离观测、沿江沿河超狭长视场监视、大坝工程/库区瞭望、恶劣天气条件下水面漂浮物/异常事件检测、水体水质视觉监测等功能，以支撑和确保水资源高效利用、防洪安全、河湖生态安全及供水安全管控的需求。

视频监控技术大致经历了从传统的模拟视频监控、数字化视频监控、网络视频监控、云–端模式的视频监控，向新一代基于边缘计算的视频监控技术的发展。基于网络视频监控、云–端模式的视频监控现已广泛应用。目前，安保、城市综治、港口、矿山、电力、工业制造等领域对智能视频监控的需求量与日俱增，催生了新一代视频边缘计算技术的落地应用 [1] [2] [3] 。另外，作为无线传感器网络(WSN)的一类典型应用——无线视频传感器网络(WVSN)，摄像传感器作为信息获取的最前端，已经从传统摄像传感器发展为智能摄像传感器、多摄像传感器系统，从单一化向集成化进而向智能化、网络化技术发展而来的一种新型的信息获取方式 [4] [5] [6] [7] 。对于广域、大范围的全域性水利智能视频监控系统，主要涉及建在流域机构或省/市/县级水利局信息中心的视频主控中心、利用水利主干通信网络传输视频数据的水利信息化基础网络设施(WAN)和连接在主干通信网络上的若干前端视频监控系统三大部分组成。通过对部署在流域上游或源头等偏远区域的前端视频监控系统的技术分析，存在着：(1) 山区复杂地形布线困难，利用4G/5G无线通信公网却信号覆盖不到、或视频监控租用公网流量费用；(2) 雷暴等恶劣天气条件下通信中断；(3) 超大场景监视瞭望和细节感知的兼顾；(4) 摄像传感器节点计算能力受限难以完成AI (Artificial intelligence)视频分析计算任务等诸多问题，需要同时兼顾监控的覆盖范围、视频采集与AI分析以及视频数据传输稳定可靠等。因此，对于全域性水利智能视频监控系统建设中前端视频监控系统的设计，直接移植其他领域现有的无线视频传感器网络(WVSN)以及视频边缘计算等技术成果面临困难 [2] [3] [6] [8] 。

本文通过改进无线视频传感器网络(WVSN)、仿复眼成像以及视频边缘计算等现有的技术方法，采用2.4 G微波频段的无线视频传感器网络设计方案，作为执行全域性水利智能视频监控系统的前端(末梢端)视频采集与监控任务，提出一种基于双镜头视野协同成像的无线视频传感器网络(Wireless video sensor network based on dual lens field of view collaborative imaging)设计新模式，简称WVSN-CI设计模式。本文提出的WVSN-CI设计模式具有以下集成创新应用的特点：

(1) 针对在流域上游或源头偏远区域执行监视任务的应用场景，以及超大水域远距离观测、沿江沿河超狭长视场监视的场景，采用2.4 G专用微波频段的WVSN-CI架构设计方案，以解决4 G/5 G公用网络覆盖不到，或即使有公网，但视频流量租用费用高的问题。

(2) 针对雷击、闪电、强风和强降水暴雨等恶劣天气条件下通信中断问题，WVSN-CI采用无线数字微波专用传输信道，以及结合无线链路抗雨衰和端到端通信QoS (Quality of service)动态自适应的视频数据传输协议设计，以保障恶劣天气下高可靠通信。

(3) 针对水利智能视频监控中，大水域远距离场景观测和水面漂浮物/异常事件细节感知的兼顾问题，经典的高清全景摄像机，虽然能够看到整个水域场景，但是无法感知细节；高清智能球型摄像机，借助球机的变倍来看清细节，但错失了瞭望整个大场景。WVSN-CI双镜(头)三核(芯)摄像机基于仿生原理，将自然界昆虫“复眼”和哺乳动物“单眼”取长补短，双镜头视野协同，相比传统枪、球摄像机联动产品，可以更灵活地适应水利视频智能监控业务需求。

(4) 针对现场部署的摄像传感器节点计算能力受限，难以支撑AI视频分析计算的问题，WVSN-CI不同于传统的所谓集中式视频云计算架构，而采用基于分散式边缘计算的视频云计算架构设计，在现场/近场就近部署基于视频边缘计算的汇聚节点(Sink node)连接摄像传感器节点，由Sink完成诸如全AI联动抓拍控制、异常事件检测识别等AI视频分析计算任务，既能降低摄像传感器节点的软硬件成本，又增强了系统对AI视频分析重载应用下的快速适应能力。

本文后续的内容组织安排：介绍WVSN-CI架构，以及介绍WVSN-CI与全域性水利智能视频监控组网设计，以及介绍和分析模拟自然界昆虫复眼功能优势的人工复眼(Artificial compound eye, ACE)成像原理、人工复眼与常规CMOS图像传感器双镜头合成、双镜(头)三核(芯)摄像机节点设备的光–机–电–算一体化设计、WVSN-CI视频数据传输协议、基于视频边缘计算的汇聚节点Sink等内容。

2. 基于双镜头视野协同成像的无线视频传感器网络架构设计

2.1. 基于双镜头视野协同成像的2.4 G频段WVSN-CI架构

近年来随着传统/非传统光学系统和成像传感器制造技术和边缘计算技术的快速发展，以及短距离无线通信大带宽、高可靠、低时延、海量数据连接等性能的提升，为构建广域、大范围的全域性水利智能视频监控中执行前端(末梢端)视频监控任务的WVSN-CI提供了先进有效的技术手段。WVSN-CI架构与全域性水利智能视频监控组网设计如图1所示。

WVSN-CI是由若干具有视频监视、处理和无线通信能力的传感器网络节点组成。节点设备采用人工复眼与常规CCD/CMOS图像传感器双镜头合成在一个摄像机上，视野协同共享，采用三核(芯)分布式架构的国产飞腾嵌入式CPU设计，构建双镜(头)三核(芯)摄像机节点设备。WVSN-CI借助于各个节点分布、协同式地感知区域场景。WVSN-CI采用2.4 G频段(2.405 GHz~2.485 GHz)无线数字微波通信，保障恶劣天气条件下通信传输的稳定可靠。在条件允许的情况下也可设计具备支持2.4 G和4 G/5 G双频无线通信的功能。

Figure 1. System architecture of WVSN-CI and networking of wide area intelligent video surveillance system in water conservancy

图1. WVSN-CI架构与全域性水利智能视频监控组网

采用2.4 G频段组成WVSN-CI的水利微波无线通信，打破了原来部署网线或Wifi连接的局限，也不受4 G/5 G覆盖区域的影响，通过2.4 G，以多跳中继方式将双镜头摄像机采集的视频数据传送到汇聚节点Sink，Sink对视频信息进行进一步的AI分析处理并汇入水利信息化基础网络设施(WAN)，再与视频主控中心链接，构成云–网–边–端架构的全域性水利智能视频监控系统。视频主控中心可以逆向对视频信息进行查询、记录等各种操作。

不同于传统视频监控所谓集中式视频云计算架构(云–端架构)，在监视现场/近场就近部署Sink，构成基于分散式边缘计算的视频云计算架构，即云–网–边–端架构，由Sink完成Smart侦测与结构化智能分析计算任务，将视频监控系统的智能化带向了前端。不再需要将原始数据全部传输到云端去处理，然后发送回来，而是直接在边缘侧对视频采集数据进行预处理，过滤低价值数据，降低与云–端间的传输，网络带宽压力更小。WVSN-CI的端侧/边缘/中心具备软件定义能力，支持端、边、网、云协同，支持按需部署和动态加载相应的端侧/边缘/中心AI算法，形成全网一体化的高效智能供给。

2.2. WVSN-CI与视频主控中心的链接

作为无线视频传感器网络WVSN与视频主控中心的链接，通过水利信息化基础网络设施(WAN)再链接视频主控中心，组成全域性水利智能视频监控系统。WVSN-CI采用新一代基于边缘计算的智能视频监控技术设计，WVSN与视频主控中心的链接采用“端–边–网–云”形式，即WVSN-CI前端侧–边缘侧(Sink)–WAN–视频主控中心云端侧的形式。

WVSN-CI的端侧设备包括摄像传感器节点(双镜头摄像机)，所采集的视频数据并不是直接经水利信息化基础网络设施WAN上传到云端，这样会要求带宽高、云端的运算量过大，而是通过布设汇聚节点Sink作为网关，将端侧设备就近接入。经端侧设备无线接入 + 边缘压缩 + 边缘解析的Sink边缘计算，以及通过部署在Sink网关中的学习模型，对所采集的原始视频数据进行过滤，产生高价值的重要数据再上传到云端，云端通过学习、推理进行决策，决策所做出的行动可能下发到端侧，端侧设备做执行。Sink网关基于视频边缘计算技术设计，能够解决目前流行的端侧设备所采集的视频数据直接上传云端存在的“处理延迟”、“网络容量”、“升级成本”方面局限。

3. 基于双镜头视野协同成像的无线视频传感器网络关键技术

3.1. 双镜头摄像机光–机–电–算一体化设计

(1) 模拟自然界昆虫复眼功能优势的人工复眼

自然界昆虫的复眼由许多小眼紧密排列而成。因昆虫种类的不同，小眼(眼孔)的数目从数十到数万。每个小眼都是基本的感光单元，都能单独摄像，整个复眼就是由多孔径成像形成的一幅镶嵌图像。自然界昆虫复眼的视场一般都超过180˚，具有大视场、对运动物体灵敏度高等特点，目前已成为先进光学和非传统/新概念成像应用领域的热点方向 [9] [10] [11] 。模拟自然界昆虫复眼多孔径、多光轴成像原理的人工复眼，具有大场景观测、环境自适应、高时间分辨率和对运动目标检测的高灵敏度等优势，能够适应诸如江河湖库大范围监控、水体监控、某些监控点位要求远距离清晰分辨水面漂浮物/标识船只等水利智能视频监控特定场合的部署应用 [6] [7] 。而基于哺乳动物单孔径、单光轴型眼睛成像原理设计的常规CCD/CMOS摄像机，难以同时兼顾大场景态势观测和细节分辨。枪型高清全景摄像机，虽然能够看到整个场景，但难以辨识细节；球型高清摄像机借助球机的变倍辨识细节，但会错失整个大场景。

通过模拟自然界昆虫“复眼”，取长补短哺乳动物“单眼”，在一个摄像机上采用双镜头合成、视野协同共享，多孔径多光轴的人工复眼与单孔径单光轴光学系统与国产飞腾嵌入式CPU的光–机–电–算一体化设计，形成双镜头视野协同成像。这种双镜(头)三核(芯)摄像机节点设备的设计方案，支持多算法切换、超大水域远距离观测、恶劣天气条件下水面漂浮物/船只异常事件检测、水体水质视觉监测、强反差场景还原真实细节等，适用于江河湖库监视、大坝工程/库区瞭望等。相比传统枪、球型联动摄像机产品，可以更灵活地适应水利领域特定场合的视频监控任务需求。

(2) 仿昆虫“复眼”成像

昆虫复眼视觉感知神经通路，即视叶结构(Optic lobe structure)，通常被模拟分为五个相对分离的计算层级：(1) 视网膜计算层、(2) 薄板计算层、(3) 髓质计算层、(4) 小叶计算层、(5) 小叶板计算层 [12] [13] [14] [15] 。为工程化模拟复眼成像系统，将视叶结构的五个计算层级，概化为“复眼宽场观测视野形成”、“仿生初级视觉滤波器”、“局部域到宽域场时空整合”三个处理环节。

“复眼”成像采用1/1.8 CMOS图像传感器设计。通过设计“重叠捆绑”n个小视觉区域，构建单“仿小眼感受野”，组合构建小眼感受野阵列(ORFA)，通过并行方式遍历读取图像信息。模拟场景光场被小眼R1~R6视网膜层细胞所感受，经初级视觉滤波后，产生各像点物像的光电转换响应，形成对来自不同“仿小眼感受野”的各像点物像在视网膜上镶嵌聚集，模拟形成整个复眼宽场观测视野。ORFA接收到的图像信息及其反应可以建模为：

$Output\left(x_C,y_C,t\right)=\alpha \ast Input\left(x_C,y_C,t\right)+\phi \ast {\displaystyle \sum {}_k}{w}_{x_c^k,y_c^k}\ast Input\left(x_c^k,y_c^k,t\right)$ (1)

式中， $Input\left(x_C,y_C,t\right)$ 为时间步长为 $t$ ，位于 $\left(x_C,y_C\right)$ 处的ORFA神经元的输入， $\alpha$ ， $\phi$ ， $w_{x_c^k,y_c^k}$ 为k个周围神经元的连锁强度 [15] [16] 。

模拟ORFA选择性地调节信号强度和频率分布，以及相近神经元彼此之间所具有的中心–周围对抗(centre-surrounding antagonism)的互抑制效应，设计仿生初级视觉滤波器，提升人工复眼摄像机对于恶劣环境成像的适应性。通过高斯差分形式去除冗余的背景运动，提高目标运动细节的视锐度 [11] [15] [16] 。设： $LA\left(x,y,t\right)$ 表示坐标 $\left(x,y\right)$ 处所对应的神经元在 时刻的输出，基于中心–周围对抗的互抑制可由下式解析：

$LA\left(x,y,t\right)=\left\{\begin{array}{l}\left|P_e\left(x,y,t\right)-P_i\left(x,y,t\right)\right|,if{P}_e\left(x,y,t\right)\ge 0P_i\left(x,y,t\right)\ge 0\\ -\left|P_e\left(x,y,t\right)-P_i\left(x,y,t\right)\right|,if{P}_e\left(x,y,t\right)<0P_i\left(x,y,t\right)<0\end{array}\right\}$ (2)

式中， $P_e$ 代表中心正高斯的兴奋信号， $P_i$ 代表周围负高斯的抑制信号。

局部域到宽域场时空整合的仿生解析，采用基于群体向量(PVA)算法的各像点物像镶嵌聚集群解码方案，局部域的输出被更宽域场的复眼视叶结构存储(“池化”)，经逐级合并为宽域场(wide-field)的W-视叶结构输出，即全局性时空整合的视叶结构输出 [10] [15] [16] 。

(3) 仿哺乳动物“单眼”成像

“单眼”成像采用枪式摄像机1/2.7 CMOS图像传感器设计，适用于光线不充足场景及夜间无照明区域，最低照度：彩色0.001Lux@F1.2，黑白0Lux@F1.2 (红外开启)。“单眼”成像与“复眼”成像双镜头合成在一个摄像机上，“复眼”和“单眼”视野协同共享。

(4) 光–机–电–算一体化设计

光–机–电–算一体化的双镜头摄像机，采用三核芯分布式架构的国产飞腾嵌入式CPU设计，智算+ 2.4 G无线通信赋能“复眼”与“单眼”双镜头摄像机，突破功能固定的GPU和可编程ASIC器件瓶颈，创新采用异构计算加速的解决方案，提升峰值算力达到8 TOPS。支撑实现了恶劣环境成像的智能预处理、广角+变焦双镜头视野协同的高清全景覆盖、兼顾细节感知、AI抓拍等功能。

3.2. 视频数据传输协议设计

2.4 G水利微波无线通信的WVSN-CI视频数据传输协议，是对传统的基于簇的自定义视频数据传输协议的改进，是结合了基于无线链路抗雨衰和端到端通信QoS (Quality of Service)动态自适应的视频数据传输协议设计方案，协议设计框架如图2示意。

Figure 2. The framework of video data transfer protocol

图2. 视频数据传输协议框架

基于簇的自定义视频传输协议包括应用层、运输层、网络层、数据链路层、物理层分层规约。作为无线传感器网络簇首节点(Leader node)，与簇中其他的传感器节点组成自组织网络，同时与水利信息基础设施的网络传输通信处于透明传输状态。在透明传输过程中，采用了信道均衡及传输速率自适应控制的无线链路抗雨衰解决方法。在透明传输过程之上，主要负责对数据的查询管理，以及对监视区域的摄像传感器节点各参数进行管理和节点设备的抓拍控制等。数据查询与管理层又根据具体的分工分为归一化逻辑存储(Unified logical store)区和各个查询代理(Proxy)，他们将用户的查询指令通过归一化后，经各个区域段的Proxy传达到节点，然后从中获取需要的信息。而后，在数据融合层中将得到的信息依据决策所需进行融合，再将结果递交到管理决策层。多传感器管理控制层根据决策的结果和任务需要，再对各个区域传感器的各项参数进行设置和动作执行控制，保障端到端通信QoS动态的自适应，从而满足下一步基于时延自适应的视频数据传输要求。这为动态自适应端到端视频数据传输QoS提供了可靠保障。同样这些指令也通过传输网络到达簇首节点，再由簇首节点根据自己的具体的情况在本簇内执行 [4] [6] [7] 。

3.3. 基于视频边缘计算的汇聚节点Sink

不同于传统的集中式视频云计算方案设计，采用基于2.4 G无线接入 + 边缘压缩 + 边缘解析的视频边缘计算技术 [2] [8] [17] [18] ，设计WVSN-CI的汇聚节点Sink (也称网关)，如图3示意。

双镜头三核芯摄像机(端侧节点设备)就近无线接入Sink网关(本地的边缘侧设备)，经Sink网关边缘计算，以及通过部署的学习模型，将原始视频数据进行过滤，产生高价值的重要数据，经水利信息化基础网络设施WAN，再上传到云端。Sink网关的主要模块包括国产飞腾嵌入式CPU、ARM + Cortex多核硬件架构和Linux软件架构，最大板载4 GB LPDDR4 SDRAM内存等。采用中国数字视频编码标准AVS+，支持高清视频流实时传输、存储及处理；支持在Sink网关侧另外连接多种设备的接入协议；支持Sink网关侧–视频主控中心云之间全链路通信的安全可信管理。Sink网关具备21 TOPS浮点运算的AI算力进行深度学习能力，提供视频预处理、AI边缘解析、视频数据分析、智能存储等边缘算法；具有视频高效编码存储、4 K视频聚合分发、视频转码、计算机视觉、与WAN组网可选千兆WAN/LAN/4 G/5 G等功能。

Figure 3. The design block diagram of sink node (gateway)

图3. 汇聚节点Sink (网关)设计框图

4. 结束语

基于双镜头视野协同成像的无线视频传感器网络(WVSN-CI)设计新模式，采用2.4 G微波频段，作为水利主干通信网络的前端无线视频监控传感器网络，能够满足水利领域智能视频监控系统建设的应用需求。本文提出的WVSN-CI设计新模式具有如下特点：(1) WVSN-CI前端的双镜三核摄像机节点采用光–机–电–算一体化设计，能够实现高清全景覆盖、兼顾细节感知。(2) WVSN-CI采用2.4 G专用微波传输信道，结合无线链路抗雨衰和端到端通信QoS动态自适应的视频数据传输协议，能够保障雷暴天气条件下高可靠通信。(3) 汇聚节点Sink (网关)具备全AI联动抓拍控制和异常事件检测等多项Smart侦测与智能分析功能。(4) 汇聚节点Sink (网关)是基于视频边缘计算技术设计，经Sink边缘计算，将原始视频数据进行过滤，产生高价值的重要数据，再上传到云端，能够减少处理延时、提升数据价值、降低端侧设备软硬件成本。(5) WVSN-CI通过Sink链接水利信息化基础网络设施WAN，可选千兆WAN/LAN/4G/5G通信方式与视频主控中心组成全域性水利智能视频监控系统。

基金项目

本文得到江苏省自然科学基金(BK20221399)，江西省自然科学基金(20232BAB202003)的资助。