海上视频增强关键技术研究进展

The Key Technologies of Maritime Video Enhancement: A Survey

摘要: 光电成像系统在航海领域得到了广泛的应用，但海上获取的视频常常降质严重，限制了其作用的发挥。针对海上视频图像降质主要原因是海雾和舰船摇晃与机械振动造成的，本文对海上视频去雾、稳像和视频图像客观无参考质量评价三个方面的关键技术进展进行简要综述，目的是使相关研究人员快速了解发展现状和最新动态。最后总结了海上视频增强的发展方向。

Abstract: Electro-optical surveillance systems have been widely used in maritime fields. However, severe degradation of video captured on the sea limits the usage. In view of the main reasons of video de-gradation which are sea fog and jitter, we briefly reviewed the technologies of defogging, stabilizing and non-reference image quality accessment, to enable researchers to understand the situation and the latest developments. Finally, further discussions are pointed out on future development.

1. 引言

视频监控系统在航海领域得到了越来越广泛的应用，对海上成像视频进行增强是一个重要而现实的问题。海上成像视频与其他环境成像视频有很多共性，也有其自身特点，最主要的特点是海上视频受各种不良成像条件的影响频率更高、降质更严重。因此，研究海上视频增强技术对于保障海上航行交通安全具有重要实际意义。

针对海上视频图像降质原因主要是海雾导致能见度低、成像模糊，机械振动与舰船摇晃带来的视频抖动造成的，本文对视频图像的去雾、稳像及图像客观无参考质量评价三个方面的关键技术进展进行简要综述，目的是使相关研究人员快速了解发展现状和最新动态。最后总结海上视频增强的发展方向。

2. 去雾主要技术概述

图像去雾技术最早起源于地球物理研究中对飞机航拍和卫星遥感图像的增强研究工作[1] ，随着CCD成像设备的发展及其在交通、监控、日常生活等各方面的广泛应用，使得对雾天降质图像的恢复成为一个研究热点。现有的去雾方法根据是否依赖大气散射模型，分为基于物理模型的方法和非物理模型方法两大类[2] [3] 。

由于在大多数成像应用中，对比度和颜色的校正能够在很大程度上改善图像质量，因此，近期基于物理模型的工作几乎均只考虑大气因素造成的对比度下降和颜色饱和度下降、偏色这两种效果。[4] 中推导出在雾霾天气下单色大气散射模型，近期基于物理模型的研究[4] -[11] 均建立在该模型之上。该类方法实质是利用大气散射模型或其变形形式,求解场景反射率。依据近似计算模型中参数时所需的成像系统或场景信息的不同，基于物理模型的方法又可分为3类：利用同一场景不同天气条件或不同偏振程度的多幅图像进行去雾[4] [5] ，利用用户交互估计景深对单幅图像去雾[6] 和利用图像数据各种假设恢复场景信息的单幅图像去雾[7] -[11] 。其中最后一类方法仅使用单幅图像，且不需用户交互，因此是基于物理模型方法中研究最多的一类方法。而这类方法中最受关注的是基于暗原色的方法[10] 。

非物理模型去雾方法从人的视觉感受效果出发，直接利用数字图像处理技术通过增强对比度和校正图像颜色达到去雾效果。根据人眼视觉系统(HVS)的颜色恒常性理论，即人眼对颜色的感知与物体反射特性密切相关而与光照亮度相对独立，非物理模型去雾方法可分为3类：只进行对比度增强而不考虑颜色校正的对比度增强方法，仅考虑颜色校正的白平衡方法和同时实现了对比度增强和颜色校正的彩色增强方法。第一类方法主要利用各种全局或局部对比度增强方法[12] [13] 或者结合HVS全局和局部自适应特性[14] [15] ，对图像的亮度分量进行增强，而对色调和饱和度分量保持不变。第二类方法都是建立在表面反射或光照颜色统计特性的假设条件基础上的。该类方法又可分为基于WP(white-point)算法、GW(gray-world)算法等图像低阶特征假设的方法[16] 和基于特定数据库学习的方法[17] 两类，前者可以快速有效地校正雾霾图像的颜色。第三类方法是在研究HVS特性的基础上提出的Retinex算法[18] [19] 和自动颜色均衡化(ACE)算法[20] ，它们是重要的局部对比度增强算法和颜色恒常性算法，特别是Retinex算法成为近年来备受关注的研究热点[21] 。

对于视频去雾，除了直接将快速单幅图像去雾算法应用与每一帧外，其余的方法主要是将背景图像与前景分开，分别采用相关的去雾算法进行去雾处理，再将两者去雾结果融合得到最终的去雾视频[22] 。此外，2011年，郭潘等[23] 提出了建立在雾气分析基础上的视频去雾方法。该方法认为雾既可以看做是覆盖在视频帧上的一层遮罩，又可以视为大气散射模型变形表达式中的光路传播图，从而提出两个去雾方法：一个是利用Retinex算法将各帧有雾图像的亮度图分离出来，然后结合图像自身的深度信息得到该视频各帧的雾气遮罩，最后在对数域中减去雾气遮罩并进行自适应对比度增强；另一个是先由暗原色先验信息估计出大气光亮度，再通过背景图像得到视作雾气的光路传播图，进而求出场景反射率，最后由大气散射模型得到去雾视频。这两个方法在获得较优的去雾效果的同时，提高了算法的处理速度。2012年，Yoon等[24] 提供了用HSV颜色空间彩色校正的自适应视频去雾方法。该方法首先在有雾视频HSV颜色空间的饱和度通道(S)中检测大气区域，并在大气区域中估计大气亮度，然后在视频的亮度(V)通道利用加权参数计算生成大气透射图。视频帧的大气亮度和透射图估计都考虑了连续帧之间的时间相关性，并且通过H通道和S通道的时间变化率对颜色退化进行校正，由此有效地实现了视频去雾。2013年，甘佳佳等[25] 提出一种基于精确大气散射图的单幅图像快速去雾算法。该方法首先利用双边滤波进行大气散射光的初始估计，然后通过引入像素值与平均灰度值的比较，得出更加准确的大气散射图，最后依据雾天退化模型复原场景并对结果图像进行色调调整和局部去噪的优化处理。由此可得到更佳的去雾效果，并且采用GPU加速后可以满足实时应用的需求。

目前，去雾技术的研究仍然集中在更精确大气散射图的估计、自动多尺度对比度的增强和更有效的颜色校正上。

3. 稳像主要技术概述

视频稳像技术的发展始于20世纪80年代中期成像传感器在军事上的应用[26] [27] ，它的出现在很多场合下代替了价格昂贵且复杂的机械稳像和光学稳像平台。该技术与图像配准、运动估计、目标跟踪等技术的发展密切相关。文献[28] 按照经典基于运动估计稳像算法的三个步骤，系统详细地介绍了运动估计、运动校正和图像补偿的各类主要技术方法，并做了比较分析。文献[29] 将电子视频稳像算法分为两类：基于运动估计的稳像算法，和无显式运动估计的稳像算法。在简要归纳了基于传统运动估计的稳像技术主要方法和思路基础上，重点介绍了光流视频稳像[30] 和基于稳健(robust)特征轨迹的视频稳像[31] 这两种无显式运动估计的稳像算法。

现有的视频稳定方法其基本思路都是通过估计并平滑相机的2D运动[32] 或3D[33] 运动形成一个新的稳定的视频。通常2D的方法更稳定更快速，因为这些方法在连续帧之间只需要估计一个线性变换(仿射变换或homography)。但2D线性模型太弱以至于无法解决因场景中景深显著变化引起的视差问题。而3D方法可以从原理上解决视差问题并生成更好稳像效果。但其运动模型估计对各种像特征跟踪失败、运动模糊、相机缩放和快速旋转等这类视频降质缺乏鲁棒性。简而言之，2D方法更鲁棒但可能牺牲了质量，例如引入烦人的几何变形或生成视频稳像效果不佳，而3D方法可以获得更好的稳像效果但缺乏鲁棒性。

近两年出现的一些方法[34] [35] 成功地结合了上述两类方法的优点。Liu等[34] 通过在2D特征轨迹上应用一个低阶子空间约束，对3D重构进行了一个有效简化。Goldstein等[35] 通过利用“对极转移”技术避免了3D重构。这些方法放宽了从3D重构到2D长特征跟踪的要求。但总体来说，需要长特征跟踪(典型是要超过20帧)使这些方法难于处理消费级视频中快速运动、快速场景变换、大的遮挡等更具挑战性的情况。

2009年刘等[36] 提出一种被称为内容保持变形(CPW)的图像变形技术被成功用于很多有挑战性的条件下的视觉稳像。其基本思想是真实的密集变形可以由稀疏的通过仔细选择规范项重构出的3D点的位移扩散来近似，只要图像各部分都有足够的特征用于跟踪，CPW方法就可对很多情况都可生成当前最佳效果。但当存在大面积无纹理区域无法获得稀疏的3D特征点时，CPW方法失效。针对该问题，2013年Zihan Zhou等[37] 通过观察发现大面积无纹理区域通常对应于场景中的大面积平坦表面，因此提出混合方法来解决CPW方法失效问题。该方法首先把每一帧图像分割为逐块的平坦区域和用Markov随机场标识的非平坦区域，然后对平坦区域通过估计单应性矩阵计算出一个新的变形，而对非平坦区域仍然使用CPW方法处理，最后将两部分结果无缝融合到一起就形成了最终的稳像视频，有效地解决了CPW方法对于特征稀疏的部分变形仍然明显的问题。

此外，2013年Shuaicheng Liu等[38] 为了实现鲁棒且高质量的稳像结果，提供了一个功能更强的2D相机运动模型——相机路径束模型——通过对每帧画面划分成网格，将每个网格作为一个子相机，同时保持了多个空间变化的相机路径，这个灵活的模型可以很好地处理由视差和快门旋转引起的非线性运动。该方法由基于网格变形的运动表示和将相机路径束整体考虑进行自适应空时平滑两个部分组成，由于它只需要两个连续帧之间对应的特征，因此保持了鲁棒性并简化了2D方法。

当前，对于存在遮挡、光照变换、动态场景等复杂条件的视频如何保持稳像的鲁棒性仍然是最关键的问题。

4. 图像无参考客观质量评价主要技术概述

视频图像质量评价是从视频图像信噪比、清晰度、亮度对比度、色彩保持度等方面比较各种视频图像处理算法效果优劣以及优化算法参数的重要技术，其研究始于20世纪60年代[39] 。按照是否需要人类视觉参与视频图像质量评价可分为主观质量评价方法[40] 和客观质量评价方法[41] ，依据是否有真实参考视频图像，质量评价方法又可分为[41] 全参考、半参考和无参考三类。其中客观无参考图像质量评价方法对于衡量图像质量、评价图像处理算法、设计自动参数调整的自适应图像处理算法都发挥关键作用，因此已经成为图像质量评价的研究热点[42] -[44] 。

文献[45] 将现有的无参考图像质量评价主要方法归纳为3类：1) 从图像结构信息出发，只考虑图像边缘梯度、纹理细节及对比度等信息[46] [47] 。2) 从自然景物颜色出发，考虑视觉效果良好的自然景物统计信息，计算统计差异值得到评价指标[48] [49] 。3) 从HVS特性出发，模拟并量化HVS模型，从而得到评价结果[50] 。

对于视频图像去雾质量的评价，常用新可见边集合数目比和去雾前后平均梯度比两个指标[23] 。2011年，禹晶等人在文献[3] 中归纳总结了可用于去雾质量评价的颜色和对比度方面的有关评测准则，进而又提出了一个综合评价去雾质量的指标[51] 。该综合指标由有效细节强度、色调还原程度、结构信息3个分指标构成：有效细节强度通过Canny算子和亮通道检测图像得到；色调还原程度通过图像直方图相似性检测得到；结构失真程度通过图像结构相似性检测得到，从而可以对去雾算法进行综合客观评价。

对于视频稳像质量的客观评价研究的还不多。文献[52] 认为抖动的视频中可以将画面的运动分解为低频的意向运动和高频的需要去除的抖动。用稳像后剩余的高频抖动成分与原始视频中高频抖动成分相除，得到抖动经过稳像的衰减程度，也即稳像质量。稳像误差的低频部分是意向运动，定义为散度。而且对于稳像的模糊问题提供了用点扩散函数(PSF)进行评价的方法。文献[53] 对近几年提出的基于保真度的评价方法、基于结构相似度的评价方法、基于标准差的评价方法、基于随机性检验的稳像评价方法及基于人眼视觉特性的评价方法等相关研究进行了综述。另外，文献[38] 中还提出了剪切率、全局扭曲和稳定度3个客观指标对其给出的稳像方法进行评价。其中，剪切率由原始视频和稳像视频每帧之间的单应性矩阵中尺度参数的均值计算出；全局扭曲由变形变换矩阵的各向异性缩放比例计算得到；稳定度是对估计出的2D运动的频率进行分析，然后依据稳像后运动中所包含的低频成分比例越大，视频稳像效果越好这个假设得到的。

视频图像质量客观评价的目标始终是追求与人的主观评价结果相一致，建立多指标的图像质量综合评价模型是一个趋势。

5. 海上视频增强技术的发展方向

海上视频增强是一项非常具有挑战性的研究，虽然相关技术已在不同程度上获得了一些进展，然而任何一种单一的方法和应用与令人满意的实用效果还有较大差距。基于本文对海上视频增强关键技术的评述，我们认为未来的发展方向主要包括：

1) 建立多指标的视频图像质量综合评价模型，提高客观无参考质量评价结果与主观评价结果的一致性，实现海上视频降质原因的自感知；

2) 通过性能更优良的自适应多尺度分解方法提高视频增强算法的自适应性、鲁棒性及实时性；

3) 根据视频降质原因和不同算法增强结果的自动评价，使用多种增强技术自适应协调配合工作，自动寻优达到比较理想的增强效果。

资助信息

国家自然科学基金项目(61250006, 61273262, 61002052)