低空视频影像自适应关键帧提取与快速拼接

Adaptive Key Frames Extraction and Fast Image Mosaic of Low Altitude Aerial Video

摘要: 无人飞行器超低空飞行，获取图像幅宽小，数量多，重复率高，为获取全测区的图像需要图像拼接。目前航空影像拼接广泛使用基于特征匹配的图像配准方法。特征匹配的计算量大，错误率高，影响了图像拼接的速度。针对上述问题提出了一种自适应关键帧的图像拼接方法。该方法根据基准影像和给定的重叠度自适应提取关键帧影像，使用正解和反解相结合的方法完成对关键帧影像的正射校正。通过坐标解算得到每个关键帧影像中需要参与拼接的部分，然后使用横向流型拼接方法将每个关键帧中参与拼接的部分拼接形成测区全图。实验结果表明本文方法在保证较高的拼接精度下可以实现航拍影像的快速实时拼接，很大程度上提高了图像拼接的效率。本文方法可以实现航拍影像快速拼接，满足现场数据检验以及其它快速应急响应的需求，在灾害应急保障与救援中有重要应用意义。

Abstract: Images captured by unmanned aerial vehicle have small image width, large quantity, and high overlap rate. In order to get the image of whole measurement area, image mosaicking is necessary. Feature matching method is widely used in the field of aerial image mosaicing. Feature matching has many disadvantages such as heavy burden of calculation, high error rate, so affected the speed of image stitching greatly. To solve those problems, an adaptive key frame was proposed. Extracting method extracts key frame images according to overlap rate of images and gets the orthographical correction of key frame images by using the combination of direct method and inverse solution method. The part involved in image mosaicing of every key frame was obtained by using its coordinates. Then we get the mosaiced image of the whole area by using flow pattern stitching method. Experimental results show that the method proposed in this paper can realize real-time aerial image stitching with high precision and can improve the efficiency of image mosacing sig-nificantly. The method proposed in this paper can realize real-time aerial image stitching and meet requirements of rapid response, especially in disaster emergency response and rescue.

1. 引言

无人飞行器具有快速、灵活、低成本、高影像分辨率等特点，可以提供测区的第一手影像资料，有效弥补了遥感卫星的重访周期不足。因此，在灾害监测，资源勘察、紧急救援、国土安全评估、空间决策支持等应用领域具有广阔的潜在应用前景 [1] 。一般无人飞行器超低空飞行获取影像幅宽小，数量大，分辨率高，重叠度高。无人飞行器易产生大倾角且倾斜无规律，造成图像存在不规则重叠区、几何畸变。这些因素对无人机图像的拼接效率及拼接效果有着严重的影响，使得无人机系统的实际应用受到很大制约 [2] 。为及时、准确地反映整个测区情况，需要将获得的影像现场快速拼接，形成测区全图。因此，快速拼接问题成为无人机遥感领域研究的重要内容之一 [3] [4] [5] [6] 。根据影像配准的方法大致可将影像拼接技术分为三类：①基于影像灰度的方法：该类方法通过计算图像间重叠部分的灰度差SSD (Sum of Squared Difference)等相似度指标，优化模型参数，但由于计算出的参数对光照条件和旋转角度等比较敏感，所以对无人飞行器航拍影像并不适合 [7] ；②基于变换域的方法：该类方法首先利用傅立叶变换将影像由空域变换到频域，然后通过它们的相互功率直接计算得出两幅影像间的平移矢量，进而实现影像的配准 [8] 。③基于图像特征的方法：该类方法具有一定的尺度不变性，旋转不变性，对于光线、噪声、微视角改变具有鲁棒性，因此是航空影像拼接的主要方法。其重点在于特征因子的选取，但是这种方法计算量较大，耗时较长。

图像拼接方面的研究已较深入，2002年刘金根等提出了一种基于特征区域分割的图像拼接算法 [9] ，2004年赵向阳等(文献4)提出了一种全自动稳健的图像拼接融合算法，2009年王勇等(文献5)提出了一种感兴趣区域寻优搜索的全自动图像拼接算法。但是，他们拼接的图像非遥感影像，特别是在超低空无人飞行器获取的视频影像方面，目前还没有较成熟的拼接技术。尚明姝 [10] 采用Harris提取角点，利用最小中值法去除局外点，实现图像拼接。韩文超 [11] 利用SIFT算子实现了无人机影像的自动拼接。由于基于特征匹配的图像配准方法要搜索和匹配特征点对，计算量大，耗时长很大程度上影响了图像拼接的效率，无法满足实时启用需求。针对上述提到的问题，提出了低空小幅宽视频影像自适应关键帧提取与快速拼接方法，可以保证在较高的精度下实现超低空无人飞行器获取视频影像的快速拼接，满足现场数据检验以及其它快速应急响应的需求。

2. 方法介绍

2.1. 关键帧提取

在选定基准帧影像后，为了提高图像拼接的效率，获取满足重叠度要求的影像对需要提取关键帧影像。判定当前帧图像是否为关键帧的依据是当前帧与参考帧之间的重叠度 [12] 。在选定了重叠度和参考帧之后，计算当前帧与基准帧的重叠度，若重叠度满足要求，则将当前帧选为关键帧，否则移动到下一帧，循环上述过程。在选定关键帧之后，再进行下一关键帧的提取。Li Jing [13] 等人采用逐帧计算的方法进行关键帧提取，其缺点在于效率太低，不适合时效性要求较高的应用领域。Fadaeieslam [14] 和李岩山 [15] 等人通过Kalman滤波预测影像四个角点的运行轨迹，进而计算相邻帧影像之间的重叠度。当拼接的范围增大时，随着误差累积等因素的影响，精确的影像角点位置很难获得，因此影响了Kalman滤波预测的准确性，进而影响关键帧的提取精度。刘善磊 [16] 等人根据摄像机的内部参数、飞行平台的速度、地面像对高等先验知识计算相邻帧之间的理论重叠度，进而按照固定的帧间隔提取关键帧。然而，当这些先验知识无法获取或者地形条件发生改变时，该方法无法获取满足重叠度要求的关键帧。

为了解决上述问题和提高关键帧的提取效率，本文提出了一种自适应关键帧的提取方法，该方法分为两个阶段，一是：统计阶段，二是：提取阶段。在统计阶段通过给定的基准帧和重叠度(根据摄影测量的一般要求，本文设定70%至90%)逐帧计算当前帧与基准帧的重叠度。若重叠度满足要求则记录当前帧与基准帧的帧差，循环上述过程，若重叠度小于设定的下限则停止计算。最后取所有帧差的均值为固定帧差间隔k，至此，统计阶段完成。在提取阶段主要是通过固定帧间隔k提取关键帧。若当前帧与参考帧的重叠度满足给定的阈值范围，则将当前帧记录为关键帧。在重叠度无法满足要求时，若当前帧与参考帧的重叠度大于阈值范围上限(90%)，则以当前帧为基准向前逐帧搜索，并且计算当前帧与参考帧的重叠度，直至重叠度满足要求，将当前帧记录为关键帧。若当前帧与参考帧的重叠度小于给定的阈值下限(70%)，则以当前帧为基准向后逐帧搜索并且计算当前帧与参考帧的重叠度，直至重叠度满足要求，将当前帧记录为关键帧，重复上述过程，直至所有的关键帧提取完成。在提取关键帧的同时，还对提取的关键帧进行了正射校正，为后续的图像快速拼接提供原始的数据。关键帧提取算法流程图如图1所示。

本文将重叠度定义为两幅图像重叠区域的面积与第一幅图像面积的比值。首先通过共线方程解算出两幅图像在地面的覆盖范围，并计算这个覆盖范围的外包矩形。然后对这个外包矩形进行离散化处理，如图2，在x方向和y方向采用一定的固定间隔(建议使用像素的地面分辨率)生成离散化格网点。统计既在第一幅图像覆盖范围内又在第二幅图像范围内的点数目N和仅在第一幅图像覆盖范围内的点数目M，N/M即为两幅图像之间的重叠度。

2.2. 影像正射校正

传感器物理模型根据相机所在的位置、相机的姿态、地面的高程，使用共线方程计算每个像素在地面点的坐标，采用一定的插值方法，即可获得地面正射图像。这种不需要控制点的传感器物理模型非常适合本文所采集图像的正射几何校正。

目前实现航拍图像几何校正的方法主要包括正解法和反解法。其中正解法从原始的图像出发，根据正解公式逐个计算所有像素纠正后的坐标，然后使用一定的插值方法即可完成航拍图像的正射校正。反解法思路与正解法刚好相反，其从纠正后的正射图像出发，以一定的分辨率划分格网，计算每个格网在

Figure 1. Flow chart of key frame extraction algorithm

图1. 关键帧的提取算法流程图

Figure 2. Computing overlap

图2. 重叠度的计算

原始图像中的坐标，并将这个坐标处的像素值赋予正射格网点。当某个格网点在原始图像中的坐标不为整数时，则需要进行一定的插值处理，这是目前较为常用的方法。然而，本文所采用的飞行载体为飞艇，其飞行姿态的倾角变化很大，很难直接确定一幅航拍图像在地面的覆盖范围。针对这种情况，本文采用正解和反解相结合的方法。假设飞行高度足够大，单幅图像覆盖的范围内地面起伏有限，可近似将该区域看作一个平面。假设存在一幅图像，如图3(a)，图像四个角点分别为a、b、c和d，其在像空间坐标系中的坐标分别为 $\left(x_a,y_a,-f\right)$ ， $\left(x_b,y_b,-f\right)$ ， $\left(x_c,y_c,-f\right)$ 和 $\left(x_d,y_d,-f\right)$ ，使用共线方程可计算其在四个角点在物方坐标系中的坐标 $\left(X_A,Y_A\right)$ 、 $\left(X_B,Y_B\right)$ 、 $\left(X_C,Y_C\right)$ 和 $\left(X_D,Y_D\right)$ ，如图3(b)中虚线梯形的四个角点。由于图像只能以矩形的形式存储，还需要根据这些坐标在X方向和Y方向的最大值和最小值确定正射图像在物方坐标系中的范围，如图3虚线梯形的外侧的实线矩形。

确定正射图像范围后，还需要估算正射图像的分辨率，航高为 $Z_s-Z_A$ ，相机在X方向的视场角为 $\alpha$ ，在X方向上的像素个数为M，那么图像的分辨率为D，其表达式如式(1)。根据分辨率即可划分正射图像的分辨率网格，如图4。O点位置为外接矩形的左下角位置，假设校正后的图像中存在一个像素位置P，其像素坐标为 $\left(m,n\right)$ ，那么这个像素位置对应的实际位置在本地摄影测量坐标系中的位置为 $\left(X_P,Y_P\right)$ ，其计算方程如式(2)所示。根据每个像素在物方坐标系的位置使用共线方程可求得其在像方空间坐标系中的位置；由于该位置的坐标一般不是整数，可以使用一定的插值方法计算该位置的灰值，然后将该位置的像素的灰度值赋予正射图像中的像素，即可完成正射校正。

$D=\frac{2\left(Z_S-Z_A\right)\sin \frac{\alpha }{2}}{M}$ (1)

$\{\begin{array}{l}{X}_P=min\left(X_A+X_B+X_C+X_D\right)+mD\\ Y_P=min\left(Y_A+Y_B+Y_C+Y_D\right)+nD\end{array}$ (2)

2.3. 正视频影像的快速拼接算法原理

图像拼接当前广泛使用的方法是基于特征匹配的图像配准方法，目前常用的图像特征描述方法有Moravec特征点检测方法 [17] 、Susan特征点检测方法 [18] 、Harris特征点检测方法 [19] 、SIFT特征点检测方法 [20] 等。由于SIFT特征具有尺度不变性，旋转不变性，对于光线、噪声、微视角改变具有鲁棒性，因此广泛地应用于图像拼接中 [21] [22] 。但是基于图像内部特征点的方法需要在特征点检测，粗匹配，误匹配剔除，全局的平差等方面耗费大量的计算时间，使得其无法满足应急响应和现场数据质量检查等方面的需求。另一方面，基于图像特征的拼接方法与图像内部特征的丰富程度有很大的关系，在图像特征比较丰富的区域(比如城市区域)，以特征点匹配为基础的方法能够取得很好的匹配效果。而在特征比较弱的区域(植被区域或沙漠区域等)，这种方法几乎无法得到正确的匹配结果。

(a) (b)

Figure 3. Orthographical correction

图3. 图像正射校正

Figure 4. Grid resolution

图4. 分辨率格网划分

为了解决上述问题，本文提出了针对航空视频影像的横向流型快速拼接方法。该方法使用惯性测量单元(IMU)实时提供的姿态角数据将视频流中的关键帧影像校正成正射图像。经正射校正后，可近似认为任何两幅关键帧影像之间只存在平移变换关系，然后选择一幅图像作为基准帧图像，计算所有关键帧影像与其之间的旋转关系由于每幅图像均有其独自的覆盖区域，当两幅图像之间的间距过大时，两幅图像可能不包含公共区域，因此二者之间的平移关系无法直接计算。本文提供了一种间接的方法计算二者之间的平移关系。假定M_i,j表示影像I_i和影像I_j之间的平移关系。M_i,j可表示为式(3)，x_i,j和y_i,j分别表示影像I_i和影像I_j之间在行方向和列方向之间的平移关系。

$M_{i,j}=\left[\begin{array}{ccc}1& 0& x_{i,j}\\ 0& 1& y_{i,j}\\ 0& 0& 1\end{array}\right]$ (3)

如果我们需要将影像I_i投影到影像I_j，可以先使用I_i将影像投影到I_k，然后再使用M_k,j将结果投影到I_j。矩阵M_i,j可表达为式(4)。使用这种方法所有的正射影像 $I_1,I_2,\cdots ,I_N$ 均可计算其与参考图像之间的转换矩阵。如果第一幅正射影像为参考图像，P_j,1为图像I_j和图像I₁之间的投影矩阵，P_j,1可表示为式(5)。

$M_{i,j}=M_{i,k}{M}_{k,j}$ (4)

$P_{j,1}={\displaystyle \underset{i=2}{\overset{j}{\prod }}{M}_{i,i-1}}$ (5)

假定所有正射图像的尺寸均为m × n，每幅图像参与拼接的起始行行号为H。则影像I_j中需要参与拼接的条带的宽度为 $x_{i,i}{}_{-\text{1}}$ 。假设拼接后的影像为Z，Z图像中实际数据的起始位置为 $\left[\text{r},\text{c}\right]$ 。在拼接过程中只需要把影像I_j中第H行和 $H+x_{i,i-1}$ 行之间的条带直接写入到Z中第 $r+P_{j-1,1}\left(1,3\right)$ 行与 $r+P_{j,1}\left(1,3\right)$ 行之间，第 $c+P_{j-1,1}\left(2,3\right)$ 列与 $c+P_{j,1}\left(2,3\right)$ 列之间的区域即可完成图像的拼接。选择一幅图像作为基准帧图像，根据相邻两幅关键帧图像之间的平移关系，计算每幅图像与基准帧图像之间的平移关系估算拼接后全局图像的尺寸。根据相邻两幅之间的平移参数，计算出待拼接图像中需要参与拼接的区域，如图5(a)，并将这些条带裁出，并计算每个条带在整体图像中的位置，并将这些条带写入到相应区域，完成拼接，如图5(b)。与传统方法相比，这种方法不需要实时GPS位置数据和地面高程数据，不需要检测与图像内容相关的特征点或角点，稳定性更高，普适性更强。这种方法具有更快的处理速度，几乎可以实现实时处理，满足现场勘验飞行参数正确与否，检测数据遗漏与否，以及快速应急响应的需求。这种拼接方法只使用了经过校正后的正射图像中很窄的条带，舍去了造成鬼影的冗余部分，因此拼接效果好，无鬼影，拼接后的影像数据可以用于深度分析。快速拼接的算法流程如图6所示。

Figure 5. Image mosaic

图5. 图像拼接

Figure 6. Flow chart of fast mosaic algorithm

图6. 快速拼接算法流程图

3. 实验与分析

3.1. 关键帧提取

本文实验使用的数据是由课题组研发的蓝天一号(ASQ-HAA380)所采集的青海省海北藏族自治州的影像数据。由于飞艇在飞行过程中受气流的影响，造成航拍影像存在不规则的重叠区域。如果按照固定帧差提取关键帧影像则不能很好的满足相邻关键帧影像对之间的重叠度要求，从而影响了图像拼接的质量。按照固定帧差提取关键帧影像也不能适应测区内地表变化较大的情况。而本文提出的计算重叠度的方法可以快速有效的计算出两幅图像的重叠度，结合自适应关键帧的提取方法可以快速有效的提取关键帧影像。实验结果表明本文提出的自适应关键帧提取方法有效稳定，并且能适应测区内地表变换较大的情况，全面优于利用固定帧间隔的提取结果，获得重叠度分布均衡的提取结果，为后续的图像处理打下了坚实的基础。以第一测区为例，用本文方法提取的关键帧影像总数为99，该测区共有4566帧影像，关键帧提取的比例为2.1682%。以固定帧差间隔提取的关键帧影像的数目为96。表1为自适应关键帧提取方法和固定帧差间隔提取法的重叠度统计结果对比。如图7(a)所示，按照固定帧差间隔提取关键帧拼接成的影像存在局部明显错位的情况，而本文方法能够获得较好的拼接结果，如图7(b)所示。

3.2. 图像正射校正

先通过共线方程求解出图像所覆盖的范围，然后在区域内生成网格点，最后通过共线方程反求网格点在图像中的坐标，然后插值获得这些点的灰度值，完成图像的正射校正。正射校正的步骤如下：

1) 从图像坐标系到像平面坐标系的转换。首先获取图像的大小，记图像的宽为m，高为n，生成两个列向量，然后根据得到的两个列向量离散化生成图像坐标系。将生成的坐标系的每个点的横坐标减去m/2，纵坐标减去n/2，这样就将坐标原点移到了坐标网的中心，完成了图像坐标系到像平面坐标系的转换。

2) 通过共线方程解求图像覆盖的地面范围。根据摄影测量知识使用共线方程将第一步中得到的像平面坐标系下的各点计算得到其在地面摄影测量坐标系下的坐标。

3) 根据图像覆盖的地面范围，生成离散化地面坐标网格点。根据第二步可以得到该图像在地面的覆盖范围，从而得到其在横坐标方向的覆盖范围和在纵坐标方向的覆盖范围。根据实际情况定义地面坐标网格的间距，据此生成离散化的各网格点在地面摄影测量坐标系下的坐标。

4) 通过共线方程反求地面离散化坐标网格点在像平面坐标系下的坐标，完成图像的正射校正。根据第三步生成各点的坐标通过共线方程反求各点在像平面坐标系下的坐标，然后插值得到这些点的灰度值，完成图像的正射校正。

选择两幅图像，第一幅图像，为飞艇飞过牧场时采集的图像，除了一条道路之外，内部几乎不包含任何人工地物；图像为飞艇在城市区域采集的图像，内部包含大量的人工地物。使用前文提到的方法，将图像转化为正射图像(图8)。

Table 1. Comparison of adaptive key frame extraction method and fixed frame interval extraction method

表1. 自适应关键帧提取方法和固定帧间隔提取法重叠度统计结果的对比

(a) (b)

Figure 7. Comparison of image stitching results

图7. 图像拼接结果对比

Figure 8. Image before correction and image after correction

图8. 正射校正前的影像和正射校正后的影像

3.3. 图像的快速实时拼接

为进一步评估本文方法拼接航带图像的性能，使用提取的关键帧影像拼接成全测区的影像。本文的实验环境为MATLAB 2012B实验的机器配置如表2所示。

由于SIFT特征具有尺度不变性，旋转不变性，对于光线、噪声具有鲁棒性，因此广泛的应用于图像拼接中。但是SIFT特征匹配的计算量大，错误率高，从而很大程度上影响图像拼接的速度。采用本文提出的自适应关键帧提取方法通过坐标解算得到相邻关键帧的数学模型，从而很大程度上的提高了图像的拼接速度，实现了图像的快速拼接。为说明本文方法的有效性，本文采用了一定的方法对图像拼接的结果做了精度评价，具体方法见下一节。表3为标准SIFT方法和本文方法在相邻两幅关键帧影像拼接时的结果对比。从表3可以得出，标准SIFT方法与本文方法在图像配准精度方面几乎不存在差异，但是本文方法用时仅为标准SIFT方法的十分之一。

表4为使用Agisoft Photo Scan商业软件及SIFT特征匹配方法和本文方法拼接测区内人工地物较多自然地物较少的比较好匹配区域的结果对比。实验结果表明三种方法都能获得很好的图像拼接结果，几乎很难用肉眼发现它们之间的差别。但本文方法用时为SIFT特征匹配方法的十分之一，Agisoft Photo Scan商业软件的二十分之一。本文方法几乎可以实现图像的快速实时拼接，很大程度上提高了图像拼接的效率。图像拼接的结果如图9，图9(a)为第一测区拼接结果，图9(b)为第二测区拼接结果。

Table 2. Properties of the computer

表2. 实验的机器配置

Table 3. Comparison of the results of two key frame image stitching

表3. 两幅关键帧影像拼接时的结果对比

注：Rx为X方向的中误差，Ry为Y方向中误差，Rt为总中误差(单位像素)，time为消耗的时间(单位秒)。

Table 4. Comparison of results of image stitching

表4. 图像拼接实验结果对比

为对比本文方法和Agisoft Photo Scan软件在人工地物较少自然地物较多的难匹配区域的配准情况，以第二测区内飞艇飞过牧场时采集的图像为例，如图10(a)所示Agisoft Photo Scan软件不能得到正确的结果，如图10(b)所示，本文方法依然能获得正确的拼接结果。

3.4. 图像拼接的精度评价

为了证明本文方法的可靠性，采用了一定的方法对图像的拼接结果做了精度评价。首先使用SIFT算法检测出一对关键帧影像对的特征点，并使用RANSCA算法 [23] 剔除误匹配的特征点对，然后将所有特征点对欧氏距离平方的均值定义为该影像对的误差R²作为该影像对的精度评价标准。如式(6)所示，其中n为特征点对的总数， $\left(x_a,y_a\right)$ 为该特征点在第一幅图像中的坐标， $\left(x_b,y_b\right)$ 为该特征点在第二幅图像中的坐标。

$R^2=\frac{{\displaystyle \underset{i=1}{\overset{n}{\sum }}{\left(x_a-\text{delta}{x}_i-x_b\right)}^2}+{\left(y_a-\text{delta}{y}_i-y_b\right)}^2}{n}$ (6)

循环上述过程，求得每个关键帧影像对的误差R²，然后取所有关键帧影像对的误差R²的均值N²为整幅图像拼接的精度评价标准。如式(7)所示，其中m为关键帧影像对的总数：

$N^2=\frac{{\displaystyle \underset{i=1}{\overset{m}{\sum }}{R}^2}}{m}$ (7)

以测区一为例，表5为自适应关键帧方法和SIFT特征匹配方法拼接结果的精度对比。

(a) (b)

Figure 9. (a) Image mosaic results of the first test area; (b) Image mosaic results of the second test area

图9. (a) 第一测区图像拼接结果；(b) 第二测区图像拼接结果

(a) (b)

Figure 10. Image mosaic results in weak feature area

图10. 弱特征区域的图像拼接结果对比

Table 5. Comparison of adaptive key frame extraction methods and SIFT feature matching method of image stitching accuracy. Unit (pixels)

表5. 自适应关键帧提取方法和SIFT特征匹配方法的图像拼接精度对比。单位(像素)

从表5可以得出本文方法具有较高的拼接精度和目前较为流行的SIFT特征匹配方法相比在拼接精度上几乎不存在差异。

4. 结语

本文提出的自适应关键帧提取方法利用坐标解算在满足一定精度的要求下，可以很大程度上提高航拍影像拼接的效率。实验结果表明本文方法与目前较为流行的SIFT特征匹配方法相比，在拼接精度方面几乎相同，但是速度加快了10.57倍，相对于成熟的商业软件Agisoft Photo Scan速度加快了近20倍。由于SIFT特征匹配的计算量大，错误率高，从而很大程度上影响图像拼接的速度和精度。SIFT特征搜索速度和匹配的速度和图像的大小密切有关，时间复杂度为m × n，其中m为图像的高，n为图像的宽，因此图像范围越大，本文方法加速比越大，优势越明显。在人工地物较少自然地物较多的弱特征区域(如植被区域) Agisoft Photo Scan软件不能完成航拍影像的拼接，而本文方法依然可以得到正确的结果。使用本文的方法可以实现航空影像的快速拼接，特别是在灾害应急保障与救援中有重要应用意义，能够提供灾区的第一手影像资料，为决策部门的决策提供重要依据，因此本文提出的方法有一定的应用意义。

基金项目

本文资助项目为“十三五”装备预研共用技术：基于多谱信息的复杂环境分类技术(41412010301)。