基于改进ORB算法的图像监控系统研究

Research on Image Monitoring System Based on Improved ORB Algorithm

摘要: 随着互联网的迅速扩展，数字媒体图像开始在网络上大量的传播。随之而来的却是数字媒体图像大量滥用和盗版等侵权问题，这使得数字版权保护成为一个需迫切解决的问题。为了解决这一问题，本研究设计了一个用来实现图像相似度对比的图像监控系统，该监控系统在特征提取、特征匹配和阈值评判上分别采用了改进ORB算法、Brute Force算法和Logistic算法。特别是在特征提取上研究采用四叉树算法优化改进ORB特征提取的过程，在提高算法运行速度的同时增加了特征的稳定性减少了特征的重复性。经实验表明，改进的ORB算法的特征提取具有良好的性能，能有效的提升疑似侵权图像的识别度，具有较高的实用价值和研究意义。

Abstract: With the rapid expansion of the Internet, digital images begin to spread extensively on the internet. Subsequently, there are numerous issues of abuse of these digital images, which make digital copy-right protection an urgent issue to be solved. To solve this issue, this study designs an image monitoring system online for achieving image similarity comparison. The monitoring system adopts im-proved ORB algorithm, Brute Force algorithm, and Logistic algorithm in feature extraction, feature matching, and threshold evaluation. Especially in the field of feature extraction, the study uses the quadtree algorithm to optimize and improve the ORB feature extraction process, which not only improves the algorithm’s running speed, but also increases the stability of the features and reduces their repeatability. Experiments have also shown that the improved ORB algorithm has good performance in feature extraction and can effectively improve the recognition of suspected infringe-ment images, which has high practical and research value.

1. 引言

随着数字媒体技术的深入发展，在互联网中数字媒体的被各种形式盗用的问题成为版权持有者面临的严峻挑战。因此，版权的维护成为了备受关注的议题并引发了广泛的讨论。数字版权保护技术(Digital Rights Management, DRM)也成为了当今研究的热点之一。

当前数字版权保护技术主要分为两种：数字防伪 [1] 和加密技术 [2] 。数字防伪技术是指通过在多媒体数据中嵌入不易察觉的标识，从而在初始阶段限制数字媒体的非法复制或重复使用。典型的数字防伪技术如数字水印等。加密技术则主要是在媒体平台的协议层进行操作，用以阻止潜在的网络攻击者通过逆向工程手段窃取内容。尽管这些技术发展至今得到了持续迭代和优化，但盗版手段仍层出不穷，例如通过破解水印或解密协议等方式来非法获取内容。此外，通过技术手段，侵权者既能通过合法渠道下载数字资源，又能再使用图像处理工具如Photoshop等修改其内容，使其伪装成原创，随后在社交媒体平台上进行非法传播。这使得数字作品原创性的识别更是难上加难。因此，如何主动识别数字内容是否构成侵权成为了数字版权保护研究的重要方向。其中，通过大数据监控的内容识别系统对网络中海量内容进行高效相似性对比的方法已成为解决上述问题的最重要的方法。

2. 图像监控系统的设计

图像监控系统的关键是实现图像的相似度对比。本研究设计了一个基于OpenCV库的图像监控系统。该系统能高效的通过提取和匹配图像特征来判断原图像与潜在侵权图像的相似度。基于OpenCV的图像监控系统运行流程如图1所示，其中系统的算法主要分为以下三个步骤：分别是基于改进ORB算法的特征提取、基于BruteForce的特征匹配和基于Logistic的阈值选取。下面将重点介绍本研究设计的核心：基于改进ORB算法的特征提取，并简单介绍一下基于BruteForce的特征匹配和基于Logistic的阈值选取。

3. 基于改进ORB算法的特征提取

特征提取是图像处理的关键步骤，它对后续的特征匹配有着重要的影响。特征提取算法是从图像数据中抽取有代表性和区分性的信息，如图像的关键结构、纹理、形状或物体的局部或全局属性等，从而深入理解和分析图像内容。常见的特征提取算法包括ORB [3] [4] 、HOG [5] 、SIFT [6] 和SURF [7] 。ORB (Oriented Fast and Rotated Brief)算法是一种高效的特征提取和描述算法，它结合了FAST关键点检测和BRIEF描述子，同时加入关键点方向估计，使其具有旋转不变性。HOG (Histogram of oriented gradient)即为梯度方向直方图，是一种经典的特征检测算法，其核心思想是计算图像内局部区域的梯度方向信息来作为该区域的特征。SIFT算法是在不同尺度上寻找特征点，这些特征点不会因图像光照、仿射或噪声不同而改变。而SURF算法则在SIFT的基础上使用Hessian矩阵替代特征金字塔，并采用降维特征描述子，从而进一步提升了特征提取的速度。通过上述算法对比，研究发现HOG、SIFT和SURF算法在计算上都相对耗时，在处理互联网上的海量数据时显得不够高效。为了提高图像监控系统的运行的效率，同时一并增强图像匹配的准确性，研究决定采用一种改进的ORB算法提取特征。

Figure 1. Flow chart of the image monitoring system

图1. 图像监控系统流程图

为了更好的改进ORB算法，我们现了解一下的ORB算法的关键步骤，其关键步骤如下：

FAST关键点检测：FAST算法使用周长为16像素点的圆形像素圈来判断其圆心像素点P是否为关键点。从圆心像素点12点钟方向的像素点为起点，以圆周顺时针方向将16个像素点依次编号。圆心像素点P的灰度值为I_P，阈值为t，若圆周上存在连续N个像素点灰度大于I_P + t或小于I_P − t，则该圆心像素点被称为关键点。其公式如下：

$\{\begin{array}{l}{I}_{x_i}>I_P+t\\ I_{x_i}<I_P-t\end{array},i>N$ (1)

其中 $I_{x_i}$ 表示圆周上的连续像素点灰度值，x_i为圆周上的连续i个像素点之一。为了保证关键点的旋转不变性，还需为每个关键点计算一个方向。首先，以该角点为中心，计算其周围指定大小方框的强度质心，即方框中像素平均灰度值所对应点的位置。得到强度质心后，从关键点向强度质心连接一条向量，该向量即为关键点的方向。关键点方向的计算公式如下：

$\theta =\arctan \left(\frac{{\displaystyle \underset{x,y}{\sum }p}\left(x,y\right)\cdot y}{{\displaystyle \underset{x,y}{\sum }p}\left(x,y\right)\cdot x}\right)$ (2)

其中p(x, y)是图像的强度质心。

rBRIEF特征向量生成：BRIEF描述子是一个二进制描述子，它比较图像中的一对随机像素并产生一个二进制结果。该算法以FAST检测得到的关键点为中心，取其领域窗口内随机一组(即两个)像素点，比较二者灰度的大小，并进行如下赋值：

$\tau \left(p;u,v\right):=\{\begin{array}{cc}1& :p\left(u\right)<p\left(v\right)\\ 0& :p\left(u\right)\ge p\left(v\right)\end{array}$ (3)

其中p(u)，p(v)分别是两个随机像素点 $u=\left(x_1,y_1\right)$ ， $v=\left(x_2,y_2\right)$ 的灰度。随机选取N组像素点，重复上述步骤进行赋值，最终得到一组二进制编码，该编码即为这个关键点的描述，被称为特征描述子。在实际计算时，本文将N设为256，特征描述子的公式定义如下：

$f_N\left(p\right):={\displaystyle \underset{1\le i\le N}{\sum }{2}^{i-1}\tau \left(p;u_i,v_i\right)}$ (4)

不难看出，BRIEF描述子的特征向量是由0和1构成的，因此也将其称为二元特征向量。这些0和1的组合会随着所属关键点及其周围像素的变化而变化。该向量可以表示关键点周围特征的方向，通过组合多个特征向量，可以识别图像中的更广泛的区域或特定目标。在BRIEF的基础上，研究采用改进的rBRIEF描述子算法，即旋转BRIEF描述子，它与BRIEF的区别在于，在取N组像素点时，首先根据关键点方向角度θ旋转这些随机像素对，使像素对的方向与关键点的方向一致，再进行后续操作。这样不论图像旋转角度如何都可以通过其关键点得到相同的特征向量。

尽管ORB算法在特征提取上确实展现了出色的速度，但它并非没有缺点。首先，虽然FAST算法速度极快，但它提取的部分点可能不是真实的关键点，这部分无效点会增加后续 BRIEF描述子的计算负担。其次，如图2所示，ORB 算法检测出的特征点容易集中在在纹理丰富的区域，这导致图像高频特征区域的大部分像素点都容易被标记为特征点。然而，大量近似的特征点并不能获得更稳定的特征匹配结果，反而会产生冗余，从而指数级增加特征匹配的耗时。在图像空间中，特征点分布的越均匀，就越能通过特征匹配反应其几何关系。为了解决上述问题，研究针对这两个缺点提出了相应的优化策略。

Figure 2. The graph of the OBS feature extraction

图2. OBS特征检测效果图

Harris关键点评分：为了进一步筛选关键点，本文引入Harris关键点评分。首先在FAST初步检测的基础上，对每一个检测到的关键点计算其Harris响应值，该值用于评估关键点是否有效。Harris响应值的计算公式如下：

$R=\det \left(M\right)-k{\left(\text{trace}\left(M\right)\right)}^2$ (5)

其中det(M)是矩阵M的行列式，trace(M)是矩阵M的迹，即矩阵对角线上的元素之和。k为一个常数，本文将其设为0.04。M是一个2 × 2大小的矩阵，对于FAST初步检测的每个关键点，矩阵M在该点的定义为：

(6)

其中I_x，I_y分别为图像在x和y方向上的梯度。根据R的值可以判断该关键点是否为角点。当R很小时，该关键点周围区域较为平坦；当R值很大时，该关键点是一个角点。在本文的计算过程中，R值的阈值由图像内所有关键点的平均R值计算得来。

四叉树特征分布均匀化：在通过ORB算法得到特征点后，本文引入了一个四叉树 [8] 结构对检测到的特征进行均匀化操作，具体步骤如下：

1) 首先，将整个图像视为一个单独的节点，并将所有检测到的特征点放入该节点中。

2) 若某个节点中的特征点数量超过阈值，那么该节点将以图像被分割为四个子节点，这四个子节点分别对应图像的左上、右上、左下和右下四个区域。

3) 对每个新生成的子节点递归执行步骤2的操作，直至每个节点中的特征点数量都低于阈值，或四叉树的深度达到预设的最大深度d。

4) 遍历整个四叉树并对每个节点进行筛选，仅保留每个节点中具有最高响应值的特征点。

研究将最大深度d定义为5，单个节点中特征点数量阈值n定义为4。经过特征分布均匀化后的特征提取结果如图3所示。

在获得图像的特征向量后，研究采用基于Hamming汉明距离的Brute Force特征匹配算法 [9] [10] 进行特征匹配。汉明距离用于衡量两个等长二进制字符串间的差异，它的计算方式如下：首先，确认两个字符串x和y长度是否相同。若x和y字符串长度相同，则定义一个计数器。遍历并比较两个字符串中的字符，当字符串x和y在相同位置上的字符不同时，计数器加1。遍历结束后，计数器的值即为字符串x和y的汉明距离。ORB算法通过rBRIEF描述子提取图像特征，由于该描述子的特征向量由0和1组成，因此可以直接计算特征描述子间的汉明距离。

Figure 3. Comparison of the distribution uniformity of the quadtree features and the OBS feature extraction

图3. 四叉树特征分布均匀化对比图

将特征点的平均汉明距离f作为评价版权图像与疑似侵权图像之间相似度的指标，但在实际评估时，还需设定一个阈值进行判断。这就是基于Logistic算法的阈值选取。具体来说就是使用Logistic算法当平均汉明距离f大于阈值时，我们认为疑似侵权图像并未对版权图像构成侵权，否则大概率侵权。当逻辑回归模型被训练完成后，即可以通过输入两幅图像的汉明距离来判断是否构成侵权。

4. 改进ORB算法的实验与结果分析

下面我们通过设计一个实验与结果分析来验证图像监控系统中改进ORB算法特征提取的有效性。实验的硬件平台：CPU配备Intel Core i7 16G内存，软件平台：Windows 11系统。使用Python编程语言结合PyQT框架开发。首先，为了验证ORB算法在速度方面的优越性，本文将SURF、SIFT和ORB算法在图像监控速度上进行了对比，实验结果如表1所示。

Table 1. Table of the speed of three feature extraction algorithm

表1. 特征提取算法速度表

可以看到，改进的 ORB算法的计算速度高于其他算法，达到了243.9幅图像每秒，相较于SURF算法提高了近五倍。这主要是因为改进的ORB算法精简了FAST算法关键点的数量，并通过四叉树结构精简并保留了具有最高响应值的特征点。此外，本文引入一个新的评价指标——平均密度，平均密度越低表示该算法提取的图像内特征越均匀，其计算公式为：

$\{\begin{array}{l}1\text{if}{x}_i-\frac{\theta }{2}\le x_j\le x_i+\frac{\theta }{2}\text{and}{y}_i-\frac{\gamma }{2}\le y_j\le y_i+\frac{\gamma }{2}\\ 0\text{otherwise}\end{array}$ (7)

$M=\frac{\text{mean}\left({\displaystyle \underset{i=1}{\overset{N}{\sum }}{\displaystyle \underset{j=1}{\overset{N}{\sum }}I\left(x_j,y_j;x_i,y_i\right)}}\right)}{2^d}$ (8)

其中M表示平均密度，即图像中每个特征点周围矩形范围内其他特征点的数量的均值。 $\left(x,y\right)$ 为特征点坐标，d为四叉树的最大深度， $\theta$ 和 $\gamma$ 分别为矩形范围的宽高。本文将这两个参数分别定义为 $\lceil \frac{w}{2^d}\rceil$ 和 $\lceil \frac{h}{2^d}\rceil$ 。其中w，h分别为输入图像的宽高。以图2中图像为例，ORB算法与改进ORB算法提取的特征

点数量与平均密度如表2所示。可以看到，改进后的ORB算法平均密度大大降低，这使得特征匹配的效率直线上升。

Table 2. Comparison table of the ORB algorithm before and after improvement

表2. ORB算法改进前后对比表

图4展示了部分图像匹配的结果。从图4(A)中可以看到，对于特征完全相同的侵权图像，即使其发生了旋转，改进的 ORB算法依旧能准确的识别到图像内相似的特征。而对于修改部分内容的图像，如图4(B)所示，本文提出的算法也能通过未修改部分的特征进行识别匹配。

Figure 4. Diagram of the practical teaching system of automation major

图4. ORB算法改进后匹配效果图

实验结果表明，基于改进ORB算法的特征提取算法能大幅提高匹配的运行速度与效率。同时也能增加图像特征提取的稳定性，提升识别匹配度，减少特征提取的重复性。

5. 结论与展望

为了保护图像数字作品在现今互联网中的原创型，防止原创图像在网络中被大量的滥用，从传播层面研究高效的监控版权的图像系统成为当前研究的热点。本研究设计了图像监控系统在实现图像相似度对比的基础上，对特征提取、特征匹配和阈值评判阶段分别采用了改进ORB算法、Brute Force算法和Logistic算法，特别是利用四叉树算法优化并改进了ORB特征提取的过程，在提高算法运行速度的同时增加了特征提取的稳定性，提升识别匹配度，减少了特征的重复性。

然而，当前算法仍然存在提升的空间，首先ORB算法在对不同尺度图像提取特征时表现欠佳。其次图像侵权并不是简单的非黑即白的技术问题，针对侵权程度有不同的解决方案。因此在接下来的研究中将针对这一系列问题继续改进。

基金项目

本论文为2021年浙江省影视媒体技术研究重点实验室开放课题论文。