1. 引言
智能电表是集双向费率计量、控制、实时监测及用户信息交互等多种功能于一体的智能终端。由于焊接或工艺等问题，电表屏幕存在字符显示不全或不显示的缺陷，严重影响与用户交互信息的正常显示。因此，点亮电表并观察字符显示情况的液晶屏(LCD)缺陷检测成为保证智能电表质量的重要环节 [1] 。
然而，人工检测的人力成本高、时间长，且存在操作不规范的问题。相较而言，机器视觉是一种成本低、效率高的自动检测方式。它通过首先机器代替人眼获取目标的图像，然后结合图像处理与分析技术，达到目标检测或识别的目的，已广泛用于工业生产的外包装检测、零件检测，以及农业水果自动分拣 [2] [3] [4] [5] 。因此，有关机器视觉的电表屏幕字符缺陷检测成为研究热点 [6] [7] 。
针对采集的LCD图像对比度低的问题，文献 [8] 提出利用直方图均衡化的手段进行增强，以提高背景与字符之间的差异。文献 [9] [10] 针对增强后的图像，提出直接通过比较待检测LCD灰度与模板灰度的差值，来判断LCD屏是否存在缺陷。然而，由于电表摆放可能存在倾斜，造成电表图像不对齐，即图像上同一点显示电表的不同位置。因此，LCD图像与模板的差值，不一定说明字符必然存在缺失。此外，无缺陷电表的图像间亦可能存在明暗差异，于是直接利用图像间的差值来判断字符缺陷易导致误检。
为此，文献 [11] [12] 提出抠取图像中的字符与模板字符的差异。该类方法主要包括图像预处理、显示区域提取、字符分割以及缺陷判断四个阶段。文献 [12] 首先进行图像增强，其次通过反投影直方图粗略提取显示屏区域，然后进一步利用Hough变换 [13] 确定屏幕直线边缘，在此基础上，又通过Canny边缘检测 [14] 和投影方法进行字符分割，最后将分割后的字符与模板字符进行平方差匹配。文献提出采用形态学开闭运算，对梯度图像进行重构，以尽可能完整地提取字符边缘。为判断字符是否完整，文献 [11] 提出依据矩形框内文字或符号所占比例大小。该类方法的效果不仅依赖字符分割的准确性，而且对矩形框位置敏感。当字符未得到完整地分割或矩形框位置出现一定偏移量，则会造成误检。另外，电表背光灯位于LCD屏的左半部分，而彩色指示灯位于屏外的面板区。于是，受背光灯及彩色指示灯的影响，LCD屏亮度不均匀 [15] 。这一方面加大了完整提取屏幕区域的难度，另一方面增强了细密纹理对字符分割的干扰，进而导致字符轮廓提取的准确度下降。
为避免对字符分割的依赖，缓解对屏幕图像质量的敏感性，本文提出基于图像金字塔匹配的自动检测方法。它首先对模板图像中每个字符，线下提取其多方向的金字塔特征，以更好地描述字符，并降低亮度不均、纹理噪声，以及图像不对齐等因素对字符检测的影响。然后对待检测的图像，利用快速模板匹配搜索其中的字符，从而避免了屏幕区提取与字符分割。最后依据字符个数判断屏幕是否残缺。利用对比度不同、残缺程度不同的六幅智能电表图像进行实验，结果表明，该方法能够准确地检测出屏幕缺陷。
2. 基于金字塔匹配的自动缺陷检测
智能电表屏幕缺陷检测旨在判断屏幕各个字符是否完整。因此，屏幕缺陷检测要以准确识别屏幕图像中的各个字符为基础。然而，由于电表屏幕字符包含不同大小的汉字、字母、数字，及符号，识别各字符需要构建多尺度特征，以克服字符尺度变化的影响。图像金字塔是常用的多尺度图像特征 [16] 。它通过不断对图像进行滤波和降采样处理，能够生成的一系列不同尺度的平滑图像。这不仅可以降低噪声的干扰，而且能够克服目标尺度变化的影响。为此，本文将首先通过建立各字符的图像金子塔，形成字符多尺度模板集。然后利用模板匹配方法，查找待检测屏幕图像中与已知字符特征相近的字符，从而利用字符个数，来判断电表屏幕是否有缺陷，如图1所示。
2.1. 高斯金子塔
高斯金字塔的主要思想是不断利用高斯滤波器 [17] 平滑和降采样处理生成的低分辨率图像序列，降低噪声的同时，通过图像多尺度的描述来避免目标尺度变化对检测结果的影响。假设原始图像为
，经高斯滤波，再隔行隔列地降采样，所得低分辨率图像为
。若继续对
进行高斯滤波并降采样，所得图像则称为为
，如此反复
次，则得到尺寸越来越小的低分辨率图像序列
，即高斯金字塔。其中，
分别代表金字塔中的第
层图像。
假设原图
的大小为
，
和
分别为
高斯金子塔中的第
层图像，则对于
中的任意一点
，可由第
层图像
获得，如式(1)所示：
(1)
其中，
，
，
是窗口函数或权函数，其大小为
。当
时，窗口函数通常为 [18] ：
(2)
Figure 1. Flow chart of the pyramid matching based character defects detection
图1. 基于金字塔匹配的屏幕字符缺陷检测算法流程
于是，若将智能电表屏幕字符按空间位置分组，可构建各组字符的图像金字塔，从而形成字符的不同尺度特征。图2表示
时的电表屏幕图像高斯金字塔。
为此，本文将采用标准屏幕图像构造字符模板，进而依据式(1)生成字符高斯金字塔，为屏幕字符检测提供多尺度描述，克服字符尺度变化的影响，便于检测出尺寸不同的相同字符。另外，高斯滤波能够降低噪声点的干扰，提高检测结果的可靠性。
2.2. 归一化互相关匹配
模板匹配是常用的目标检测与识别方法。其基本思想是将标准目标图像作为模板，并在待检测图像中逐像素地滑动模板，通过比较模板和其覆盖子图间的相近程度，确定待检测图像中是否存在与模板一致的目标。
模板匹配主要包括以下三步：首先将已知的标准目标图像作为模板图像，并从中提取用于匹配过程的特征。然后，从待检测图像提取与模板特征对应的特征。最后，基于提取的特征，比较图像中与模板的相似程度，从而确定目标是否存在。
于是，本文将基于字符图像金字塔，从中提取灰度特征进行模板匹配。这不仅有助于检测出不同尺度的字符，而且可避免字符区域定位和字符是准确分割过程，从而有利于提高字符检测的效率和准确度。
目前模板匹配的准则主要分为两大类 [19] ：距离度量准则和相似性度量准则。前者是度量模板与待匹配图像间的平均绝对误差或平方误差和；后者则是计算模板与待匹配图像间的相关性，如归一化互相关。由于距离度量准则要求图像与模板逐像素完全匹配，容易受图像亮度变化的影响，于是本文采用归一化互相关系数来度量匹配程度。设
为
的待检测图像，若采用
的模板
在上搜索与之匹配的图像窗口，则
左上角移到
处时，归一化互相关系数
为 [20] [21] ：
(3)
其中，
Figure 2. Gaussian pyramid of the smart meter screen image
图2. 智能电表屏幕图像高斯金字塔
于是，对于标准屏幕图像的各种字符
，其中
为屏幕中不同字符的种类，而每种字符的标准个数为
，
为匹配阈值，本文提出的基于金字塔匹配的屏幕缺陷检测基本过程为：首先，通过
次高斯滤波和降采样技术，生成每种字符
的高斯金字塔，从而得到字符高斯金字塔模板集
；其次，依据式(3)，计算每种字符模板
与待检测图像
的归一化灰度互相关系数
；然后，统计
中大于匹配阈值
的数值个数
；最后，若
，则说明待检测图像
与标准屏幕中
字符个数一致，若
，则确定屏幕字符
处有缺陷。算法1给出本文检测方法的算法伪代码。
3. 实验
智能电表屏幕缺陷检测主要检查上电后，电表屏幕字符显示不完整或不显示的情况。然而，电表屏幕图像质量不一，可能会影响屏幕字符缺陷的检测。例如，由于电表屏幕本身质量问题和背景灯的影响，导致上电后屏幕明暗不均，并含程度不同的细纹噪声。此外，彩色指示灯也对屏幕各处的亮度产生影响，进一步加剧屏幕亮度的不均。
因此，为验证基于高斯金字塔匹配的屏幕缺陷检测方法的有效性，本文将对不同质量的屏幕图像进行缺陷检测，观察该方法对图像质量的敏感性。
3.1 实验数据
本文将图3(a)~(f)作为验证本文方法有效性的实验数据，并采用图4所示的
电表屏幕图像作为标准模板，用于构建字符金字塔。
由图3可明显看出，背景灯光的亮度差异造成各电表屏幕不仅整体明暗不同、局部存在亮斑。此外，各图还存在不同程度的偏斜。于是，下面将采用客观指标分析这些图像与模板间的差异大小。
3.2. 图像质量评价指标
均方误差(MSE)峰值信噪比(PSNR)均是常用的图像质量评价指标。结构性相似准则(SSIM)能够综合考虑亮度、对比度和结构三方面的因素，客观度量图像的质量。
为此，本文将基于MSE、PSNR和SSIM三种客观质量评价准则，分析不同电表屏幕图像的质量差异。
(1) MSE
MSE主要衡量图像偏离标准图像的程度。式(4)给出
大小的图像
和模板
之间的均方误差，其值愈大，则表明图像
的质量愈差。
(4)
其中，
分别表示原始图像与标准模板。
(2) PSNR
PSNR主要通过MSE刻画的图像
与模板
间的亮度差异，来间接反映图像的质量。与MSE不同的是，PSNR值越大，说明图像
的质量越高，反之，亦然。如式(5)所示。
(5)
(3) SSIM
图像质量不仅体现在亮度及对比度方面，更受到结构信息的影响。为此，文献 [22] 提出SSIM准则，从亮度、对比度以及结构性多角度考虑图像
与模板
的相似性，具体如式(6)所示。
(6)
其中，
分别是图像
与模板
的均值，
分别是图像
与模板
的标准差，
分别是图像
与模板
间的互相关，如式(7)所示。
(7)
3.3. 智能电表屏幕图像质量分析
为度量图3(a)~(f)所示各电表屏幕图像的质量差异，分别采用MSE、PSNR、SSIM进行分析，实验结果如表1所示。
其中，(a)~(f)分别对应图3(a)~(f)所示电表屏幕图像，加粗表示最优值。
由表1不难看出，图3(a)~(f)电表屏幕图像存在明显的质量差异，其中，(a)中MSE最大，PSNR最小，而(c)中MSE最小，PSNR最大，这说明图3(a)对应电表屏幕图像与模板间的差异较大，而图3(c)对应电表屏幕图像与模板间的差异较小。
通过对比表1中各电表屏幕图像与标准图像间的SSIM亦可发现，(c)中的SSIM最高，即其与模板间的相似程度最大；(e)中SSIM却最低，仅为0.37，(b)、(d)、(f)略高于(e)却均不及0.5，而(a)中SSIM达到0.57。综合MSE、PSNR、SSIM三个指标可见图4(c)对应电表屏幕图像质量最好，而其它电表屏幕图像存在不同程度的差异。
3.4. 智能电表屏幕图像缺陷检测结果
针对图3(a)~(f)所示的智能电表屏幕图像，图5(a)~(f)给出基于高斯金子塔匹配的检测结果。图中Error表示该电表存在缺陷，红色矩形框标识缺陷字符的位置，而Ok表示该智能电表屏幕字符显示完整。
Figure 4. Standard temple for the smart meter screen
图4. 电表屏幕标准模板
Table 1. Analysis on the quality of the meter screen image
表1. 电表屏幕图像质量分析
由图5可知，尽管(c)屏幕对比度低且存在不均匀亮斑，但均未对检测结果产生影响，其它屏幕不论质量如何，仍被检测出不同程度的缺陷。其中，(d)、(e)的缺陷程度最为严重，而(b)、(f)虽有缺陷，但完整度较高。
4. 结论
本文提出基于图像金字塔匹配的自动检测方法。该方法首先构建标准屏幕字符的高斯金字塔集，以形成各种字符的多维描述，进而搜索待检测屏幕图像与金字塔集相匹配的字符，最后依据字符个数判断屏幕字符是否存在缺陷。实验结果表明，它不仅能够避免字符分割过程，而且能够有效降低对亮度不均、纹理噪声以及倾斜与不对齐等图像质量因素的敏感性。
基金项目
国家自然科学基金(编号：61601397)、烟台大学博士基金(编号：07060)。
NOTES
*通讯作者。