复杂背景下的一维条形码定位算法综述

A Review of 1D Barcode Localization Algorithms in Complex Backgrounds

摘要: 随着物联网的发展，条形码技术在商业、医疗、运输和制造等领域都有不可或缺的作用。为了确保自动识别系统能够快速准确地读取条码信息，准确实时的条码定位算法是关键所在。首先着重介绍了条码定位算法研究：主要分为基于传统图像处理的条形码定位方法和基于深度学习的条形码定位方法。传统图像处理方法通常包括图像预处理、边缘检测和模式匹配等步骤。这些方法在处理简单场景的条码定位时表现良好。深度学习方法通过构建卷积神经网络(CNN)等模型，实现了对图像特征的自动学习和提取，具有更好的适应性和泛化能力，其次详细介绍了条形码算法所用到的数据集，并且简单介绍条形码的发展和和评价指标，最后进行总结和展望。

Abstract: With the development of the Internet of Things (IoT), barcode technology plays an indispensable role in various fields including commerce, healthcare, transportation, and manufacturing. To ensure that automatic identification systems can quickly and accurately read barcode information, accurate and real-time barcode localization algorithms are crucial. This paper first provides an overview of barcode localization algorithm research, which is primarily divided into traditional image processing-based methods and deep learning-based methods. Traditional image processing methods typically include image preprocessing, edge detection, and pattern matching. These methods perform well for barcode localization in simple scenarios. Deep learning methods, through the construction of models such as Convolutional Neural Networks (CNNs), achieve automatic learning and extraction of image features, offering better adaptability and generalization capabilities. Furthermore, this paper details the datasets used in barcode algorithms, briefly introduces the development of barcodes and evaluation metrics, and concludes with a summary and outlook.

1. 条形码的发展

条形码技术最初是在二十世纪二十年代由John Kermode首先提出的，并发明了现在手持式读码机的原型[1]。现在广泛使用的条形码是采用并重新开发的二十世纪五十年代末和六十年代初由美国物理学家Norman Joseph Woodland和Bernard Silver共同提出的条形码的专利，直到二十世纪七十年代末和八十年代初，条形码技术才得到商业化应用并开始大力发展[2]。

条形码分为一维条形码和二维条形码两种类别。二维条形码是在一维条形码的基础上产生的，本文只研究一维条形码，下文统称条形码。条形码是由黑白相间的狭长条纹组成，这些条纹按照特定规则排列形成。在条形码中，黑色条纹被称为“条”，黑色条纹中间的白色区域被称为“空”。条形码的生成过程是将所需要记录的信息，按照指定的编码规则转换成一系列不同宽度的“条”和“空”，最后将“条”“空”排列以形成完整的条形码。信息内容可以是数字、字母或特殊符号。一个完整的条形码的构成包括：静空区(前)、起始符、左侧数据符、中间分隔符、右侧数据符、检验符、终止符、静空区(后) [3]。如图1所示。

Figure 1. Barcode structure diagram

图1. 条形码结构图

静空区：指在条形码的两侧留出的空白区域，用于区分条形码和周围环境，以确保读取的准确性。静空区不包含任何条形码信息，它的存在有助于扫描设备正确识别条形码的起始和结束位置。

起始符和终止符：特定的编码序列或特殊的图形符号，其设计目的是帮助扫描设备准确读取条形码的内容，并避免读取错误。

数据符：条形码中的黑色条纹和白色空格组成的部分。所要传递的信息就是通过条形码中的数据符实现的。

校验符：用于验证条形码数据的准确性，校验符的存在可以帮助检测并纠正条形码数据中的错误，提高了数据的可靠性和准确性。

随着物联网技术的不断发展以及市场需求的大幅增加，条形码技术应用的需求也不断增加，促进条形码不断地发展，条形码的种类也日益丰富。其中常用的码制包括EAN条形码、Code39条形码、Code128条形码和UPC条形码等。这些码制都用于快速、准确读取条码信息，在不同的领域和场合都得到了广泛应用。图2列出了几种常用的条形码。

Figure 2. Common 1D barcode types

图2. 常见的一维条码类型

Figure 3. The development history of barcodes

图3. 条形码的发展历程

条形码作为在商品流通过程中的沟通桥梁，是现代商业运作中不可或缺的技术，据统计，成千上万的商家、超市连锁、仓储和物流中心都采用了条形码技术进行各种类型的管理。在物品的生产、流通等方面以及物联网等领域普遍应用。近年来，中国商品条形码的发展相当迅速，商品数量增加，类型也变得越来越复杂。在快速消费品行业，条形码使用率达到95%以上[4]。在生产线上，准确的条码定位可以确保自动识别系统能够快速准确地读取条码信息，从而实现生产过程的自动化和流程优化，提高生产效率和质量控制水平。在零售环节，准确的条码定位可以确保POS系统能够快速准确地扫描商品条码，实现销售记录、库存管理和价格计算等功能，提高零售业务的效率和顾客服务水平。由于在生产线上产品的高速移动以及生产效率的需要，对于条码的识别速度有很高的要求。具体的条形码发展过程如图3所示。

条形码的定位算法研究主要分为两个阶段：第一阶段主要是基于传统图像处理的研究，第二阶段是基于深度学习的研究。本文将从基于传统方法、基于深度学习的方法和算法评价指标三个方面对条形码定位算法展开介绍。图4为本文的结构示意图。

Figure 4. Structure of this paper

图4. 本文架构

2. 基于传统图像处理的条码定位方法研究

基于传统图像处理的条码定位算法需要先对图像进行如灰度化、二值化、滤波等的预处理减少无关信息的干扰，再采用形态学操作增强条形码区域特征进行粗定位获取条码的位置，最后通过边缘检测、霍夫变换或者仿射变换算法进行精细定位。

例如，Creusot [5]提出一种最大极值稳定区域MSER算法，首先用MSER技术从图像中提取稳定极值区域作为候选条形码，然后在Hough空间中对这些候选区域进行聚类以便检测和识别条形码。但是图片模糊时效果较差。

Ji等人[6]对输入图像首先进行灰度化二值化等预处理，得到条形码候选区域，再通过梯度变换得到候选区域的边缘线，最后利用条形码条空的平行性对边缘线区域进行筛选，定位条形码区域。该方法复杂度低满足实时性的需求，适用于倾斜、扭曲、失真模糊的条形码。

Ai等人[7]提出了一种利用条形码的边缘特性对条码图像进行扩张处理与判定的定位方法。应用改进的Sobel算子提取图像的边缘特征，对条形码边缘进行区域扩张处理，以增大连通性，然后应用图像中连通区域的形状特征对条形码区域进行判别，最后应用Radon变换对倾斜的条形码进行校正从而实现条形码的定位。该方法适用于定位过程中受到低光照、曝光、内容扭曲、镜头失焦等因素的影响导致效果不理想的问题。

上述方法都是对单个条形码进行定位，并不能同时对多个条形码定位。在零售业或物流领域可能会同时使用多个条形码来标识不同种类的商品或货物，以便于快速准确地识别。所以对多个条形码定位是关键的一环。孙等人[8]在使用膨胀腐蚀的形态学算法对条形码区域特征进行增强之后，使用轮廓检测方法提取特征区域，接着通过对仿射变换算法进行改进，添加平移信息后可以同时识别场景内的所有条形码，并能准确获取所有条形码的信息。

周子涵[9]通过对图像梯度特征进行分析，分别定义了基于二阶矩结构矩阵和梯度方向信息熵的条码强度算子，应用并行计算将两种算子组合，提出双算子条码检测算法。该方法不仅能够定位多种条码，还能够有效处理光照不均、模糊、畸变、低对比度和大视场条件等检测难度较大的条码检测任务。

Yi J等人[10]提出了一种适合多条码的高分辨率图像的条码定位方法，首先对条码进行边缘特征提取、再利用双向轮廓标记对条码区域标注，最后通过仿射变换提取条码区域有效提高了定位精度和速度。还有很多人在传统图像处理方法上做出了贡献，他们都改进创新了一定的方法来解决复杂背景下的多条码定位问题，通过总结，基于传统图像处理的条码定位算法的大致基本流程如图5所示。

Figure 5. General barcode localization steps using traditional image processing

图5. 使用传统图像处理的条形码一般定位步骤

复杂的预处理、边缘检测算法以及特征匹配过程，使得基于数字图像处理的方法时间成本高，计算量大，对图像背景变化的鲁棒性较差，效率较低，具有一定的局限性。

3. 基于深度学习的条码识别方法研究

近些年来，神经网络在图像分类、目标检测、语义分割、图像生成等领域取得了成功，基于深度学习的条码定位算法也有相应的研究。条码定位属于目标检测的范畴。目标检测方法可以分为两大类：基于区域建议(Region Proposal)的两阶段目标检测算法如Faster R-CNN [11]和单阶段(Single-Stage)目标检测算法如YOLO [12]，SSD [13]，基于区域建议的方法首先生成一组候选区域(Region Proposals)，然后对每个候选区域进行分类和定位；基于单阶段检测的方法直接在单个阶段内完成目标检测，不需要显式生成候选区域。两种方法各有优劣，基于区域的方法通常精度较高但速度较慢，而基于单阶段的方法速度较快但精度可能稍低。也有不使用目标检测框架直接采用CNN进行条码定位的方法。总体来说卷积神经网络在经过大数据集的训练后可以提取到足够鲁棒的特征，已经运用在许多重要领域。

张等人[14]提出了一种基于区域建议(RPN)的端到端网络来精细定位和分类复杂环境中的条形码。所提出的方法包括一个区域建议网络、一个多尺度空间金字塔池化(MSPP)层、一个四边形边界框回归层和多类条形码分类层。其网络结构图如图6所示。该方法使用两阶段目标检测模型实现了较好的效果。

Figure 6. Barcode detection Network based on Region Proposal Network (RPN) [14]

图6. 基于区域建议网络(RPN)的条码检测网络[14]

由于像条形码等窄长图片中目标的尺寸较小且宽度较窄，两阶段目标检测算法可能会难以准确地定位目标的位置，导致检测精度下降，也可能出现目标漏检误检的情况。此外，窄长图片也可能导致网络结构不能适应，从而导致检测速度下降。为了解决这些问题，可以考虑调整网络结构、采用多尺度检测的方法以及使用数据增强技术来提高算法的性能和效果。Yi等人[15]设计了一种级联多尺度特征融合的模型网络。使用YOLOv3单阶段模型作为基准模型，通过设计特征缩减网络和特征保持网络成功对条形码特征进行深度提取从而实现对条形码精准定位。该方法解决因光照问题、条形码图像过小和背景复杂造成的条码定位错误问题。其网络结构图如图7所示。

Figure 7. Cascade multi-scale feature fusion network [15]

图7. 级联多尺度特征融合网络[15]

对于目标检测算法中识别条形码出现的不足，Andrey等人[16]提出了一种基于语义分割的通用条形码检测器，该模型仅搭建浅层网络就可完成任意条形码的定位检测。该方法没有使用任何SOTA技术进行语义分割，但表明语义分割可以有效地用于目标的检测。它还提供了一种自然的方法来检测任意形状的物体。Adnan Sharif等人[17]提出了一种能够精确回归条形码4个顶点的多类别条形码定位算法。该定位方法采用无锚点的方法，输出多尺度的输出预测图。在后处理后，得到条形码的定位结果以及分类结果。该方法克服了常用锚点检测方法所面临的问题。该方法网络结构图如图8所示。

Figure 8. Architecture of multi-class barcode detection methods [17]

图8. 多类条码检测方法的体系结构[17]

4. 传统图像处理和深度学习相结合的研究

上述提到的研究方法都是基于传统图像处理或者深度学习的，它们都有各自的优缺点。传统图像处理方法在条形码定位方面相对简单易懂，适用于一些简单场景，但对光照、角度等因素敏感，泛化能力较差，需要手动设计特征提取器；深度学习方法可以自动学习图像特征，泛化能力强，适用于复杂场景，但需要大量计算资源，模型复杂度高。所以有很多学者取长补短将二者结合使用，以克服各自的局限性。

Chen [18]提出了一种基于霍夫变换和局部二值模式特征的分类器SVM算法的条形码定位方法。首先使用霍夫变换识别出图片中的大部分直线，再利用密集直线的角度和距离构建分布图，通过对比分布图中的密集程度作为判断条码旋转角度的依据。之后通过提取数据集中正负样本的局部二值特征和颜色特征对分类器SVM进行条码定位训练。该方法的优点是可以不过分依赖霍夫变换从而在复杂背景条件下条码定位算法。

Li [19]提出了一种在复杂背景下使用基于区域的卷积神经网络(Faster R-CNN)框架训练条码的定位模型。针对倾斜条形码不易准确定位的问题，使用基于区域检测算法进行方向矫正其中使用MSERs对条形码进行方向检测，针对MSERs对于质量较差的模糊图像难以检测到条形码角度问题，针对多种复杂背景中难以准确定位条形码位置的问题提出了使用CNN进行条形码定位的方法。该方法能够对模糊的图片也做到精确定位并识别，具有较高的准确性。

Xiao等人[20]提出了一种将目标检测算法YOLO和图像处理LSD算法相结合的方法，使用LSD将YOLO框出的条形码进行精确定位去除复杂背景在准确性和速度方面都取得了很大的提升。条码定位阶段首先使用YOLO快速定位1D条码的边界框区域。接着利用线段检测器(Line Segment Detector, LSD)算法检测线段，并在条形码定位阶段对其角度进行聚类，从而找到条形码的旋转角度，最后精确定位。

Qiao等人[21]提出了一种结合两种卷积神经网络算法和LSD线性检测的模型。首先采用Faster R-CNN模型自动检测图使用旋转校正的信息来校正图像的倾斜角。最后，为了在条形码定位后的后续阶段准确解码条形码，使用Resnet-34模型作为多类分类器来确定运输标签的方向并校准整个图像。像中存在的条码区域。接着使用线段检测器算法计算条形码平行线的方向。

小结

条形码定位算法的发展历程从最初的简单图像处理方法到现代的深度学习技术，经历了显著的进步。以上内容主要介绍了条形码定位的主流算法：传统方法依赖于手工设计的特征和规则，而现在方法更多的是利用深度学习的强大能力，实现了更高的精度和更强的鲁棒性。现在基于深度学习的条形码算法主要是以目标检测算法为主。图9按时间轴展示了主流条形码定位算法。

Figure 9. Development of mainstream barcode localization algorithms

图9. 主流条形码定位算法的发展

5. 数据集

深度学习算法的准确性和有效性主要依赖于高质量的数据集。同样，基于深度学习方法的条形码检测的主要挑战之一也是学习训练过程中使用的数据。所以数据集的优劣也是进行条形码算法评估的指标之一。

根据文献[22]等人的研究，本文将条形码识别的数据集分为两大类：公共数据集和私有数据集。详细的信息如表一所示。表1给出了与条形码数据集相关的详细信息，包括每个数据集的样本量、条形码图像的分辨率、每个图像中的条形码数量以及用于获取条形码图像的电子设备。如表中所示，所有条形码数据集的大小从几百到超过两万个样本不等。数据集主要包括从各种智能手机相机捕获的1D条形码图像帧以及工业相机，所以条码图像的低分辨率或高分辨率取决于使用哪种相机和照片模式。数据集的大小和条形码图像的分辨率不仅决定了条形码数据集的质量，还直接影响了算法模型的质量。但是对于深度学习来说，低质量的和模糊的数据集也是可以使用的，因为深度学习模型可以自己学习其中的特征，从而进行改进。

从表1中可以看到，私有数据集比公共数据集类型更多，但是公共数据集的使用更频繁，是条形码定位算法中最常使用到的数据集，因为他们比私有数据集更好获取并且更有权威性，且公共数据集是开放的、免费的，具有一致认同的，所以是很多研究者的首选。在表1所示的四个公共条形码数据集中，WWU Muenster和ArteLab数据集更受欢迎。这两个数据集包括足够数量的条形码图像，具有标准分辨率，可以应用在深度学习的模型中。

Table 1. Public and private datasets [22]

表1. 公共数据集和私有数据集[22]

		数据集	数据集样本数量	分辨率	图像来源的设备
公共 数据集	1	Arte-Lab Medium Barcode 1D Collection (MBC) [23]	215	640 × 480	Nokia N95
	2	Arte-Lab Rotated Barcode Database [24]	365	640 × 480	Nokia N95
	3	WWU Muenster [25]	1055	640 × 480	Nokia 5800 and others
	4	Sörös G., and Flörkemeier [26]	320	720 × 1280	iPhone 5 and iPhone 4S
私有 数据集	5	UVA barcode [27]	537	512 × 512	Raspberry Pi Camera v1.0 and v2.0
	6	Mixed Barcode dataset [28]	2000	-	-
	7	Ventsov, N. N. [29]	7520	-	-
	8	Jia, J. [30]	2227	-	-
	9	Zhang, J. [31]	320	-	-
	10	Yuan B. [32]	14,000	-	-
	11	Fashion label dataset [33]	700	-	Multiple
	12	Online fashion images from Poshmark [33]	1000	-	-
	13	Medical Labels from Baidu and Google search [34]	400	512 × 512	Images taken from Baidu and Google search
	14	Product on the racks at TU Dortmund University [35]	408	-	Samsung Galaxy S4’s camera
	15	Air Waybill Labels (AWB) dataset [36]	25,000	4112 × 3008	Industrial
	16	EAN-13 [36]	25,000	640 × 480	Zint barcode generator
	17	Barcode-30k [37]	30,000	-	Photographed images and computer generator
	18	Carries Shipping Labels [38]	1944	416 × 416	Photographed images, document scans, and computer generated
	19	Logistics Robot Barcodes [39]	-	-	-
	20	Shipping Labels [40]	6398	416 × 416	Smartphones and computer generated
	21	ZVZ-Synth [41]	30,000	512 × 512	Computer generated
	22	ZVZ-Real [41]	971	512 × 512	Photographed images and document scans
	23	Supermarket Products [42]	6429	416 × 416	Images downloaded from lnternet and photographed images
	23	Supermarket Products [42]	6429	416 × 416	Images downloaded from lnternet and photographed images
	24	Liwei Zhang et al. [43]	16,545	1000 × 1000	photographed images

私有数据集也是条形码数据集的主要来源，其中大多数是不可用于公共用途的。数据集只能由所有者使用。当没有合适的数据集适合研究目的时，研究者就会开发出适合自己的条形码数据集。私有条形码数据集的图像包括从互联网收集的条形码图像、使用移动相机捕获的图像、扫描文档、屏幕截图以及从生产线、仓库和零售商店获取的图像。

公共资源数据集有时包含的特征不足以满足学习过程。同时，大多数私有资源数据集是劳动密集型的，因为在实际操作中需要大量的工作来获得标记的条形码图像。此外，这两个类的数据集在实际环境中运行时可能会崩溃。因此，可以出现了一种使用从虚拟环境生成的合成资源数据集作为替代解决方案。合成条形码数据集可以为公共目的生成和开放，也可以专门为私人使用而创建。然而，直接的计算机生成的条形码可能没有用处，因为它可能不满足现实世界条形码图像中的各种条件。因此，为了最大限度地实现合成条形码数据集，研究应综合考虑。

6. 评价指标

1) 交并比IoU：衡量算法定位条形码位置的准确程度，通常以定位的边界框与实际条形码边界框之间的重叠度来评估。如图10所示，B^gt表示是条形码所在锚框的真实坐标数据，B表示的是算法检测之后的坐标数据，C是真实坐标数据和检测坐标数据二者的交集。

Figure 10. IoU illustration

图10. IoU示意图

图10所示的计算过程可以用公式表示为：

$IoU=\frac{\left|B\cap B^{gt}\right|}{\left|B\cup B^{gt}\right|}$

其中B^gt = (x^gt, y^gt, w^gt, h^gt)是真实框的值，B = (x, y, w, h)预测框的值，C是B和B^gt相交的最小值。IoU的取值范围在0~1之间。通过计算IoU的平均值和标准差，可以评价算法的精度和稳定性。IoU的平均值越高，算法的精度越高；标准差越低，算法的稳定性越好。

2) 准确率：指的是被分类器判定为正例的样本中，真正为正例的样本所占的比例。它衡量的是分类器判断为正例的样本中真正是正例的数量的能力。

$P=\frac{TP}{TP+FP}$

3) 召回率：指的是所有真正为正例的样本中，被分类器判定为正例的样本所占的比例。它衡量的是分类器能够正确判断出所有正例的能力。

$R=\frac{TP}{TP+FN}$

4) 平均精度均值mAP：是所有类别的平均精度的平均值，常用于评估整个模型的性能。mAP越高，表示模型在目标检测任务上的性能越好。其公式如下所示：

$mAP=\frac{{\displaystyle \sum _{i=1}^n{A}_{i}P}}{n}$

其中TP是预测正确的正确类的数量，FN是预测为负的正确类的数量，FP是预测为负的正确类的数量。

本文选取了几个上述提到的文献中的实验结果进行比较。实验数据均来自算法对应公开发表的论文或其他公开论文复现的结果。由于很多文献都采用自制数据集，所以本文对这些文献不进行比较，仅比较在公开数据集上进行实验的文献。

Table 2. Performance comparison of various algorithms

表2. 各算法准确率性能比较

方法	数据集
	WWU Muenster	ArTe-Lab
文献[6]	97.8%	90.1%
文献[7]	97.77%	95.35%
文献[9]	98.10%	96.71%
文献[2]	97.7%	86.6%
文献[18]	95.34%	-
文献[44]	90.3%	94.8%
文献[45]	99.4%	98.99%
文献[20]	93.9%	91.2%
文献[16]	94.3%	94.0%
文献[19]	99.4%	98.9%
文献[46]	99.4%	88.5%

从表2中可以看出WWU Muenste数据集上的准确率较高，ArTe-Lab数据集上的准确率较低。ArTe-Lab数据集中包含大量低光照、曝光、模糊、遮挡等检测难度相对较大的条码。所以对这类问题的研究仍然不够成熟，依旧是一个很大的挑战，在往后的研究中可以重点从这些方面进行研究。

7. 结论和展望

条形码定位算法的发展有很大的进步，但是也存在一定的问题。条形码在不同光照条件和角度下容易受到影响，导致定位困难；在复杂背景下，条形码的定位会受到周围环境的干扰；由于扭曲或损坏条形码可能出现变形这导致传统图像处理算法难以准确定位以及在某些特殊场景下，需要实时处理条形码，传统算法无法满足实时性要求。为解决这些问题，可以采用增加光照均衡化预处理、复杂特征提取算法、深度学习方法、算法优化、并行计算、数据增强技术和迁移学习等方法，从而提高条形码定位算法的准确性和鲁棒性，满足实际应用需求。并且用于条形码算法的数据集单一、种类不丰富，公共数据集较小且不是所有的都能满足于大趋势下的深度学习框架。还需继续研究制作更全面、图像数量足够大的适合深度学习的数据集。

本文简单介绍了条形码的发展背景，用到的数据集和性能指标，具体介绍了条形码定位在传统图像处理、深度学习以及二者结合方面的研究，并对这些算法模型的性能进行比较，在实际应用中，选择合适的方法取决于具体的场景和需求，综合考虑各种因素将有助于设计出更优秀的条码定位系统。

基金项目

1)北京市教育委员会出版学新兴交叉学科平台建设–数字喷墨印刷技术及多功能轮转胶印机关键技术研发平台，项目编号：04190123001/003；2) 北京市数字教育研究重点课题，项目编号：BDEC2022619027；3) 北京市高等教育学会2023年立项面上课题，项目编号：MS2023168；4) 北京印刷学院校级科研项目，项目编号：20190122019、Ec202303、Ea202301、E6202405；5) 北京印刷学院学科建设和研究生教育专项，项目编号：21090122012、21090323009。