JISP  >> Vol. 7 No. 2 (April 2018)

    低成本红外热成像系统研制
    Development of Low Cost Infrared Thermal Imaging System

  • 全文下载: PDF(1589KB) HTML   XML   PP.74-84   DOI: 10.12677/JISP.2018.72009  
  • 下载量: 637  浏览量: 1,663   科研立项经费支持

作者:  

王雪楠,毛 杰,李佳瑶,崔笑宇:东北大学中荷生物医学与信息工程学院,辽宁 沈阳

关键词:
红外热成像FPGA超分辨率重建Infrared Thermal Imaging FPGA Super-Resolution Reconstruction

摘要:

本文提出一种基于红外热成像摄像头的低成本红外图像采集和处理系统。以Xilinx公司的ZYNQ-7000系列SoC开发板为核心处理元件,采用Raspberry Pi作为远红外摄像头的适配器,选用FILR Lepton LWIR为图像获取设备。在LWIR获取到图像后通过SPI接口传入Raspberry Pi,之后利用TCP套接字将图像送到SoC的FPGA上进行处理。借由FPGA突出的并行运算特性,原图像可迅速得到算法改良后的图像。本文以图像超分辨率重建以及实时CANNY算子为例进行了实验。实验表明,本系统具备低成本、低功耗与易用等特性。

This paper presents a low-cost infrared thermal camera image processing system. The program takes the ZYNQ-7000 series SoC development board produced by Xilinx as the core processing element, whereby the Raspberry Pi is used as an adapter for the far-infrared camera and the FILR Lepton LWIR is selected as the image acquisition device. After the LWIR gets the image, it passes the Raspberry Pi through the SPI interface, and then uses the TCP socket to send the image to the SoC FPGA for processing. By highlighting the parallelism of the FPGA features, the original image can be quickly improved algorithm image. This paper, taking image super-resolution reconstruction and real-time CANNY operator as an example, conducted experiments, which show that the system has the characteristics of low cost, low power consumption and ease of use.

1. 引言

红外热成像技术是当今世界各国高技术领域发展的热点,在军事和民用领域都有广阔的应用前景。21世纪以来,红外热成像技术发展已从最初的机械扫描结构发展到目前的全固体小型化全电子自扫描凝视成像,特别是非制冷技术的发展,使红外热成像技术拥有更广阔的应用领域 [1] 。

军事应用是红外热成像技术发展的主要动力 [2] 。民用领域无法在资金上与军用领域相媲美。对于个人开发者或者相关领域爱好者而言,仅仅一台近万元的红外热成像仪就足以令其望而却步,因而将红外热成像技术的应用成本降低非常具有现实意义。

彭焕良在 [2] 中提及红外热成像仪的发展趋势,他认为未来红外热成像仪应具备体积小、功耗低、可靠性高且配备寿命较长的制冷机等特点。十年后,章睿在 [3] 中提出一种便携式非制冷红外成像设备的设计方案并指出需要制冷设备的红外成像仪在某些应用场合显得非常不便。

综上,从远红外图像技术发展的角度考虑,设计并实现一台低成本、低功率且易用的远红外成像设备是有实际需求的。本文提出一种基于低成本远红外摄像头与System on Chip (以下简称SoC)开发板的方式来实现满足上述要求的红外热成像系统。

2. 系统设计

本文提出的系统以Xilinx公司推出的ZYNQ-7000系列ZYBO开发板为核心,选取FLIR Lepton LWIR 摄像头来采集远红外图像,使用Raspberry Pi 3作为传输接口将FLIR Lepton LWIR采集的图像通过LAN传输到ZYBO中。系统总体设计如图1所示。

为方便阐述,本文将系统分为三个功能模块:图像采集模块、图像传输模块以及图像处理模块。下文将详细阐述每个模块的设计。

2.1. 图像采集模块

图像采集模块由FLIR Lepton LWIR与Raspberry Pi 3组成。FLIR Lepton LWIR作为一款低成本远红外摄像头,在实际应用领域有很大的潜力。该摄像头的主要参数如表1所示。

FLIR Lepton LWIR传感器的结构图如图2所示。

FLIR Lepton LWIR相机的镜头将红外线聚焦到80 × 60的热探测器阵列上,每个探测器单元是一个氧化钒微测热辐射计,其温度的变化受入射光通量的影响。每个微测热辐射计的电阻变化量与温度的变

Table 1. FLIR Lepton LWIR main parameters

表1. FLIR Lepton LWIR主要参数

Figure 1. Far-infrared image processing system design diagram

图1. 远红外图像处理系统设计示意图

Figure 2. FLIR Lepton LWIR Sensor Block Diagram

图2. FLIR Lepton LWIR传感器结构图

化成一定的比例。氧化钒提供高温度系数的电阻和低噪声,所以其有极好的热灵敏性、稳定的均匀性。微辐射热计阵列覆盖在读出集成电路(ROIC)上,这构成完整的焦平面阵列(FPA)。在每一帧中,ROIC通过施加一个偏置电压,并将产生的电流集成到一个称为集成周期的有限时间内,来感知每个探测器的电阻。FPA的串行流由一个芯片(SoC)设备接收,该系统提供信号处理和输出格式。

FLIR Lepton LWIR提供VoSPI协议数据接口,我们通过SPI端口将其与Raspberry Pi 3相连。连接方式如图3所示。

FLIR Lepton LWIR使用SPI模式3 (CPOL = 1,CPHA = 1),空闲时SCK为高电平。数据由FLIR Lepton LWIR在SCK的下降沿建立,并由主控制器在上升沿采样。数据首先以高位顺序传送最高有效字节。时

Figure 3. Schematic diagram of FLIR Lepton LWIR connection to Raspberry Pi 3

图3. FLIR Lepton LWIR与Raspberry Pi 3连接示意图

钟频率的最大值为20MHz, 始终频率的最小值是所要接受的每一帧数据位数的函数。每一帧数据的位数由使用者自己设定(video format mode, telemetry mode)。默认模式下(Raw14 mode, telemetry disabled),每一帧有60个视频包,每个宽为1312,每秒将近25.9帧。因此时钟频率的最小值为2 MHz。

2.2. 图像传输模块

Raspberry Pi 3与ZYBO开发板之间的通信使用的是TCP套接字,通过LAN实现红外图像的稳定传输。

套接字是在网络上运行的两个程序之间双向通信链路的一个端点。本文中使用流式套接字,其使用的是TCP协议。TCP套接字能提供面向链接、可靠的数据传输服务,其能保证数据能够实现无差错、无重复发送,并按顺序接收。一个套接字被绑定到一个端口号,这样TCP层就可以识别要发送数据的应用程序。端点是IP地址和端口号的组合。每个TCP连接都可以由它的两个端点唯一标识。这样就可以在主机和服务器之间建立多个连接。本文中的网络通信采用的是客户机/服务器机制。在服务器端,服务器创建一个套接字,并将该套接字与本地地址/端口绑定,绑定成功后就等待、监听来自客户端的套接字的连接请求。当服务器捕捉到一个连接服务请求时,接受并生成一个新的套接字,并通过这个新的套接字与客户端通信。在客户端,客户端同样需要创建一个套接字,将套接字同本地地址/端口绑定,并指定服务器端的地址和端口号,之后向服务器发出连接请求。当请求被服务器接受后,同过套接字与服务器端通信 [4] 。

系统上电后,Raspberry Pi 3作为服务器,等待客户端的ZYBO的请求。当建立稳定的连接后,Raspberry Pi 3同过编写好的软件初始化FLIR Lepton LWIR,接收SPI的红外图像数据并将之传输给ZYBO。ZYBO的ARM部分运行Linux系统并运行客户端软件,在接收Raspberry Pi 3传输的图像数据后,将其从ARM部分传输到FPGA部分进行图像处理。

Raspberry Pi 3在系统中作为“SPI转LAN”的适配器,在网络传输时作为服务器发送采集的红外图像数据。上电后其运行的服务器软件的主要流程为:

1) 打开SPI端口、打开并绑定套接字,让客户端能连接服务器。

2) 在初始化套接字后,等待客户端的请求并连接客户端。

3) 建立与客户端的连接后,接收SPI传输的红外图像数据。

4) 将采集的图像数据分割为4份缓冲区,每份1200字节。每次传输15行的图像数据,为防止冻结或错误,我们检查是否所有的数据包都被发送,否则将关闭软件,结束传输,等待重新传输。

2.3. 图像处理模块

ZYBO开发板作为项目的核心,其ARM部分安装Xilinx系统用于接收Raspberry Pi 3传输的热红外图像,将其传输到FPGA部分并将处理后的图像数据显示。ZYBO开发板上ARM和FPGA的数据传输通路则由Xillybus提供的IP核实现,该IP核为FIFO的传输结构。只需编写图像处理的IP核,并将其与Xillybus的IP核连接即可。图像处理的IP核则通过Xilinx公司的Vivado、Vivado HLS软件进行编写,具体流程如下:首先使用Vivado HLS软件,根据设计的算法,编写超分辨率重建的IP核并进行测试;之后,将设计的IP核导入Vivado, 与Xillybus提供的IP核进行连接,生成配置ZYBO开发板的FPGA部分的.bit文件,将所需系统文件导入SD卡启动ZYBO;然后,编写软件,接收Raspberry Pi 3通过LAN传输的图像数据;最后,将接收的图像数据通过Xillybus提供的IP,从ARM端传输到FPGA的图像处理的IP上,将处理完的图像数据显示(图4)。

由前文可知,通过FLIR Lepton LWIR获取的图像分辨率仅有80 × 60,此分辨率距离实际应用还存在一定的差距。然而近些年随着图像超分辨率重建研究的发展,该方法也逐渐应用于远红外图像以提升图像分辨率。本文选择以压缩感知理论(Compressed Sensing)为基础的字典学习方法来实现图像超分辨率重建。

1) 超分辨率模型

低分辨率图像由高分辨率图像经过相对运动、光学模糊、下采样或添加噪声等处理得到。在实际应用中主要表现为数字图像采集过程中的图像分辨率下降,一般视觉上体现为图像模糊、噪声与变形 [5] 。

Figure 4. ZYBO internal logic diagram

图4. ZYBO内部逻辑图

设第N帧低分辨率图像序列为

{ V k | k = 1 , 2 , 3 , , N } (1)

每帧中的图像大小为

L = I h × I v (2)

利用超分辨率图像重建,拟获得大小为

H = r h I h × r v I v (3)

的高分辨率图像I。式中, r h r v 分别表示水平和竖直方向的分辨率提高系数,则超分辨率的通用退化数学模型 [6] 表示为:

V k = D k B k H k I + η k , k = 1 , 2 , 3 , , N (4)

式中, V k R L 表示第k帧低分辨率图像; I k R H 表示原高分辨率图像; H k 表示 V k 相对于I的运动变形矩阵; B k 表示光学模糊矩阵; D k 表示下采样矩阵; η k 表示系统引入的加性且均值为零的高斯白噪声。

2) 压缩感知理论

在获取数字图像过程中,我们首先需要对现实世界中的模拟信号进行采样,将连续信号离散化。传统采样流程基于奈奎斯特采样定理(Nyquist Sampling Theory),即当采样频率 f sample 大于信号中最高频率 f max 的2倍时( f sample > 2 f max ),采样之后的数字信号完整地保留了原始信号中的信息。而由Candes、Tao [7] 和Donoho [8] 等人提出的压缩感知是一种不同于传统奈奎斯特采样定理的新型采样方法,能够在采样的过程中同时实现数据的压缩 [9] (图5图6)。

假设 φ i R N 空间中的一组基向量,由 φ i 组成的基矩阵为

Ψ = [ φ 1 , φ 2 , , φ N ] (5)

R N 空间中的任意信号x都可以由基向量 φ i 或基矩阵Ψ表示为:

x = i = 1 N α i φ i x = Ψ α (6)

其中,x和a是同一信号在时域和Ψ域的不同表达。若a的非零元比N小很多,或元素经排列后呈指数衰减,则称x是稀疏或可压缩的。

压缩感知理论指出,对于稀疏信号或者可压缩信号,可以用一个与稀疏基不相关的测量矩阵得到信号的低维投影,然后使用适当的重建算法,就可以由少量的测量值近乎完美地恢复原始信号。

Figure 5. Traditional sampling flowchart

图5. 传统采样流程图

Figure 6. Compressed sensing sampling flowchart

图6. 压缩感知采样流程图

3) 图像超分辨重建

单帧图像超分辨率重建要求:对于给定的低分辨率原图像Y,重建出一张同场景的高分辨率图像X。其最根本的限制就是重建出来的图像X应与原图像Y保持一致。由此,我们可以近似将超分辨率重建过程用以下过程描述:

Y = B D X (7)

其中,B表示模糊滤波,D表示下采样运算符。而通过单帧图像Y得到高分辨率图像X则等同于求(7)式的逆过程。问题在于,满足于本式的X的解有无穷多个,这显然不符合重建要求。本文中,我们选择通过对区域进行预先稀疏处理来解决这个问题。

原图像Χ中的区域χ可以表示为一个高分辨率区域字典 D h 中的稀疏线性组合,这里的 D h 由高分辨率训练图像提取得到。上述过程可表示为:

χ D h α α K α 0 K (8)

式中,a表示高分辨率字典 D h 中的稀疏线性组合; K 表示有K个原型信号原子的冗余字典; α 0 K 表示a中仅存在非常少的非零数据,即a是稀疏的。

4) 重建流程

为了凸显超分辨率重建过程中预处理的必要性,我们将这个过程设计为两步。首先,对原图像X进行预先稀疏处理,找到每个区域的稀疏表示,由此可得出邻近区域的相关性;之后,利用超分辨率重建要求中的(7)式对第一步得到的结果进行改良。在这个过程中,我们利用本地模型对重建后可能丢失的高频部分进行补全,再利用全局模型对整个过程可能造成的伪影进行校正 [10] 。

3. 实验

本文选取两张通过FLIR Lepton LWIR拍摄得到的图像进行实验,效果如图7~10所示。

通过上面两幅图片的对比,可以明显看出超分辨率重建算法有效提升了本系统得到的远红外图像分辨率。将分辨率调整一致后进行对比,从图11图12中可看出重建后的图像在清晰度上明显优于原图。

Canny边缘检测算子是John F. Canny于1986年开发出来的一个多级边缘检测算法,自问世以来,Canny边缘检测算子一直是边缘检测的经典算法。Canny算子的基本思想是:先对处理的图像选择一定的Gauss滤波器进行平滑滤波,然后采用一种称之为“非极值抑制”(Non-maximum Suppression)的技术,对平滑后的图像处理后,得到最后所需的边缘图像 [11] 。

本文利用Canny算子来处理FLIR Lepton LWIR得到的图像,结果如图13~16所示。

可以看出,由于原图像分辨率不高,所以导致边缘提取效果不理想。然而经过超分辨率重建可以有效提升边缘提取的质量。实验结果表明,文中阐述的远红外超分辨率重建算法是具有实质功效的。

4. 结论

本文提出了一种基于低成本红外热成像摄像头实现红外图像采集的系统设计方案。

文中提及的系统所需硬件设备共计约$422 (参考美国Digi-Key在线销售平台定价)。在Digi-Key销售平台上搜索“Infrared Thermal Camera”可得到255个结果,将结果按照价格升序排列,这255个结果中仅有7个价格低于$422,占比约2.7%。从这个角度可以在一定程度上说明本文阐述的远红外图像处理系统具备低成本的特点且优势明显。

FLIR Lepton LWIR使用功耗约为0.15 W,Raspberry Pi 3约为0.65 W,ZYBO约为1 W,总计约1.8 W。在功耗方面无法直接进行比较,但是横向对比FLIR公司另一款产品Vue Pro无人机用红外热成像仪,

Figure 7. Original image of the portrait taken by FLIR Lepton LWIR

图7. FLIR Lepton LWIR拍摄得到的人像原图

Figure 8. The portrait taken by FLIR Lepton LWIR after 4 times reconstruction

图8. FLIR Lepton LWIR拍摄得到的人像图片经过4倍重建

Figure 9. Original Raspberry Pi 3 image taken by FLIR Lepton LWIR

图9. FLIR Lepton LWIR拍摄得到的运行中的Raspberry Pi 3原图

Figure 10. Raspberry Pi 3 image taken by FLIR Lepton LWIR after 4 times reconstruction

图10. FLIR Lepton LWIR拍摄得到的运行中的Raspberry Pi 3图片经过4倍重建

Figure 11. Portrait image (left) and 4× reconstruction (right)

图11. 人像图片原图(左)与经过4倍重建(右)

Figure 12. Raspberry Pi 3 image original (left) and after 4 times reconstruction (right)

图12. Raspberry Pi 3运行图原图(左)与经过4倍重建(右)

Figure 13. Portrait image (left) and after Canny operation (right)

图13. 人像图片原图(左)与Canny算子处理后(右)

Figure 14. Portrait image after 4 times reconstruction (left) and after Canny operation (right)

图14. 人像经过4倍重建(左)与Canny算子处理后(右)

Figure 15. Raspberry Pi 3 image (left) and after Canny operation (right)

图15. Raspberry Pi 3图片原图(左)与Canny算子处理后(右)

Figure16. Raspberry Pi 3 image after 4 times reconstruction (left) and Canny operation (right)

图16. Raspberry Pi 3图片经过4倍重建(左)与Canny算子处理后(右)

其功耗近似为2 W。这其中并不包括图像处理过程,而文中阐述的远红外图像处理系统的功耗包括图像处理模块,因而可以说,本系统可达到低功耗的要求。

在使用时,用户仅需要按照指定接线方式将FLIR Lepton LWIR与Raspberry Pi 3相连即可进行图像抓取,通过以太网可以利用ZYBO进行高速图像处理工作。本系统对于熟练掌握硬件编程语言的用户是非常容易上手操作的。因而此系统具备易用的特性。

综上,本文提及的低成本红外热成像系统具备低成本、低功耗与易用的特点。尤其对于个人开发者和相关领域爱好者而言,具有实际应用价值。

致谢

本文获得2017国家级大学生创新创业训练计划(项目编号:201710145102)和辽宁省博士启动基金(项目编号:201601015)资助。

NOTES

*通讯作者。

文章引用:
王雪楠, 毛杰, 李佳瑶, 崔笑宇. 低成本红外热成像系统研制[J]. 图像与信号处理, 2018, 7(2): 74-84. https://doi.org/10.12677/JISP.2018.72009

参考文献

[1] 孙志君. 红外焦平面阵列技术的未来二十年[J]. 传感器世界, 2002, 8(11): 1-8.
[2] 彭焕良. 热成像技术发展综述[J]. 激光与红外, 1997, 27(3): 131-136.
[3] 章睿. 便携式非制冷红外成像设备的设计[J]. 国外电子测量技术, 2007, 26(4): 65-67.
[4] 高翔宇. 基于Linux操作系统下的TCP/IP网络通信研究与应用[J]. 现代电子技术, 2006, 233(18): 74-76.
[5] 花歆悦. 基于压缩感知的声纳图像超分辨率重建算法[J]. 微型机与应用, 2015, 34(13): 49-52.
[6] Ng, M.K. and Bose, N.K. (2003) Mathematical Analysis of Super-Resolution Methodology. IEEE Signal Processing Magazine, 20, 62-74.
https://doi.org /10.1109/MSP.2003.1203210
[7] Candès, E., Romberg, J. and Tao, T. (2006) Robust Uncertainty Principles: Exact Signal Re-construction from highly Incomplete Frequency Information. IEEE Transactions on Information Theory, 52, 489-509.
https://doi.org /10.1109/TIT.2005.862083
[8] Donoho, D.L. (2006) Compressed Sensing. IEEE Transactions on In-formation Theory, 52, 1289-1306.
https://doi.org /10.1109/TIT.2006.871582
[9] 刘娟. 基于压缩感知的单幅图像超分辨率重建算法研究[D]: [硕士学位论文]. 成都: 电子科技大学, 2012.
[10] Yang, J., Wright, J., Huang, T. and Ma, Y. (2008) Image Super-Resolution as Sparse Representation of Raw Image Patches. IEEE Conference on Computer Vision and Pattern Recognition, Anchorage, AK, 23-28 June 2008, 1-8.
[11] 林卉, 赵长胜, 舒宁. 基于Canny算子的边缘检测及评价[J]. 黑龙江工程学院学报, 2003, 17(2): 3-6.