1. 引言
皮肤检测仪是对面部皮肤状况进行定量评估的仪器,其检测镜头指的是仪器前端用于采集面部皮肤图像的光学系统。专业皮肤检测设备[1]具有固定面部位置的颌托和额托支架,可以保证检测过程中人脸到摄像头的距离固定,从而清晰成像。但便携式皮肤检测仪结构简单,没有固定支架,不能确保每次检测距离一定,从而无法准确对焦,采集不到清晰的面部图像。目前,大部分便携式皮肤检测仪[2]所采用的方法是:根据镜头前获取的照片判断被检者相对于摄像头的距离位置,智能提醒被检者靠近或远离,使人脸离摄像头距离合适。这种人为前后移动来配合图像采集的方式非常麻烦,事实上,检测过程中被检者到摄像头的距离是相对固定的,只要保证镜头在该范围内都可以清晰成像,就能够很好地解决这一问题。
所谓在一定范围内清晰成像,就是要让光学系统拥有尽可能大的景深或者焦深。光学系统中的景深是指在像平面上能够形成清晰图像的物方空间范围,而焦深则描述了当物体成像清晰时,像面在共轭像平面前后可以移动的范围,因此,景深与焦深是一对相互对应的概念,本质上具有一致性[3]。而波前编码技术(WFC)可以为这一问题的解决提供创新性的方法,波前编码是一种综合了光学成像和图像处理的计算成像技术,其原理是通过在系统的光阑位置添加相位板来降低离焦敏感性,再通过数字解码恢复清晰图像,能够在不改变光学系统结构和参数的前提下扩大系统的景深。自1995年由Dowski和Cathey提出以来[4],波前编码技术凭借其强大的景深延拓能力,已经被广泛应用于显微成像[5] [6]、红外成像[7] [8]、虹膜识别[9] [10]以及内窥镜[11]等诸多领域。此外,随着精密加工技术的快速发展,自由曲面在光学领域的应用越来越广泛,这使得制造集成相位板光学元件成为可能。2016年,苏州大学利用金刚石车削伺服技术成功地制造了集成波前编码到光子筛中,减少了离焦问题[12] [13]。2019年,Wei等提出了集成波前编码系统(IWCS),将光学元件与相位参数集成,大大简化了光学系统的结构[14]。
本文将波前编码技术引入便携式皮肤检测仪光学系统的设计当中,并采用IWCS,将相位板集成在选定光学元件的表面。首先使用Code V软件设计一款在焦点位置成像良好的小型便携式皮肤检测仪镜头,然后利用波前编码对系统进行景深拓展,通过COM组件实现Code V和Python的交互连接,并在Python中根据遗传算法设计一套相位板调制系数的自动优化算法,通过两个软件的实时数据传输进行系统的性能评估,不断进行迭代优化,从而筛选出最佳的相位板调制系数。最后在仿真实验中,通过Lucy-Richardson算法来复原中间模糊图像,以验证系统的景深延拓情况。实验结果表明原系统景深扩展了28倍以上,说明本文所提出的方法具有可行性。
2. 波前编码技术原理
波前编码是一种光–数混合成像技术,分为编码和解码两个部分。编码部分是在光学系统的孔径光阑位置添加一块专门设计的非球面相位板,通过对相位板的波前调制,光学系统的光学传递函数(OTF)和点扩散函数(PSF)都对较大的离焦范围不敏感,从而在数倍的景深范围内形成一系列相似的中间模糊图像。解码部分是通过数字解码程序对这些中间模糊图像进行恢复,还原出清晰图像。由于不同物距所成的像的模糊程度基本相同,所以可以选用同一个滤波器进行处理,从而在保证系统光通量和成像分辨率的情况下增大景深。其原理如图1所示。图中采用的是集成相位板,将相位板的相位参数与镜头的某个镜片表面整合在一起,这样不用单独增加一个相位板,既减少了镜片数量和镜头成本,又为设计提供了更大的灵活性。
Figure 1. Schematic diagram of wavefront coding imaging system
图1. 波前编码成像系统原理图
通常,波前编码系统是在光学系统中添加三次相位板,其相位表达式为:
(1)
其中
为相位板的调制系数。当入射光波通过所添加的相位板时会引起相位偏差,因此,可以得到波前编码系统的广义光瞳函数为:
(2)
式中
为离焦参数;
为传统光学系统的光瞳函数,它在孔径内为1,其他情况下为0。
光学传递函数(OTF)是广义光瞳函数的自相关,利用稳相法[15]和模糊函数[16],可以推导出一维情况下添加三次相位板后系统的光学传递函数的近似表达式为:
(3)
当
足够大时,
指数的第二项就可以忽略,此时式中没有离焦参数
,系统的光学传递函数将具有离焦不变性。光学传递函数取模运算即为调制传递函数(MTF),调制传递函数取平方即为点扩散函数,也就是说波前编码系统的调制传递函数以及点扩散函数也都具有离焦不变性,因此波前编码技术能够对光学系统进行景深扩展。
3. 便携式皮肤检测仪波前编码系统设计与仿真
3.1. 便携式皮肤检测仪光学系统设计
皮肤检测仪镜头一般不采用自动对焦设计,因其工作距离已知且相对固定,可通过限制物距、拓展景深等方式来实现清晰成像。同时,自动对焦增加了成本、体积和功耗,影响设备的便携性和稳定性,与之相比,定焦镜头更加可靠高效,满足检测需求。而且波前编码技术不仅可以扩展光学系统的景深,还能一定程度上矫正球差、像散等像差,与皮肤检测成像光学系统的特性十分契合,拥有很高的实用价值。根据便携式皮肤检测镜头的技术要求,设计指标如表1所示。
通过前面的分析,本文在Code V中设计的便携式皮肤检测仪光学镜头,其结构如图2所示。由于该镜头的视场和相对孔径较大、要求的成像分辨率较高,所以共采用六片球面镜片(L1和L3~L7)和一片非球面镜片(L2)来进行优化设计,光阑位于L3的第一个表面,我们将三次相位板与该表面整合在一起,所有光学元件使用的材料依次为HLAF3B、LEXANH、PMMA、HLAF3B、HLAF4、HLAF3B和HZF1。选用
尺寸的CMOS,像素大小为
,从图3(a)可以看出,当系统在焦平面上时,设计的MTF值在120 lp/mm处高达0.75,非常接近衍射极限,场曲和畸变如图3(b)所示,最大视场处的子午场曲为
、弧矢场曲为
、畸变为−0.18%,说明该系统具有良好的光学性能。
Table 1. Design indicators of portable skin detection lens
表1. 便携式皮肤检测镜头的设计指标
Parameters |
Values |
Wavelengths |
486~656 nm |
Object distance range |
350~850 mm |
F-number |
2.2 |
Focal length |
14 mm |
Field of view |
30˚ |
Total length |
26 mm |
Figure 2. Structure diagram of portable skin detector lens
图2. 便携式皮肤检测仪镜头结构图
(a) (b)
Figure 3. Image quality evaluation diagrams of the optical system: (a) MTF curves diagram; (b) Field curves and distortion diagram
图3. 光学系统的像质评价图:(a) MTF曲线图;(b) 场曲和畸变图
根据焦深公式,该光学系统的焦深为
,当物距为350 mm时,最佳像面后移的距离达到最大值,为0.1585 mm。当物距为850 mm时,最佳像面前移的距离达到最大值,为−0.1598 mm,即最佳像面移动距离约为28倍的焦深,因此,系统需要将焦深扩展到28倍以上。当离焦达到0.08 mm和0.16 mm时,可以从图4中看到,低频和中频的MTF迅速下降,在某些频率区域甚至降为零。
Figure 4. MTF curves of optical systems at different defocus distances
图4. 不同离焦距离下光学系统的MTF曲线图
3.2. 波前编码系统优化设计
在对波前编码系统的相位板进行优化设计时,有两项需要考虑的因素:一是要对离焦不敏感,二是要保证系统具有较好的图像恢复能力。针对这两点需要分别设置对应的评价函数和约束条件,本文采用焦深范围内PSF的一致性作为评价函数来优化相位板参数,同时保证离焦MTF的幅值不能太低,防止对后期图像复原造成影响,也就是约束条件。以上两点可以表示为:
(4)
其中,
为焦点处的PSF值,
为不同离焦位置的PSF值,
为PSF均值,N代表采样次数,
表示不同视场。在优化过程中要确保在
大于设定阈值0.1的情况下评价函数EF的值最小,此时得到的相位板参数就是波前编码系统设计中的最优参数。
由于相位板参数的优化过程无法由光学设计软件直接给出,所以本文提出利用Python和Code V接口来进行数据交换,并结合遗传算法进行优化、筛选,从而达到上述的目的,优化的整体过程如图5所示。
Figure 5. Process diagram of phase plate parameter optimization based on Code V and Python interface
图5. 基于Code V和Python接口的相位板参数优化过程图
首先确定相位板参数的大致范围,本文给定的待筛选随机数范围为
,进而根据该范围随机生成初始化的参数种群,设置种群大小为50,然后通过Python的COM组件与Code V进行连接,实现Python命令和Code V命令行的实时数据交换,将初始化参数导入原光学系统的相位板XY多项式中。在Code V软件里,面型是通过表面属性的XY多项式来设置的,根据三次相位表达式,只需修改XY多项式面型中的第7和第10个参数,即可实现相位板的调整。通过这种方式,系统便可获得波前编码光学系统在不同视场和离焦量下的PSF值和MTF值,接着计算出评价函数值及相关数值。如果输出的参数不满足约束条件,就返回无效值,满足条件的参数则根据它们对应的评价函数值筛选出最优解并进行存储。最后,若迭代次数未完成,不满足终止条件,就根据参数的评价函数值计算出相应的适应度,评价函数值越小,适应度就越高,接着根据适应度值来进行遗传算法的选择操作,再分别根据0.6和0.1的概率进行交叉和变异操作来生成新的相位板参数种群,进入下一轮的迭代优化。依照此方式往复迭代200次,即满足终止条件时,则输出的最优参数值,即为相位板的调制系数
。
通过以上优化过程,最终得到的相位板调制系数为
,对应的三次相位板的轮廓如图6所示。相位板的材料为PMMA,可以通过金刚石车床进行精密加工,以满足系统性能要求,确保其在实际应用中具有良好的稳定性和可加工性。将该参数代入到便携式皮肤检测光学系统中,得到不同离焦位置处波前编码系统的MTF,如图7(a)所示。在对焦情况下,编码后光学系统的MTF值相比原光学系统出现了明显的下降,但不同离焦位置处的MTF值呈现高度一致且没有零点,同时在120 lp/mm空间频率内都大于0.1,这说明将优化后的相位板集成到原系统中,不会造成光学信息的丢失,后期可以通过图像处理很好地复原出清晰图像。
Figure 6. Cubic phase plate contour plot
图6. 三次相位板轮廓图
Figure 7. The defocusing consistency evaluation diagrams of the wavefront coding system: (a) Out of focus MTF curves diagrams; (b) Out of focus PSF diagrams
图7. 波前编码系统的离焦一致性评价图:(a) 离焦MTF曲线图;(b) 离焦PSF图
PSF体现了光学系统在空域的传递能力,光学设计软件中不同视场和离焦位置的PSF如图7(b)所示。可以看出随着离焦量的增大,PSF的大小和形状几乎不发生变化,这体现出编码后系统具有很好的离焦稳定性,而且PSF在选定的五个离焦位置和四个视场内都能保持良好的一致性,因此,可以使用同一个PSF作为滤波器的退化模型来进行反卷积,从而得到大焦深范围内的清晰图像。
3.3. 皮肤检测前编码仿真
为了更加真实地模拟和比较原光学系统与波前编码光学系统在不同离焦位置处的成像效果,本文采用Code V中的二维图像仿真功能对未集成相位板的原皮肤检测光学系统和集成相位板后的光学系统进行模拟成像实验,采用的成像目标是用于皮肤检测的人脸图像(图像为本文针对研究内容自行拍摄),为了更加清晰地呈现出皮肤细节,我们从完整面部图像中截取局部区域进行了放大处理,结果如图8所示。
图中第3行展示了人脸皮肤在原光学成像系统中离焦量分别为0 mm、0.08 mm和0.16 mm情况下所成的像(正向离焦和反向离焦的成像效果相似,因此选择0倍、14倍、28倍景深离焦位置),从图中可以看出,人脸皮肤在0 mm处的成像效果非常清晰,但随着离焦量的增大,图像整体变得越来越模糊;在第1行中展示的是人脸经过波前编码光学成像系统在对应各离焦位置处所生成的中间模糊图像,由图可知,在整个离焦范围内,图像均模糊但是模糊程度相差较小,并且和原光学成像系统相比,其成像质量几乎不随离焦量的变化而变化,该结果同上文得到的MTF曲线图和PSF图所呈现的结果一致;第2行展示了波前编码光学系统所生成的中间模糊图像经过Lucy-Richardson算法滤波后得到的各离焦位置处的解码复原图像,Lucy-Richardson算法是一种假设图像服从泊松分布、采用最大似然法的迭代算法,在已知PSF而图像噪声未知的前提下,可以使用该函数进行有效的复原。由图可知,在28倍景深范围内,解码得到的清晰图像与未集成相位板的原光学系统对焦平面的图像成像质量相当,皮肤上的细节纹理和毛孔仍然清晰可见,满足下一步检测分析的要求。由上述对比分析可知,波前编码技术能够有效扩展皮肤检测仪光学系统的景深范围。
Figure 8. Simulation imaging experimental results of the original optical system and wavefront coding optical system
图8. 原光学系统与波前编码光学系统模拟成像实验结果
此外,0倍离焦、14倍离焦和28倍离焦复原图像的峰值信噪比(PSNR)分别为27.61 dB、27.59 dB和28.38 dB,这主要与振铃效应相关,0倍离焦下,PSF中心点附近的能量集中,具有较强的起伏,导致复原时更容易产生振铃效应,而较大离焦时,PSF的支持域变宽,中心能量分布趋于平滑,相对减少了复原过程中的高频振荡,从而减轻了振铃效应,因此出现靠近焦点处的PSNR降低的现象。
4. 结论
本文基于波前编码光学成像技术,完成了便携式皮肤检测仪光学系统的研究和设计:1) 根据光学系统的设计要求和实际使用情况设置参数指标,设计并优化得到视场为30˚、F数为2.2的皮肤检测镜头,使其在物距500 mm处具有良好的光学性能;2) 提出了一种基于Python-Code V接口的相位板参数优化方法,通过遗传算法优化相位板参数,并将设计好的调制系数集成到原系统的光学元件表面,实现了28倍的景深扩展;3) 进行仿真模拟实验,针对波前编码得到的中间模糊图像,采用Lucy-Richardson算法进行恢复,最终实现了良好的图像复原效果,PSNR最高达到28.38 dB。综上,本文研究使得原光学系统的景深得到了拓展,说明了波前编码技术和IWCS在本研究中的应用可行性,后续可以在此基础上探讨图像复原过程中振铃效应等伪影的抑制方法,从而进一步提高最终解码图像的质量。
基金项目
国家重点研发计划项目(2016YFB0402004)。