光谱相机的固定图像噪声消除技术研究

Research on Fixed Image Noise Cancellation Technology of Spectral Camera

摘要: 目前图像传感器的生产工艺已经成熟，具有超高速、超高分辨率的高品质图像传感器已经被应用于多个研究领域，测试图像传感器的各项特性是相机成像的基础。本文设计了一套通用的光谱相机辐射定标测试系统，并通过对系统中光照度衰减的测量推导了光源到相机灰度值的数据链理论公式，实现对系统的光照度特性进行实时监测，通过光谱相机辐射定标测试系统对光谱相机进行光谱参数测试，采用最小二乘拟合的光谱平场校正方法校正光谱图像的固定图像噪声，对光谱相机的固定噪声消除有一定的效果和意义。

Abstract: At present, the production process of image sensors has matured, and high-quality image sensors with ultra-high speed and ultra-high resolution have been applied to many research fields, and testing the characteristics of image sensors is the basis for camera imaging. In this paper, a general spectral camera radiation calibration test system is designed, and the data link theoretical formula from the light source to the camera gray value is derived by measuring the illuminance attenuation in the system, so as to realize the real-time monitoring of the illuminance characteristics of the system, to test the spectral parameters of the spectral camera through the spectral camera radiation calibration test system, and to correct the fixed image noise of the spectral image by using the least squares fitted spectral flat field correction method, which has a certain effect and significance for the fixed noise elimination of the spectral camera.

1. 引言

光学成像设备是军民两用的探测利器之一，是科学技术高度发展的产物，各国都在大力发展光学成像设备 [1]，光谱相机是新近发展并得到广泛重视的遥感新星。在自然资源调查、生态环境保护、农林牧渔、海洋监测等领域，光学探测数据发挥着越来越重要的作用，已成为认识世界的重要技术手段。然而，光学成像设备的构成、测试物理参数差异很大，对成像质量的标准也不统一 [2]。以光谱相机为例，其是成像技术与光谱探测技术相结合的产物，在对物体成像的同时，实现光谱信息收集 [3]。在一定的空间分辨率条件下，要对被测目标的物理成分作出比较准确的判断，必须对成像光谱相机进行相应的光谱参数标定 [4]。光谱相机是基于成像光谱技术发展的新型光学成像设备，通过分光方式可主要分为三类：滤光片型光谱相机、干涉型光谱相机和色散型光谱相机。对滤光片型光谱相机而言，从中国科学院长春光学精密机械与物理研究所的刘春雨等人(2022)综述结果来分析，滤光片光谱相机主要通过相机前置滤光装置的不同，可区分为旋转滤光片光谱相机、可调谐滤光片光谱相机、楔形滤光片光谱相机和量子点光谱仪 [5]。在干涉型光谱相机的概念理解上，Sellar R.G.和Boreman G.D. (2005)对遥感用成像光谱仪进行了分类，将干涉测量类光谱仪，如迈克尔逊干涉仪、马赫森德干涉仪等定义为傅里叶变换光谱仪，该类干涉光谱相机主要通过干涉条纹强度与光源光谱强度一一对应的关系，利用逆傅里叶变换得到光谱信息 [6]。色散型光谱相机主要使用光栅或棱镜作为分光装置，其优点在于更高的光谱分辨率和色散线性度，如范纪泽等人(2022)采用熔融石英及CaF2材料构成消色差棱镜组，优化并设计出一种长狭缝均匀色散的Dyson棱镜成像光谱仪 [7]。本文研究的光谱相机定标设备可适用于各类光谱相机，而在试验中，主要开展了滤光片型光谱相机的定标实验和分析。

2. 光谱相机测试系统和模块参数

2.1. 光谱相机测试系统

本文所使用的CMOS图像传感器参数测试系统主要包括以下结构：光源、单色仪、积分球和光学暗室。溴钨灯发出的光经过单色仪装置的内置光栅调制为单色光，进入积分球的入光口，经过在积分球内的多次漫反射，得到单色面均匀光。待测CMOS图像传感器芯片放置在光学暗室中。如下图1所示。

Figure 1. Structure diagram of spectrum camera test system

图1. 光谱相机测试系统结构图

上图1为光谱相机测试系统的结构示意图，在对探测器定标的过程中我们需要特别关注光源的几个参量，通过发光光源的选择和匀光装置的设计，可以对探测器的辐照光源强度进行很好地调控，也方便对实际探测器在太阳光辐照下成像下进行光谱补偿。实现了光源强度的调控，还需要研究探测器入射面光源的均匀性的好坏，它直接影响到了对探测器辐射定标的准确度，在EMVA1288-3.0 [8] 标准中给出了其积分球开口大小和探测器尺寸以及两者距离大小对定标的影响，EMVA1288-3.0标准和中国计量科学研究院的研究结果都表明了，在图像探测器距离积分球的位置为d时，积分球出光口的直径比上d的值等于8时，此时图像传感器接收到的光均匀性最好。

2.2. 光谱相机测试系统模块参数

衍射光栅可分为透射型光栅与反射型光栅。其中透射型衍射光栅的性能，无论是光栅效率还是其他各种性能，均劣于反射型光栅。所以，本文主要讨论反射型衍射光栅。考虑当一束单色光以一定角度入射光栅表面，将会被衍射至各个离散的方向，此时可以认为每一个光栅狭缝(槽)均为衍射光的光源。这样，每一个槽光源共同构成了衍射光的波前。为了满足设计要求，在单色仪中放置了三块凹面衍射光栅，其中三个衍射凹面光栅的主要参数如下表1所示。

Table 1. Parameters of diffraction grating

表1. 衍射光栅的参数

检测系统的积分球内表面镀膜材料为聚四氟乙烯悬浮树脂颗粒，根据已知的文献资料可知聚四氟乙烯悬浮树脂颗粒的标准反射比可达到0.99，则通过系统积分球的开口情况和镀膜的材料可以得到积分球的透过率，即：

$T=\frac{\rho }{1-\rho \left(1-f\right)}\cdot \frac{A_p}{A_s}$ (2-1)

$T=\frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}$ (2-2)

其中： $A_p$ 为有效测量区域面积； $A_s$ 为积分球内表面面积；其中f为积分球的非反射区域面积占整个内表面面积的比例； $\rho$ 为积分球内表面层的光谱反射率；r为有效测量区域的半径；R为积分球内表面的半径。由此可见积分球光源输出的光谱辐亮度不仅与光源的光谱分布有关，还与积分球内表面涂层的光谱反射率 $\rho$ 直接相关，积分球光源的光谱分布是二者共同作用的结果。

在测试系统中，光源的整形和衰减都被积分球所影响。光强的衰减体现在整个系统的光路中，从光进入积分球内通过漫反射作用变均匀，再从积分球出口到相机的图像传感器上的这一段光程中，光强度在同一水平轴上是逐渐衰减的。通过对积分球的衰减强度进行理论分析后，通过532 nm连续激光器对系统的光能量衰减程度进行测试。用3种不同激光功率的激光入射到积分球内，系统中积分球出光孔到待测图像传感器之间的光能量衰减曲线的测试结果如下图2所示。

Figure 2. Attenuation curve of light intensity in system optical path

图2. 系统光路中光强的衰减曲线

由于积分球出光口的全部光能量并不能全部被待测图像传感器接收，因此在计算系统光路的能量衰减时，采用激光功率计在待测图像传感器同一水平上测量的激光能量比上激光进入积分球的总能量。分别用532 nm连续激光器发出能量为2.58 mw，1.86 mw，3.93 mw的激光测量系统光能量衰减效率，得到系统总的光能量衰减效率分别约为0.00484%，0.00484%，0.00476%。取3次测量的平均值，得到系统总的光能量衰减效率为0.00481%。

3. 光谱相机测试方法

3.1. 光谱相机测试系统的光能量传输数据链的推导

本文中光谱相机测试系统的光路图如图2所示，由于光源经过单色仪的调制后，其光能量在单色仪内需要经过一个平面镜，两个凹面镜，一个闪耀光栅和两个单色仪狭缝，其光能量会经过多次损耗，因此本文的光能量传输模型的推导选择从单色光进入积分球开始，到在相机成像为灰度值结束。

光谱相机测试系统的积分球装置其开有6个孔，本文运用该系统对光谱相机进行光谱参数测试时，一共有两个开孔，其余开孔使用涂有环氧树脂的孔塞封装，因此假设进入积分球光能量为的 $L\left(\lambda \right)$，则根据积分球的透过率公式可得到积分球出光口处的光能量 $L_1\left(\lambda \right)$ 为

$L_1\left(\lambda \right)=L\left(\lambda \right)\cdot \frac{\rho }{1-\rho \left(1-f\right)}\cdot \frac{A_p}{A_s}$ (3-1)

$L_1\left(\lambda \right)=L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}$ (3-2)

本文中的积分球透过率由于相机图像传感器尺寸和激光功率计探头面积与积分球出光孔实际面积大小的差异，因此需要加入一个校正因子P₁，本文的校正因子P₁经过测量，其值为0.1942。因此光经过积分球后的光能量 $L_2\left(\lambda \right)$ 可以得到

$L_2\left(\lambda \right)=L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}\cdot P_1$ (3-3)

从积分球出光口处的光能量在光学暗室里表现出漫反射传播方式，其光能量呈非线性衰减的趋势，可根据光能量衰减测试曲线得到其光能量传输效率H，其光能量传输效率曲线如下图3所示。

Figure 3. Optical energy transmission efficiency in the dark room of the system

图3. 系统暗室中的光能量传输效率

得到出光谱相机测试系统中暗室的光能量传输效率后，其在光学暗室中光轴上的光能量值 $L_3\left(\lambda \right)$ 可以得到

$L_3\left(\lambda \right)=L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}\cdot P_1\cdot H$ (3-4)

通过如下公式可以计算出到达相机图像传感器单个像素上的光能量值，本文中根据EMVA1288 3.0 标准将相机放置在距积分球出光孔325 mm处，本文中测试的相机图像传感器为CMOS图像传感器，其单个像素的面积A为5.5 μm × 5.5 μm，使用的激光功率计探头面积s_r为0.0707平方厘米，因此相机在该处单个像素点上接收到的光能量辐照度E可以为

$E=L_3\left(\lambda \right)/s_r=L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}\cdot P_1\cdot \frac{H}{s_r}$ (3-5)

则根据相机的线性模型理论，COMS图像传感器中的单个像元所接收的光子数量 ${\mu }_p$ 就可以跟光谱相机测试系统中入射到积分球上的能量 $L\left(\lambda \right)$ 联系起来。

${\mu }_p=\frac{At}{hc/\lambda }L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}\cdot P_1\cdot \frac{H}{s_r}$ (3-6)

根据测试出的量子效率和公式(3-17)计算出的单个像元接收的光子数量就可以得到CMOS图像传感器单个像素所参数的电子数目与光谱相机测试系统中入射到积分球上的能量 $L\left(\lambda \right)$ 的关系。

${\mu }_e=\frac{At}{hc/\lambda }L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}\cdot P_1\cdot \frac{H}{s_r}\cdot \eta \left(\lambda \right)$ (3-7)

本文在第4.3小节通过图像传感器的暗电流测试方法测试处理CMOS图像传感器的总系统增益K和第2.2小节总暗电流的模型公式(2-11)可以得到相机的灰度值，则在忽略相机单个像元的光子散粒噪声及其它噪声，只考虑相机的热电流噪声和偏置噪声以及光响应非均匀性噪声的情况下，可以计算在相机受到光谱相机测试系统中入射到积分球上的能量为 $L\left(\lambda \right)$ 时其图像的灰度值为

${\mu }_y=K\left({\sigma }_{offser}+{\sigma }_{dark}+{\sigma }_{prnu}\right)+K\cdot \frac{At}{hc/\lambda }L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}\cdot P_1\cdot \frac{H}{s_r}\cdot \eta \left(\lambda \right)$ (3-8)

偏置噪声 ${\sigma }_{offser}$ ：CMOS图像传感器的偏置噪声，与内部放大器技术结构有关，并随温度变化。典型的偏移噪声是由电阻R中自由电子的随机运动引起的温度噪声。

暗电流 ${\sigma }_{dark}$ ：暗电流噪声是由不均匀的暗电流产生的。主要因素有晶体材料表面缺陷产生漏电流和本征暗电流，其随晶体结构、曝光时间t、像素面积A、单位电子q、增益水平K、带隙E_G、杂质能隙E_T、开尔文温度T、 $r\left(m,n\right)$ 为玻尔兹曼常数和电流产生的变化的比例因子。

像素响应的非均匀性噪声 ${\sigma }_{prnu}$ ：主因是每个像素的均匀光子响应的响应是不同的，它随曝光时间t和入瞳辐射光强度s的变化而变化。

在本文中使用的相机并没有找到带隙E_G、杂质能隙E_T、玻尔兹曼常数和电流产生的变化的比例因子 $r\left(m,n\right)$ 的具体数据，因此只能将相机的热噪声和偏置噪声作为总的暗噪声 ${\mu }_{y.dark}^l$ 处理，则最后的光谱相机的光谱灰度值可以得到为

${\mu }_y={\mu }_{y.dark}^l+K\left[\frac{At}{hc/\lambda }L\left(\lambda \right)\cdot \frac{\rho \pi r^2}{4\pi R^2\left(1-\rho \left(1-f\right)\right)}\cdot P_1\cdot \frac{H}{s_r}\cdot \eta \left(\lambda \right)+{\sigma }_{prnu}\right]$ (3-9)

上述公式(3-9)描述了相机受到光谱相机测试系统中入射到积分球上的能量为 $L\left(\lambda \right)$ 时其图像灰度值的理论计算公式。

3.2. 光谱相机的平场定标算法

设共有I种不同辐射光强下的图像，每一种辐射光强下，图像传感器的目标灰度值的随辐射光强s的变化规律是：

$y_I=k_{1}s+k_2$ (3-10)

式中， $y_I$ 是像素点的目标灰度值，s是相机入瞳辐射光强， $k_1$ 和 $k_2$ 是灰度值和曝光量的线性最小二乘拟合系数。可以得到 $k_1$ 和 $k_2$，由 $k_1$ 和 $k_2$ 可以拟合出所有辐射光强条件下的图像传感器的目标灰度值 $y_I$。

由于像素响应会有所偏离，新的灰度值图像的第 $\left(m,n\right)$ 个像素点的灰度值为 $y_I\left(m,n\right)$，若在线性情况下，像素点目标灰度值 $y_I$ 和 $y_I\left(m,n\right)$ 呈线性关系，线性映射关系如下：

$y_I=a\left(m,n\right)\cdot y_I\left(m,n\right)+b\left(m,n\right)$ (3-11)

通过上式可以使第 $\left(m,n\right)$ 个像素点的灰度值映射到该值对应的目标值。

最小二乘算法的“优化判据”为所有曝光之下的像素点目标灰度值 $y_I$ 和 $y_I\left(m,n\right)$ 残差 $\phi \left(m,n\right)$ 最小。最小二乘算法通过残差最小的“优化判据”来确定线性回归的系数。

$\phi \left(m,n\right)=\frac{1}{I}{\displaystyle {\sum }_{i=1}^I{\left(y_I\left(m,n\right)-y_I\right)}^2}$ (3-12)

上述方程是提出的完成非均匀校正的校准模。首先，在不同的入瞳辐射光强度s条件下，得到实际的像素灰度值，由已知的辐射光强为横坐标和已知的实际像素灰度值为纵坐标可以得到拟合直线。然后，可由拟合直线得到目标灰度值，就可将实际的图像灰度值映射到目标灰度值图像，通过直线和曲线拟合得到相机像素灰度值的系数矩阵值。再由系数矩阵值可对任意的实际图像进行平场校准。

4. 光谱相机测试结果

4.1. 光谱相机量子效率测试结果

根据EMVA 1238测试标准，相机的量子效率表征为其图像传感器的像素点接受到的辐射光强值转化出的电子数比上被辐照光源的光子数的比值，其中图像传感器所转化的电子数可以同相机在不同强度下的灰度值通过曲线拟合计算出的整体增益计算出来。如下图4所示。

(a) (b)

Figure 4. Camera test quantum efficiency and manufacturer quantum efficiency. (a) Calculated camera quantum efficiency; (b) Quantum sales given by the camera manufacturer

图4. 相机测试量子效率与厂商量子效率。(a) 计算出的相机量子效率；(b) 相机厂商给出的量子效率

图4(a)为本文测试出的相机量子效率，图4(b)为相机厂商给出的量子效率。考虑到对相机的图像传感器进行光谱辐射定标时，图像传感器像素点接受的光子数难以测量，为了便于在对相机进行光谱辐射定标，根据EMVA 1238标准得到标准的定标光源，将相机放置在距离积分球出光口325 mm处，将激光功率计放置在距离积分球出光口200 mm处，在对相机进行光谱辐射定标时，实时监测相机前的单色光的辐射强度，再根据计算的光谱相机定标系统中的光能量衰减曲线和激光功率计的辐射光强值可以直接准确的得到相机图像传感器中每个像素点受到的辐射光强值。同时，本小节对相机的量子效率的计算结果也证明了本文中的系统光能量衰减曲线能实现对测试光能量的实时监测。

4.2. 基于光谱相机模型的光谱图像平场校正结果

按照测试流程，每种光照度下多幅图片做平均尽量将随机噪声除去，用平均后的图片计算映射关系。在图像做平均的过程中，固定模式噪声不会受到影响，平均后的图像仍然是不均匀的。经过拟合之后，程序计算出每个像素点的映射矩阵。通过映射矩阵对测试时所用的均值图片进行平场校正可以初步检验拟合的正确性。选择560 nm波长下拟合的灰度值与原始的测试灰度值图像进行对比，如下图5所示。

Figure 5. 560 nm test gray value and gray value after one-time fitting

图5. 560 nm测试灰度值和一次拟合后的灰度值

上图5的左图为图像传感器在560 nm波长辐照光下随机选取的一帧测试图像灰度值，右图为对该帧图像的一次拟合处理结果，通过对比可明显发现测试图像中的固定图像噪声(像素亮点)基本被消除完，并且处理后的灰度值强度并无明显的变化，为了更直观地体现两者的区别，对该图像的灰度值提取出来，如下图6所示。

Figure 6. Three dimensional gray value extraction of test image and fitting value image

图6. 测试图像和拟合值图像的三维灰度值提取

通过以上平场校正前后图像和其灰度值的对比可以看出，映射关系用于平场校正后原始图像和一次拟合后的图像在整体的灰度值分布上出其固定图像噪声外基本没有差别。560 nm平均后的灰度值在一次拟合后能去除光谱图像的固定模式噪声，校正后的图像像素响应一致性很好。所取示例的一次拟合平场校正后的图像灰度值情况很接近拟合前的原图像水平。

5. 结论

本论文论述了光谱相机的发展情况，结合光谱相机的测试原理说明了光谱相机标定的重要意义。在理论研究方面，提出了光谱相机量子效率的测试流程，研究了基于线性响应的固定模式噪声的校正方法。从系统中光源的产生到光谱相机的图像传感器上，整套系统的光学传递函数都已给出了明确的测量方法，在450 nm到800 nm的可见光谱段对可见光范围内的光谱相机进行了光谱参数测试，完成了系统从光源的产生和运用全过程的光能量变化过程的监测。通过本文研究的光谱平场校准理论实现了对光谱相机的光谱图像进行平场校正，得到了光谱相机的光谱平场校准系数，去除了光谱相机的光谱图像中的固定图像噪声，提升了光谱图像的清晰度和对比度。