1. 引言
1.1. 研究背景
随着集成电路的发展，CMOS集成电路的工艺和设计技术越来越成熟，芯片尺寸日益减小，成本不断降低，CMOS集成电路产品成了工业生产和日常生活中不可或缺的一部分。而图像传感器作为摄像头的重要组成部分，在安防监控、机器视觉、车载消费等领域发挥重要作用，尤其是图像传感器作为机器的图像采集窗口，为人工智能的应用提供了重要的图像数据来源。而在图像传感器中，CMOS图像传感器由于集成度高、功耗低等优势，在图像传感器中应用尤其广泛。
图像传感器的图像质量由很多因素决定，但动态范围是衡量图像可分辨信号范围的重要指标，直觉决定了图像不同信号大小的成像细节。当动态范围较小的图像传感器拍摄明暗差异较大的图像时，如果为了拍摄小信号图像，需要设置较长的曝光时间，这样会导致图像中的大信号图像饱和从而失去大信号细节；反之，如果为了拍摄大信号图像，则需要使用较小的曝光时间，这样会导致图像中的小信号无法分辨。这就意味着如果为了在一帧图像内得到较高的图像质量必须提高图像传感器的动态范围，保证在满足小信号信息捕捉的同时不会导致大信号饱和。图像传感器的动态范围受到像素结构、读出电路性能等多方面的限制，使得在拍摄图像明暗差异较大时无法呈现完整的图像细节。
1.2. 相关工作
现有的提高动态范围的CMOS图像传感器技术主要包括以下几种：第一种是通过多帧图像整合得到高动态图像[1]-[4]，通过两帧甚至更多帧不同曝光时间和不同增益的图像进行合成，不同帧分别得到大小信号再通过多帧算法融合得到一幅完整包含大小信号的图像实现动态范围扩展，但这种方式会降低整体图像传感器帧率，且会带来SNR的降低。第二种是一帧图像内的不同像素使用不同曝光时间和不同增益，不同像素分别获取大信号和小信号，最后再将不同像素的大信号和小信号进行算法融合得到完整高动态范围图像[5]，但这种方式会牺牲图像分辨率。而本文采用的是第三种动态范围扩展技术：通过控制不同阶段的最大曝光电荷量，在一帧图像内对像素进行多次分段曝光，在小信号曝光不受影响的情况下，通过将大信号的多余电荷泄放一部分，使得最终图像的大信号也不会饱和，从而扩展了动态范围，这样的动态范围扩展技术能有效提高动态范围且不会损失帧率、分辨率和SNR，具有较好的整体综合成像效果。
2. 高动态范围CMOS图像传感器架构
CMOS图像传感器的基本框架如图1所示，主要包括像素阵列、行驱动电路、列读出电路、偏置电路和输出接口电路。像素感光信号通过行驱动电路逐行将像素信号读出并转化成数字信号通过接口电路输出到芯片外。
Figure 1. Basic architecture of CMOS image sensor
图1. CMOS图像传感器的基本架构
在CMOS图像传感器中曝光和读取控制通常都是通过行逻辑驱动电路控制实现。而本文基于分段曝光的高动态范围成像就是针对行方向电路进行了优化改进设计，通过控制曝光信号的时序，设置不同时间段的曝光最大满阱电荷，实现高动态范围。
本文中采用的像素结构是5T像素，其基本像素结构图如图2所示。5T像素单元的曝光控制和像素信号的读取由Rpd和TX两个mos管的栅极点位决定。
Figure 2. Basic structure of 5T pixel
图2. 5T像素基本结构
在5T像素中，像素的曝光受Rpd的栅极电压决定，像素能积累的最大满阱电荷由Rpd管的势垒决定。本文通过增加Rpd的电源管理模块，对Rpd在不同时间段的势垒进行分段控制，在分段曝光的不同阶段对饱和的大信号进行多余信号泄放，抑制信号饱和。
本文中的5T像素单元为全局曝光，所有的像素单元的曝光同时受Rpd和TX控制。本文Rpd和TX的控制时序如图3所示，其中电压值的关系为：V1 > V2 > V3 > V4。所有像素单元都进行了3个阶段的曝光：T1、T2和T3，通过3个阶段的曝光累积电荷，最终完成整幅图像曝光。
Figure 3. Basic structure of 5T pixel
图3. 高动态范围曝光控制时序
3. 动态范围增强的CIS原理
3.1. 高动态范围曝光势垒变化原理
本文基于HLMC 55 nm工艺完成1200 M像素CMOS图像传感器芯片设计，像素pitch为3.42 um*3.42 um，芯片尺寸为17 mm*15 mm。数据格式为16通道LVDS串行输出，帧率可到60 fps。
本文所示的高动态范围CIS芯片中，分段曝光不同阶段的像素势垒变化如图4所示。
t0时刻之前，Rpd信号为高电压V1，像素处于复位状态，PD接收的光强转化的电荷都会通过Rpd管传到电源，PD处没有电荷的积累；
t0~t1时间段内，Rpd栅极电压为V2，像素开始第1段曝光，PD处逐渐积累电荷(参见图4(a))。不妨设V2对应的Rpd处的势垒高度为φ1，由于此时Rpd管的势垒φ1较低，t1时刻为止，PD处能存储的最大电荷量由φ1高度决定。信号在曝光时间T1内积累的电荷较小，电荷不存在泄露，但大信号在T1时间内会积累较多电荷，由于Rpd管的势垒的钳位作用，多余的电荷会通过Rpd释放到电源；
t1~t2时间段内，Rpd栅极电压为V3。不妨设V3对应的Rpd处的势垒高度为φ2，由于V2 > V3，Rpd处的势垒升高，像素开始第2段曝光，PD处继续积累电荷(参见图4(b))。t2时刻为止，PD处能存储的最大电荷量由φ2高度决定。同(2)，小信号在曝光时间T2内积累的电荷较小，电荷不存在泄露，但大信号在T2时间内会积累的多余电荷会通过Rpd释放到电源；
t2时刻后，Rpd的栅极电压为V4，不妨设V4对应的Rpd处的势垒高度为φ3，由于V3 > V4，Rpd处的势垒继续升高。像素开始第3段曝光，PD处电荷继续积累(参见图4(c))，直到TX管打开，电荷传输。
3.2. 高动态范围曝光电压变化情况
从电压域的角度来直观分析分段曝光的增强动态范围的原理：大信号和小信号在分段曝光时的PD处的电位变化情况随曝光时间的变化示意图参见图5，其中1为小信号，2为大信号。
小信号在T1、T2内的电荷积累均不到Rpd管处的势垒高度，因此小信号在3段时间内的曝光不受影响，像素持续进行电荷积累，总共的有效曝光时间为(T1 + T2 + T3)，电压持续降低。
大信号在T1时间段内的电荷积累达到势垒高度之后多余电荷被清除，转化到电压域，可以认为在T1内，PD处的电压降低到一定值之后保持不变，而在T1时间段内能达到的最低电压值VP1受限于Rpd的电压值V2；
(a) t0~t1 (b) t1~t2
(c) t2以后
Figure 4. Schematic diagram of barrier change in segmented exposure
图4. 分段曝光势垒变化示意图
Figure 5. Schematic diagram of barrier change in segmented exposure
图5. 分段曝光像素信号变化示意图
和T1时间段一样，大信号在T2时间段内的电荷积累达到势垒高度之后多余电荷被清除，转化到电压域，可以认为在T2内，PD处的电压降低到一定值之后保持不变，而在T2时间段内能达到的最低电压值VP2受限于Rpd的电压值V2；
虽然大信号总共的曝光时间也是(T1 + T2 + T3)，但其积累电荷的时间即有效曝光时间小于(T1 + T2 + T3)。
3.3. 动态范围扩展示意图
普通CMOS图像传感器和高动态范围的分段曝光CMOS图像传感器对应的像素输出信号随曝光时间的sensitivity曲线如图6所示。其中，横轴为曝光时间，1为普通CMOS的图像传感器的sensitivity曲线，2为3段分段曝光的大信号的sensitivity曲线，3为分段曝光的小信号的sensitivity曲线。
Figure 6. Schematic diagram of pixel signal change in segmented exposure
图6. 动态范围扩展示意图
对于高动态范围的分段曝光CMOS图像传感器，小信号的输出信号与曝光时间呈完全线性关系(不考虑noise影响)，但大信号的输出信号与曝光时间呈现分段关系。
t0~tc时间内，大信号的输出信号随曝光时间增大，在tc时刻，电荷达到φ1势垒高度，输出信号不再增加，保持为D1，在这段时间内大信号由于不存在信号泄放，HDR CIS的输出信号与普通CIS相同；
t1~td时间内，大信号的输出信号随曝光时间继续增大，在td时刻，电荷达到φ2势垒高度，输出信号不再增加，保持为D2，且t1~td时间内大信号增加的速率与t0~tc相同；
t2之后，大信号的输出信号随曝光时间继续增大直到饱和，t2之后时间内大信号增加的速率与t0~tc、t1~td相同(不考虑太阳黑子的影响)；
从图6可以看到，对于普通CIS，1在较短的曝光时间下就会饱和，而此时小信号的输出信号很小，反应在图像上是小信号细节无法表现出来。如果为了获得小信号细节，则需增大曝光时间，但大信号都会饱和，无法看到大信号实际图像。但本文提出的高动态范围的CIS，大信号饱和时间延长，可以满足在得到小信号细节的情况下不会失去大信号的图像，使得图像的成像范围大大提高，增强的图像传感器的动态范围。
4. 高动态范围CMOS图像传感器测试结果
将图像传感器放在积分球的白光下进行测试，采用FPGA完成数据采集与输出。
为了简化测试，本文先对两段曝光进行了测试。本文先对Rpd不同分段电压对动态范围的影响进行了测试。测试在固定光强不同Rpd分段电压下输出随曝光时间变化的sensitive曲线结果如图7所示，曝光时间以Iclk为单位，Iclk为48 MHz时钟即20.83 ns。其中不同曲线值对应的是0.025 V/step，比如“28”(十进制40)表示Rpd分段电压是1 V，即图中是Rpd分段电压为1~2.4 V时的10 bit测试结果。
从图7中可以看到，所有曲线在达到各自的钳位电压之前的输出信号完全相同，但随着电压增大，输出信号的钳位电压降低，这是由于Rpd的中间电压越大，第一段曝光时，Rpd的势垒越低，使得像素能够积累的满阱电荷越少。而进入第二段曝光之后，所有曲线的输出值继续以相同的斜率增加直到饱和。
Figure 7. Relationship between exposure signal and segment voltage value
图7. 曝光信号与分段电压值的关系
Figure 8. Relationship between exposure signal and segment voltage value
图8. 动态范围扩展与分段曝光时间的关系
由于最终动态范围扩展的效果和分段曝光及总曝光时间的绝对值无关，由分段曝光时间与总曝光时间的比值决定，下面在固定总曝光时间(130 us情况下)改变分段曝光的时间的条件下进行测试，测试帧率为60fps@12bit LVDS模式。
不同分段电压下的输出随光强的sensitive结果如图8所示。从图中可以看到，图中对应的总曝光时间为8，不同曲线表示分段曝光的时间占总曝光时间的比值不同。比如“0”表示没有分段曝光即是普通模式，“5”表示分段曝光的时间占总曝光时间的5/8即表示总曝光时间为130 us，分段曝光时间为130 us*5/8 = 81.25 us。其它case的总曝光时间都是130 us，分段曝光的时间依次类推。
从图中可以看到，在所有曲线中，在光强小于15 (输出值小于374)，输出信号完全重合，可以认为在不同分段曝光情况下，光强小于15的小信号不受中间势垒影响，实际曝光时间就是整个曝光时间。
在光强大于15之后，随着分段曝光时间占总曝光时间的比值的增大，动态范围扩展的越来越多。普通CIS (曲线“0”所示)，光强为30就会饱和即感光动态范围为30；但在分段曝光达到8/8时，光强为105时才会饱和即感光动态范围为105，感光范围扩展了10.88 dB。
HDR的光强的sensitive曲线相对于普通sensitive曲线会在374 DN处发生变化，原因是分段曝光阶段小信号曝光不受分段曝光影响，而大信号在分段曝光阶段电荷受到不同势垒高度钳位，电荷积累非连续，使得sensitivity曲线发生弯折，从而扩展了动态范围。而这个弯折的拐点值由分段曝光的势垒高度即分段电压值决定。
进一步，测试三段分段曝光的结果，普通模式、两段分段曝光、三段分段曝光的测试结果对比如图9所示。从图中可以看到，对于光强小于15的小信号，普通模式、两段分段曝光、三段分段曝光下的输出值完全重合；HDR的sensitive在348 DN处发生第一次弯折，对于三段分段曝光的sensitive在669.8 DN处发生第二次弯折，第二次弯折的拐点值是第二段分段势垒决定。
普通模式光强的光强范围为35，三段分段曝光的光强范围为440。感光范围扩展了12.57即动态范围扩展了21.99 dB。
Figure 9. Relationship between dynamic range expansion and segment exposure time
图9. 动态范围扩展结果对比
(a) 普通CIS (b) HDR CIS
Figure 10. Comparison of dynamic range expansion results
图10. 拍摄照片结果对比
在相同曝光总时间的情况下，用普通CIS和三段曝光HDR CIS拍摄的图像对比如图10所示。从图中可以看到(b)在不损失(a)中细节的情况下，将过曝的图像细节也完整呈现出来。
5. 结论
分析了CMOS图像传感器的基本架构，提出了一种基于分段曝光的增强动态范围的CMOS图像传感器设计技术，从势垒变化和电压变化两个角度全面阐述了增强动态范围的原理，设计了针对5T像素单元的高动态范围系统框架，基于HLMC 55 nm CMOS工艺完成了高动态范围的图像传感器芯片设计，在测试平台上完成了芯片测试，最终动态范围扩展了21.99 dB，验证了高动态范围图像传感器的成像效果。