图像传感器与信号处理——详解CCD与CMOS图像传感器

本文主要总结了CCD与CMOS传感器的原理知识，参考书籍为《数码相机中图像传感器和信号处理》，英文版为《Image Sensors And Signal Processing for Digital Still Cameras》 。写这篇文章的时候，正是疫情期间宅在家，今早晨又听到科比意外去世的消息…希望一切都尽快好起来吧！

1. 一些基础知识

在进行图像传感器原理介绍前，本文先介绍若干和图像传感器性能相关的关键词，如下：

1.1 噪声相关

图像传感器噪声分为固定模式噪声、暂态噪声、拖尾和高光：
（1）固定模式噪声： 英文缩写为FPN（fixed-pattern noise），为出现在图像中固定位置的噪声，图像传感器中主要包括白点缺陷和阴影等；
（2）暂态噪声： 为随时间发生变化的噪声，在电学和光学中三种基本的暂态噪声为热噪声、散粒噪声、1/f噪声，在图像传感器中主要包括复位（kTC）噪声、读出噪声（本底噪声）、暗电流散粒噪声、光子散粒噪声、输入参考噪声和输出参考噪声等；
（3）拖尾和高光溢出： 拖尾表现为白色竖条纹，通常发生在漫射光进入 V-CDD 寄存器时或者体硅深处产生的电荷扩散进 V-CCD 时。高光溢出在光生电荷超出像素的满阱容量时发生 ，溢出电荷会进入相邻的像素或 V-CCD 中 。

暗电流指目标物体在无光照条件下观察到的电流，暗电流会积分成为暗电荷并存储在像素内的电荷存储节点，上述的固定模式噪声和暂态噪声中都有暗电流造成的部分。

1.2 性能相关

转换增益表明了在电荷检测节点处，一个电子引起的电压变化的大$$\mathrm{C}.\mathrm{G}=\frac{q}{C_{\mathrm{F}\mathrm{D}}}$$

填充因子定位为像素中感光区域面积$A_{pd}$与像素面积$A_{pix}$的比率:$$\mathrm{F}\mathrm{F}=\left(A_{\mathrm{p}\mathrm{d}}/A_{\mathrm{p}\mathrm{i}\mathrm{x}}\right)\times 100[\%]$$

满阱容量指光电二极管的电容能够积累的最大电荷量：$$N_{\mathrm{s}\mathrm{a}\mathrm{t}}=\frac{1}{q}{\int }_{V_{\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{e}\mathrm{t}}}^{V_{\mathrm{m}\mathrm{a}\mathrm{x}}}{C}_{\mathrm{P}\mathrm{D}}(\mathrm{V})\cdot \mathrm{d}V[\text{ electrons }]$$

动态范围英文缩写为DR（Dynamic range），定义为满阱容量与本底噪声之间的比值$$\mathrm{D}\mathrm{R}=20\log \left(\frac{N_{\mathrm{s}\mathrm{a}\mathrm{t}}}{n_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{d}}}\right)[\mathrm{d}\mathrm{B}]$$

信噪比英文缩写为SNR（Signal-to-noise ratio），定义为输入电压下信号与噪声的比值，这个噪声总暂态噪声，有可能以读出噪声为主，也有可能以光散粒噪声为主$$\mathrm{S}\mathrm{N}\mathrm{R}=20\log \left(\frac{N_{\mathrm{s}\mathrm{i}\mathrm{g}}}{n}\right)[\mathrm{d}\mathrm{B}]$$信噪比可以通过加强信号和减小噪声来提高，提高信噪比可以认为是提高图像传感器的灵敏度。加强信号可以通过
（1）提高光的透射比，诸如减少颜色滤光片吸收，减小接触面的反射率等；
（2）提高填充因子，诸如减小像素的非探测区域，优化微型透镜结构等；
（3）提高电荷收集效率，诸如优化微探测器结构并毕淼像素间串扰。
减小噪声则是一门大学问，有非常多的手段，在此不进一步展开。

1.3 材料学相关

在了解CCD的基本原理之前，我们首先需要了解一部分材料学方面的知识，硅是半导体材料，在半导体材料中掺入特定杂质则构成杂质半导体，可分为P型半导体和N型半导体，其中P型半导体是在硅材料中掺入少量硼元素，使得半导体中含有较高浓度的“空穴”（Positive）；而N型半导体是在硅材料中掺入少量磷元素，使得半导体中含有较高浓度的自由电子（Negative）。
P型掺杂区和N型掺杂区紧密结合及构成PN结，其中P型掺杂区多子为“空穴”，N型掺杂区多子为自由电子，由于浓度的不同，多子发生扩散作用，在结合处形成内部电场，电场方向为带正电的N极指向带负电的P极。而内部电场的形成又会促进了少子的漂移作用，减小内部电场，最终达到平衡。由于内部电场的存在PN结具备单向导电性，只有当P极接正电压，N极接负电压PN结才会导通。

2. CCD图像传感器

2.1 像素结构

2.1.1 表面沟道

有了以上的材料学方面的知识基础，CCD图像传感器的基本原理就很好理解了，CCD图像传感器中的像素最主要的结构为金属氧化物半导体电容，由P型半导体和二氧化硅组合而成，其中二氧化硅为绝缘体，如下所示：
图（a）中，在金属电极上施加正电压，P型半导体中的“空穴”被排斥，在表面区域形成耗尽层；
图（b）中，当光子通过光电转换获得信号电荷后，信号电荷将被吸引到硅和二氧化硅的交界面；
图（c）中展示的表面电势的分布，电势这个概念是相对信号电荷而言，哪里电势越低哪里对信号电荷的吸引能力越强，因此金属电极上施加的正电压就形成了一个势阱。

2.1.2 掩埋沟道

以上结构电荷是附着在表面上，因此我们称之为表面沟道，由于硅表面的晶格极不规则，在硅表面的禁带引入了高密度的载流子陷阱能级，这又被称为表面态或界面态，而通过在P型半导体和二氧化硅中间添加N型半导体就可以进一步构建掩埋沟道，其结构如下图所示：

掩埋沟道的电势分布如下图所示：
图（a）中，N型半导体和P型半导体构成了一个PN结，根据前文的分析，PN结中会形成内部电场，使得N型半导体的电势要低于P型半导体的电势；
图（b）中，同样在金属电极上施加正电压，N型半导体中的自由电子会附着在表面，使得表面电势增高，而P型半导体中的“空穴”会被排斥到基底中，因此图中从表面往基底方向，电势会先下降后上升；
图（c）中，当光子入射产生信号电荷后，信号电荷理所当然会存储在电势最低处，由此避免了将信号电荷存储于表面，避免了表面态的发生。

掩埋沟道除了避免表面态的发生这一优势之外，其另外两个优势是：
（1）通过价带钳位抑制电荷转移时表面暗电流的影响；
（2）可以增强电荷传输沟道的边缘场效益；
关于第（2）点，在2.3节中会对边缘场效应进行解释，关于第（1）点，我们在此进行简单讨论，如下图所示：

在进行光电转换时在金属电极上施加的是正电压，而在进行信号电荷转移时金属电极上施加的是负电压，这就是所谓价带钳位。其原理如上图（a）所示，P型半导体中的“空穴”会在负电压的作用下注入N型半导体并最终附着在N型报道体的表面上，由此会出现如图（b）中所示的阴影部分，该部分电势极低，因此对于表面产生的暗电流有很好的抑制作用。

2.2 信号电荷转移

2.2.1 局部转移过程

以上就讲了说明CCD图像传感器单个像素的主要构造，通过光电转换获得电子后存储在势阱中，而整个CCD图像传感器是有许多像素组成的，接下来讨论的问题是如何将像素收集的电子运转出来并转换为图像信号。接下来我们将电子称之为信号电荷，那么信号电荷的局部转移过程如下图所示：

转移过程主要分为三个阶段：自激漂移、热扩散和边缘场效应，其中
图（a）展示的不考虑边缘场效应下自激漂移的过程，自激漂移是由信号电荷之间的静电排斥作用引起的；
图（b）展示的不考虑边缘场效应下热扩散的过程，在不考虑边缘场效应的情况下，热扩散决定电荷传输性能，因为剩余电荷最终会减少至几个电子；
图（c）展示的边缘场效应，其是由两个电极之间的电压差引起的，并且加快了最后阶段的电荷转移，是电荷转移的最重要驱动力。

2.2.2 持续转移过程

以上说明了信号电荷的局部转移过程，接下来讨论信号电荷的持续转移过程，如下图所示是两项CCD的工作方式：

如下图所示是四项CCD工作方式：

两者工作方式其实大同小异，都是通过给金属电极输入步进电压使得信号电荷持续移动，但是两项CCD传输速度更快，而四项CCD传输能力更强。

2.2.3 完整转移过程

接下来进一步讨论一个完整的CCD图像传感器信号电荷转移过程，如下图所示：

图（a）是全帧转移CCD（FTCCD）的结构。其工作流程是：在曝光过程中，信号电荷积累在成像区域的光电二极管中，曝光完成后，信号电荷转移到存储区域中，最后再通过水平CCD一行一行进行输出。这种结构最大的缺陷是会发生漏光现象，这是由于信号电荷在向成像区域转移时，转移期间生成的信号电荷会叠加到其中。
图（b）是 行间转移CCD（ITCCD）的结构。其工作流程是与FTCCD不同的是：在曝光完成后，信号电荷可以以极快地速度转移到垂直CCD，从而减小了漏光现象的发生。
图（c）是帧行间转移CCD（FIT）的结构。其工作流程是FTCCD和ITCCD的结合，其优势是高漏光抑制，但是其面积大且功耗大，因此只在特殊相机中使用。

2.3 进一步优化

以上完成了所有CCD图像传感器的基本原理的介绍，接下来介绍若干CCD图像传感器的优化技术

2.3.1 P阱优化

如下图是2.1节中介绍的掩埋沟道的三维示意图，前文中介绍了掩埋沟道可以避免表面态并通过带价钳位减小表面暗电流的影响。但是出了表面的暗电流，在P型半导体基底中同样会有热扩散产生的暗电流，此外，当光线非常强烈是会有高光溢出效应，这些对最终的成像都会有影响。

在掩埋沟道的基础上，通过设计P阱结构可以有效抑制基底中的暗电流以及高光溢出效应，P阱结构如下图所示：

由图（a）可以看出，P阱结构就是在掩埋沟道的基础上添加了N型半导体作为衬底，构成第二个PN结，在金属电极上施加正电压可以后电势分布图如图（b）所示，暗电流相关的电荷会通过P阱与信号电荷隔离开，由此减少了暗电流的影响。此外，当光线足够强烈时，多余的信号电荷会越过P阱进入N型半导体的衬底中，由此抑制了高光溢出效应。

2.3.2 像元交叉阵列结构CCD

如下图（a）是行间转移CCD的版图，如果实现隔行扫描需要采用双层多晶硅工艺制作，而如果实现逐行扫描则需要采用三层多晶硅工艺制作。

如上图（b）所示就是对版图设计的优化，成为像元交叉阵列结构CCD其空间利用效率更高且可以平稳地传输大量信号电荷。

3. CMOS图像传感器

3.1 像素结构

3.1.1 基本结构

CMOS图像传感器的像素结构可以分为有源像素和无源像素，所有有源指的是像素内部有信号放大功能，反之则是无源。如下图所示分别是有源和无源像素的结构：

图（a）是有源像素的基本结构，图中$\mathrm{P}\mathrm{D}$为光电二极管，${\mathbf{M}}_{\mathrm{R}\mathrm{S}}$为复位晶体管，${\mathbf{M}}_{\mathrm{S}\mathrm{E}\mathrm{L}}$为线位选择晶体管，${\mathbf{M}}_{\mathrm{R}\mathrm{D}}$为源极跟随器晶体管，${\mathbf{V}}_{\mathrm{P}\mathrm{I}\mathrm{X}}$为光电二极管电压，即入射光通过光电转化后信号电荷在电容${\mathbf{C}}_{\mathrm{P}\mathrm{I}\mathrm{X}}$上累计的电压，而${\mathbf{V}}_{\mathrm{P}\mathrm{I}\mathrm{X}\mathrm{O}\mathrm{U}\mathrm{T}}$为通过电容${\mathbf{C}}_{\mathrm{S}\mathrm{H}}$保持的输出电压。其中源极跟随器是一种电压缓冲器，具有电流放大能力但是不具备电压放大能力。
图（b）是无源像素的基本结构，结构相对简单但是噪声较大，因此不适合大规模像素阵列。

以上是最基本的有源像素结构，但是由于晶体管的特性，信号放大会发生一定程度上的失调波动而导致噪声的产生，晶体管${\mathbf{M}}_{\mathrm{R}\mathrm{D}}$是这种噪声的主要来源，那么通过对电路进行改进可以抑制失调波动带来的噪声，改进结构如下图所示：

像素首先输出 一个包含光生信号和放大器失调的信号${\mathbf{V}}_{\mathrm{S}\mathrm{I}\mathrm{G}}$ ，这个信号读出后被存储在一个存储单元中 。像素被复位后输出一个仅包含放大器失调的信号${\mathbf{V}}_{\mathrm{R}\mathrm{E}\mathrm{T}}$，这个信号再次被读出井存储在另一个存储单元中。通过对两次输出做差，放大器的失调可以抵消 。 应该指出的是，由暗电流的变化引起的失调不能被抑制 。

3.1.2 PN光电二极管

上述像素中最核心的部分是光电二极管，下面对光电二极管的典型结构进行介绍，光电二极管分为PN光电二极管和钳位光电二极管，其中PN光电二极管能提供更大的满阱容量，而钳位光电二极管具备更小的噪声。如下图所示是PN光电二极管的结构：

PN光电二极管可以分为图（a）所示的n+/p阱光电二极管和图（b）所示的n阱/p衬底光电二极管。
图（a）中，n+/p阱光电二极管在p阱区域内形成一个高浓度的浅n+区，光电转换发生在该结的耗尽区中，光电二极管适用于特征尺寸大于0.5~0.8微米的CMOS工艺。
图（b）中，n阱/p衬底光电二极管中的n阱区域在低掺杂的p型外延层上形成，光电二极管的外围通过p阱区域隔离。由于p型外延层的掺杂浓度非常低，耗尽层将会到达p型外延层的边缘。因此，即使在高度集成的CMOS 工艺中也可以获得较大的光转换量 。光电二极管适用于特征尺寸小于0.5~0.8m的CMOS工艺。

PN光电二极管的根本问题是表面产生的暗电流和光电二极管复位时产生的热噪声:
表面产生的暗电流产生的原因在CCD图像传感器中有说明，可以通过引入掩埋型光电二极管和钳位二极管的结构加以抑制；
复位时产生的热噪声产生的原因是在导通状态下，复位晶体管可以等效为一个电阻，因此整个光电二极管复位电路构成了一个RC低通滤波电路，如下图所示就会产生热噪声。该部分噪声可以通过使用无损读出实现复位降噪或者有源反馈复位噪声校正加以抑制。

3.1.3 钳位光电二极管

在n阱/p衬底光电二极管的基础上进行改进就获得钳位光电二极管，如下图是钳位光电二极管的结构：

在PN光电二极管中复位时是直接复位耗尽区的电荷，而在钳位光电二极管中，复位是是复位浮置扩散（FD）节点，在图中${\mathbf{V}}_{\mathrm{F}\mathrm{D}}$对应的就是n+区域。其流程是首先进行复位操作，读取输出电压${\mathbf{V}}_{\mathrm{R}\mathrm{S}\mathrm{T}}$，这时的输出电压是像素失调噪声和复位噪声，然后在进行信号电荷转移，转移完成后再次读取输出电压${\mathbf{V}}_{\mathrm{S}\mathrm{I}\mathrm{G}}$，这是的输出电压是实际的输出电压加上像素失调噪声和复位噪声，两者相减像素失调噪声和复位噪声就被抵消，由此消除复位时产生的热噪声。

除此之安外，因为钳位光电二极管的表面被p+层隔离，因此抑制了表面产生的暗电流。

3.2 信号处理结构

3.2.1 像素读出结构

像素读出结构分为像素串行读出结构、’列并行读出结构和像素并行读出结构，其结构分别如下图所示：

图（a）为像素串行读出结构，行和列选择脉冲一次选定一个像素，然后进行读出和处理，并依次循环，积分时间逐个出现偏移；
图（b）为列并行读出结构，同一行中的像素被同时读出然后并行处理，处理后的信号被存储在一个行存储器中，并按顺序读出，积分时间逐行出现偏移；
图（c）为像素并行读出结构；该结构中处理器单元 CPE）存在于每一个像素中，可以并行地进行图像处理，这种结构的缺点在于像素结构变得更加复杂，导致像素尺寸大 、填充因子低 。

3.2.2 快门结构

为了控制曝光时间，CMOS图像传感器需要额外的复位扫描，在读出扫描信号进行扫描之前，这个复位扫描信号开始扫描像素阵列 。 复位脉冲和读出脉冲之间的时间间隔决定了曝光时间 ，这个过程类似于机械卷帘式快门。 因此，对应于 CCD 图像传感器的全局快门，这种快门 工作方式叫做卷帘式快门。具体实现如下图所示：

4. 总结

这里直接引用原文中的一段文字：

自 从 20 世纪 90 年代初提出 CMOS 有源像素传感器的概念以来，叫 CMOS 图像传感器技术的性能已经发展到能够与 CCD 技术相提并论的水平 。 早期的 CMOS 图像传感器由于暗电流的不均匀性，导致了较大的 FPN 。 许多怀疑者指出，即使 CMOS 图像传感器有很多优良的特性，如低功耗、可以片上集成信号处理电路等，但是对于 CMOS 图像传感器而言，提高图像质量仍是一个很大的问题 。 然而，随着钳位光电二极管CCD技术的提出，CMOS 图像质量问题正迅速得到解决 。 将 CCD 有源像素结构与片上信号处理电路结合，可以获得比 CCD 图像传感器更低的暂态噪声 。拥有大尺寸像素的高分辨率的 CMOS 图像传感器实际上已经应用到几种数码单反相机中，它们已经被证实拥有着出色的图像质量 、更高速度的像素速率以及更低的功耗

此前，由于 CMOS 图像传感器的像素总是比 CCD 图像传感器大，因此，除了用于DSLR 领域外， CMOS 图像传感器（因其成本低）主要被用于低端数码相机 。 近年来，由于更先进的加工技术和像素共享结构的提出 ,CMOS 图像传感器的像素尺寸显著地降低，随着这些技术的改进， CMOS 图像传感器已成为紧凑型 DSC 和数码单反相机领域有力的竞争者 。在另一方面， CCD 图像传感器也取得了长足的进步 。 除了固有的良好的图像还原能力，近期的 CCD 图像传感器还具有多种特别适合 DSC 领域应用的特点

以上就完成了所有总结，如有问题，欢迎指出~

此外，对图像降噪算法感兴趣的同学可以看考我的博客图像降噪算法——图像降噪算法总结