前言:本文整理了图像传感器的尺寸、像素大小等成像基础知识,并探究了图像画质与传感器尺寸、像素大小的关系;并在第二章介绍了高像素(Remosaic)的原理。

一、图像传感器简介

图像传感器,即CIS,CMOS Image Sensor;CMOS,即Complementary Metal Oxide Semiconductor。

图像传感器的主要指标:

  • CMOS尺寸

  • 像素数

  • 单位像素尺寸

比如说现在最TOP的CMOS——IMX989,其宣称规格为1'', 5000w, 1.6um,这些值对应的就是如上三个指标。

1.1 CMOS尺寸

CMOS尺寸通常用''(inch)或mm来表示,其尺寸计算的是CIS对角线的长度。

通常在相机领域,提及CMOS尺寸人们多讨论画幅如APS-C,APS-H,全画幅,中画幅,不同画幅其对应的传感器尺寸就已确定如下图,可见残幅、全画幅、中画幅的CMOS尺寸都是大于1''的;在手机领域,目前宣称最大的底就属IMX989的1''大底了,再往下就更小了。

但不同于标准的1inch=25.4mm,在相机图像领域,1inch没有一个严格的定义,它的来源得从真空摄影管说起。

真空摄像管又叫光导摄像管,是上世纪60年代出现的一种进行光电转换的真空电器件,能够将光的图像转换为电视信号。在CMOS、CCD等图像传感器出现之前用来捕获画面。CIS“1英寸”、“1/2英寸”等尺寸名称也来源真空摄像管,由于技术局限,当时的真空摄像管有着很厚的玻璃外壳,1英寸是指整个管体的外径,而成像区域只有三分之二左右,大约为16mm。也可以这么理解,成像区域只有16mm(直径)的真空摄像管,其外径尺寸为1英寸。由于约定俗成等因素,还是将这个尺寸规则保留了下来,并延续到了CMOS、CCD等图像传感器上。属于历史遗留问题。

但实际上在相机图像领域,“1英寸等于16mm"并不能适用所有的尺寸。根据往期CMOS尺寸,小于1/2英寸的多采用“1英寸等于18mm”,比如索尼1/2.8"的IMX415;而大于1/2英寸的多采用16mm标准。这个没有严格定义,以实际手机厂商宣传的CMOS尺寸为主。

1.2 图像传感器天梯图

1.3 像素数、单位像素尺寸

CIS像素数指的就是图像传感器所能容纳的最大像素数量,从1.2节-图像传感器天梯图可以看出,目前主流图像传感器的像素数包括4800w,5000w,10000w,20000w,1200w等;

单位像素尺寸指的是平均每个像素所占的实际物理尺寸(长、宽),单位通常用um。

1.4 CIS尺寸/像素数与清晰程度的关系

先说结论,像素数大小≠图像清晰程度。

影响一幅图像清晰程度(Clarity)的因素有很多,主要包括分辨率(Resolution)、锐化程度(Sharpness)和对比度(Contrast)等,其中像素数大小主要与分辨率相关,CIS单位长度下包含的像素越多、图片分辨率就越高,画面中细节表现越丰富。

众所周知并不是像素数越大拍照效果就越好越清晰。像素数和单位像素尺寸对成像来说都很重要,比如IMX989(1'', 5000w, 1.6um)和HP1(1/1.22'', 20000w, 0.64um),看似HP1像素值更大,但底却小于IMX989,所以在实际成像时IMX989的硬件能力还是要技高一筹。所以说相比于像素数,传感器尺寸的大小对图像的清晰程度及画质表现具有更大的影响力。这一点从最近安卓旗舰手机的宣称也能看出,以前都是吹1亿像素,现在开始吹1英寸大底了。

1.5 图像传感器TOP厂商及命名规则

目前CIS行业TOP厂商主要是SONY、SAMSUNG、OV(豪威),TOP3销量合计占比超7成。

手机厂商多采用这三家生产的CIS,它们对应的命名规律如下:

  • OV系列:命名是最有规律的。如OV64B/OV48C,数字部分是像素数量,但尾缀的A/B/C暂无明确规律;

  • 三星:HP系列是2亿像素、HM系列是1亿像素、GW系列是6400万像素、GN/JN系列是5000万像、GM系列是4800万像素、GD/JD是3200万像素。但数字后缀完全没规律,下克上/上克下都有,还可能会换成H、V、X等手机厂名称缩写(例如GNH、GNV、HMX分别是荣耀、vivo、小米的挂名定制版)

  • 索尼IMX系列:没啥规律,只能看实际宣传。

二、Remosaic原理

目前主流旗舰手机主摄多采用5000w+像素的摄像头,宣称最大像素数可达5000w,1亿,2亿(如下图三星S23 Ultra),实际使用时主摄默认拍照多会采用4cell1、9cell1、16cell1的大像素模式,而只是在相机专门的Remosaic(高像素)模式下才会有条件的触发全像素高清照片。

SONY公司最先开发出称之为 Quad Bayer Coding的像素阵列,使用这一阵列形式的图像传感器可以兼具高感光能力(大像素)和高解析力(高像素)两种模式如下所示:

以GN1(1/1.31'', 5000w, 1.2um)为例,

  • 大像素模式

在弱光暗环境下,Quad Bayer结构会走大像素模式(有的地方称Binning mode),对于GN1这种4cell1的Bayer阵列来说,每4个相邻像素的color filter会吸纳同一种颜色的光透过,即每4个cell pixel会合成1个大pixel;此时GN1输出的总像素数为之前的1/4即1250w,4cell1后的单个像素尺寸为之前的4倍。在弱光环境下,相比于传统拜耳阵列,Quad Bayer阵列的图像传感器具有更高的清晰度、更低的噪声表现,更透亮的画质表现,特别是在弱光环境下这种优势会更加明显(如下图所示)。

  • 高像素模式

在亮环境下,Quad Bayer结构就可以走高像素模式,在图Fig 2上将每个Quad Pixel还原成一组RGGB阵列,这一过程即为Remosaic。Remosaic通常是由软件处理,也有通过技术手段在图像传感器上安装了一块阵列转换电路以此实现Remosaic过程。以GN1为例,此时输出的总像素数即5000w,单个像素大小为1.2um。在亮环境下,Remosaic后输出的图片具有更高的像素,更高的清晰度。

其他9合1、16合1的CIS原理也诸如此类。

【Reference】

手机拍照CMOS天梯:百款传感器排名速查(23.6.8) | 爱搞机 (igao7.com)

2023 年手机摄像头传感器天梯图 (zhihu.com)

Quad Bayer Coding | Image Sensor for Mobile | Technology | Sony Semiconductor Solutions Group (sony-semicon.com)

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐