简单来讲,

YUV: luma (Y) + chroma (UV) 格式, 通常状况下sensor支持YUV422格式,即数据格式是按Y-U-Y-V次序输出的。
RGB: 传统的红绿蓝格式,好比RGB565,其16-bit数据格式为5-bit R + 6-bit G + 5-bit B。G多一位,缘由是人眼对绿色比较敏感。
RAW RGB: sensor的每一像素对应一个彩色滤光片,滤光片按Bayer pattern分布。将每个像素的数据直接输出,即RAW RGB data。

大概区分如下:

1 YUV一个像素占2B,若是像素过高在高时钟下基带芯片处理不过来,JPEG数据量就要小的多,因此不是YUV对基带芯片有要求,而是基带芯片对输出数据速率有要求。
2 RGB565通常用在很低端的基带芯片上,直接往屏上刷。YUV输出亮度信号没有任何损失,而色偏信号人眼并非特别敏感,RGB565输出格式是R5G3G3B5会丢掉不少原始信息,因此YUV图像质量和稳定性要比RGB565好的多
3 RAW数据每一个像素就1B,数据量要少不少,通常5M以上sensor就只输出RAW数据以保证比较快的输出速度,后端挂一个DSP来处理输出的数据。

下面分别具体介绍3种方式的区别

rawRGB     

        图像采集的过程为:光照在成像物体被反射 -> 镜头汇聚 -> Sensor光电转换-> ADC转换为rawRGB

因为sensor上每个像素只采集特定颜色的光的强度,因此sensor每个像素只能为R或G或B,形成的数据就成为了rawRGB数据。

         rawRGB数据是sensor的经过光电转换后通过ADC采样后直接输出数据,是未经处理过的数据,表示sensor接受到的各种光的强度。

         对于不同的sensor,在其内部形成的rawRGB数据格式也是有区别的。rawRGB数据排列格式有四种如下表(这里的格式是对于2*2像素矩阵而言的):

假设一个sensor的像素是8*8(分辨率为8*8),那么这个sensor就有8*8个感光点,每个感光点就是一个晶体管。那么对于上表中四种排列格式的rawRGB数据如下图所示:

 由上图可以看出,每一种格式的rawRGB数据的G分量都是B、R分量的两倍,是因为人眼对于绿色的更加敏感,所以加重了其在感光点的权重,增加了对绿色信息的采样。

        对于sensor输出的rawRGB数据,需要送到ISP(图像信号处理)中处理,得到RGB数据,一般采用插值处理。在进行ISP处理时,ISP需要知道sensor输出的rawRGB数据的顺序与大小,其中顺序一般通过配置ISP的pattern寄存器来实现,大小一般配置在ISP的输入格式控制寄存器中。

        之所以有个rawRGB这种格式的数据,这样做的目的一般是为了降低感光器件的物理工艺难度,然后通过ISP处理还原出更真实的图像信息。

RGB

        在数字化的时代,需要一种标准来量化自然界的各种颜色。RGB就是一种在数字化领域表示颜色的标准,也称作一种色彩空间,通过用三原色R、G、B的不同的亮度值组合来表示某一种具体的颜色。注意,RGB里面存的是颜色的亮度值,而不是色度值。

        在实际应用中,RGB存在着许多的格式,之所以存在着这些格式,是因为随着技术的进步,系统的更迭,不同的应用场景和设备环境,对颜色表达的需求是不同的。

常用的RGB格式如下表所示:

YUV

        YUV是一种色彩编码方法,Y表示亮度,U和V表示色度。只有Y就是黑白图像,再加上UV就是彩色图像了。YUV的一个好处就是让彩色系统和传统黑白系统很好的兼容,同时利用了人类视觉系统对亮度的敏感度比对色度高。

        在一般应用中,人们所说的YUV就是YCbCr,这我认为是从狭义的角度理解(毕竟现在是数字信号的天下,YCbCr恰好是描述数字信号的)。广义上说,YUV是一种色彩空间分类,一种颜色模型,具体的类型有Y'UV, YUV, YCbCr,YPbPr等,目前市场上常用数字的视频信号和视频/图片文件中的编码格式,用YCbCr来描述,于是人们口中的YUV就代指的是YCbCr,常见应用如H.264/H.265码流、MPEG、JPEG等。

        YCbCr中的Cb指蓝色色度分量,而Cr指红色色度分量。

        YUV和RGB的相同点:都是用来表达颜色的数学方法;

        YUV和RGB的相同点:对颜色的描述思路和方法不同。RGB将一个颜色拆解为3个纯色的亮度组合,YUV将一个颜色分解为一个亮度和2个色度的组合。

        那引入YUV这种色彩空间的好处具体有啥呢?

 1.   YUV提取Y亮度信号,可以直接给黑白电视使用,兼容黑白电视

 2.  人眼对UV的敏感性小于亮度,这样我们适当减少uv的量,而不影响人的感官。所以才会有多种格式的 YUV描述,如420、422、444。

3.  伴随显示设备分辨率的提升,bt组织也针对yuv2rgb设定了不同的系数,来最好的从YUV转换到RGB。

4.  YUV格式可以比RGB格式储存空间小。

        那RGB存在的作用是什么呢?

        目前人类发明的所有彩色的输入输出设备,本质上都只支持RGB数据。哪怕设备允许YUV的输入输出,那也是经过内部的数据转换而间接支持。

YUV采样

        主流采样方式有如下三种:

                   YUV 4:4:4 采样

                   YUV 4:2:2 采样

                   YUV 4:2:0 采样

        1.YUV 444 采样

        全采样,对每个像素点的的YUV分量都进行采样,这样的三个分量信息量完整。

        2. YUV 422 采样

        部分采样,可节省1/3存储空间和1/3的数据传输量。UV分量是Y分量采样的一半,Y分量和UV 分量按照2 : 1的比例采样。如果水平方向有10个像素点,那么采样了10个Y分量,而只采样了5个UV分量。其中,每采样过一个像素点,都会采样其Y分量,而U、V分量就会间隔一个采集一个。

        3.YUV 420 采样

        部分采样,可节省1/2存储空间和1/2的数据传输量。YUV 420采样,并不是指只采样U分量而不采样V分量。而是指,在每一行扫描时,只扫描一种色度分量(U或者V),和Y分量按照2 : 1的方式采样。比如,第一行扫描时,YU 按照 2 : 1的方式采样,那么第二行扫描时,YV分量按照 2:1的方式采样。对于每个色度分量来说,它的水平方向和竖直方向的采样和Y分量相比都是2:1 。

YUV存储格式

        YUV存储格式通常有两大类:打包(packed)格式和平面(planar)格式。前者将YUV分量存放在同一个数组中,通常是几个相邻的像素组成一个宏像素(macro-pixel);而后者使用三个数组分开放 YUV 三个分量,就像是一个三维平面一样。

YUV422 Planar (YUV422P,也称为I422格式)

        这里,Y\U\V数据是分开存放的,每两个水平Y采样点,有一个U和一个V采样点,如下图:

        也就是说,U0V0由Y0、Y1共用,这样整幅图像较RGB就减少了1/3的存储空间。

        YUV 422P 格式,又叫做 I422格式,采用的是平面格式进行存储,先存储所有的 Y 分量,再存储所有的 U 分量,再存储所有的 V 分量。

        假如一个8*2像素的图像的该格式的存储分布如下图:

YUV422 packed

        此格式有两种情况:分为YUYV格式和UYVY格式。

        YUYV格式

               YUYV 格式是采用打包格式进行存储的,指每个像素点都采用 Y 分量,但是每隔一个像素采样它的UV分量。

               假如一个8*2像素的图像的该格式的存储分布如下图:

        UYVY格式

                UYVY 格式也是采用打包格式进行存储,它的顺序和YUYV相反,先采用U分量再采样Y分量。

                假如一个8*2像素的图像的该格式的存储分布如下图:

YUV420 Planar (YUV420P)

        这个格式跟YUV422 Planar 类似,但对于U和V的采样在水平和垂直方向都减少为2:1,根据采样规则如下图:

        也就是说,U0V0由Y0、Y1、YW、YW+1共用,这样整幅图像较RGB就减少了1/2的存储空间。

        YU12和YV12格式都属于YUV 420P类型,即先存储Y分量,再存储U、V 分量,区别在于:YU12是先Y再U后V,而YV12是先Y再V后U 。

        YU12格式(也称为I420格式)

                YU12是先Y再U后V。

                假如一个8*2像素的图像的该格式的存储分布如下图:

        YV12格式

                YV12是先Y再V后U

                假如一个8*2像素的图像的该格式的存储分布如下图:

YUV422 Semi-Planar (YUV422SP)

        Semi 是“半”的意思,个人理解这个是半平面模式,这个格式的数据量跟YUV422 Planar的一样,但是U、V是交叉存放的。                                              

        假如一个8*2像素的图像的该格式的存储分布如下图:

YUV420 Semi-Planar (YUV420SP)

        这个格式的数据量跟YUV420 Planar的一样,但是U、V是交叉存放的。

        NV12和NV21格式都属于 YUV420SP 类型。它也是先存储了Y分量,但接下来并不是再存储所有的U或者V分量,而是把UV分量交替连续存储。

        NV12

                NV12是IOS中有的模式,它的存储顺序是先存Y分量,再UV进行交替存储。

                假如一个8*2像素的图像的该格式的存储分布如下图:

        NV21

                NV21是安卓中有的模式,它的存储顺序是先存Y分量,在VU交替存储。

                假如一个8*2像素的图像的该格式的存储分布如下图:

Logo

开放原子开发者工作坊旨在鼓励更多人参与开源活动,与志同道合的开发者们相互交流开发经验、分享开发心得、获取前沿技术趋势。工作坊有多种形式的开发者活动,如meetup、训练营等,主打技术交流,干货满满,真诚地邀请各位开发者共同参与!

更多推荐