本系列主要介紹圖像信號處理器 (ISP, image signal processor) 中各核心算法模塊的設計以及相關的前沿研究,以典型的相機成像系統為基礎,涉及的內容包括各類缺陷校正,去馬賽克,去噪,3A算法(自動對焦,自動曝光,自動白平衡),超分,HDR,風格遷移等主題。
本文介紹RGB色彩空間和YUV色域之間的轉換關系以及目前常用的YUV存儲格式。
RGB顏色空間
國際照明委員會(CIE)規定以藍=435.8nm,綠=546.1nm,紅=700nm作為主原色,因此,紅、綠、藍也被稱為三原色。RGB顏色空間利用三原色紅、綠、藍的不同比例相加合成產生各種不同的顏色。如下圖所示,通過將紅色、綠色、藍色映射到三維笛卡爾坐標系來創建RGB顏色空間。
圖1
R、G、B取值常用8比特表示,因此代表三基色的紅、綠、藍通道分別用0~255的整數表示強度。0表示無光,亮度最暗;255表示強度最大,亮度最亮。(0,0,0)表示純黑色;(255,255,255)表示白色。
RGB顏色空間在電視機和計算機的圖像顏色顯示系統中廣泛應用,是我們接觸最多的顏色空間。RGB顏色空間最大的優點就是直觀,容易理解。但是RGB空間的缺點是R、G、B這3個分量是高度相關的,RGB顏色空間的三個分量都與亮度密切相關,即只要亮度改變,三個分量都會隨之相應地改變。如下圖,RGB三個分量的強度均在一定程度上反映了圖像中的亮度信息。
圖2
YUV顏色空間
YCbCr顏色空間,又常被稱作YUV顏色空間,是用于數字電視的顏色空間,在ITU-R BT.601、BT.709、BT.2020標準中被明確定義,這三種標準分別針對標清、高清、超高清數字電視。Y是亮度,Cb(U)、Cr(V)表示色度,描述顏色的色調與飽和度。其中Cr反映RGB中紅色部分與Y亮度值之間的差異;Cb則反映藍色部分與亮度值之間的差異。在廣播電視中,使用YCbCr可解決黑白電視和彩色電視之間的信號兼容問題。
轉換方法
RGB顏色空間到YUV顏色空間的轉換標準如下。
YUV存儲格式
由于人眼對色度變化沒有對亮度變化敏感,在圖像質量損失忽略不計的前提下,可以降低Cb、Cr通道的采樣率,從而有效壓縮Cb、Cr通道的數據量,使圖像數據占用較少的空間。常見的YCbCr采樣頻率格式包括4:4:4,4:2:2以及4:2:0,如下圖所示。
圖3
YUV4:4:4采樣中每一個像素點的Y分量對應一組UV分量, YUV4:2:2采樣每兩個左右相鄰的像素點的Y分量共用一組UV分量;YUV4:2:0采樣每四個上下左右相鄰的像素點的Y分量共用一組UV分量。根據不同的采樣方式,數據在存儲時的排列方式也有所不同。
01
YUV 4:4:4 存儲格式
YUV4:4:4在存儲格式上和RGB圖像的存儲方法一致,Y、U、V三個分量連續存放,如下圖所示。
圖4
02
YUV 4:2:2 存儲格式
YUYV格式為YUV422采樣的存儲格式中的一種,遵循YUV422存儲格式的基本原則,相鄰的兩個像素點的Y共用其相鄰的兩個U、V。對于相鄰兩個像素點的Y00、Y01而言,其U、V的值均為 U00、V00,其他的像素點的YUV取值依此類推。
圖5
UYVY格式也是YUV422采樣的存儲格式中的一種,與YUYV不同的是UV排列順序不一樣,UV共用方法與上述一致。
圖6
YUV422P格式也屬于YUV422采樣的存儲格式中的一種,它是一種Plane模式,即平面模式。與上述兩種存儲方式的區別在于并不是將YUV數據交錯存儲,而是先存放所有的Y分量,然后再存儲所有的U分量,最后存儲所有的V分量。
圖7
03
YUV 4:2:0 存儲格式
YU12格式和YV12格式均屬于YUV420格式,也是一種Plane模式,將Y、U、V分開依次存儲。其中每一個像素點的YUV數據遵循YUV420存儲格式的基本原則,即4個Y分量共用一組UV。如下圖所示。
圖8
V12格式和NV21格式也屬于YUV420格式,是一種two-plane格式,即Y分量和UV分量各自占一部分, UV分量交錯存儲。
圖9
參考文獻:
[1] RecommendationITU-R BT.601-7 (03/2011), Studio encoding parameters of digital television forstandard 4:3 and wide-screen 16:9 aspect ratios, BT SeriesBroadcasting service(television),Electronic Publication Geneva, 2015.
[2] RecommendationITU-R BT.709-6 (06/2015), Parameter values for the HDTV standards forproduction and international programme exchange, BT Series Broadcasting service(television), Electronic PublicationGeneva, 2015.
[3] RecommendationITU-R BT.2020-2 (10/2015), Parameter values for ultra-high definitiontelevision systems for production and international programme exchange, BTSeries Broadcasting service (television),ElectronicPublication Geneva, 2015.