圖像信號處理芯片設計原理----01 概論
本系列主要介紹圖像信號處理器 (ISP, Image Signal Processor) 中各核心算法模塊的設計以及相關的前沿研究，以典型的相機成像系統為基礎，涉及的內容包括各類缺陷校正，去馬賽克，去噪，3A算法（自動對焦，自動曝光，自動白平衡），超分，HDR，風格遷移等主題。
本文為概論部分，將簡要介紹圖像信號處理器的基礎知識，分為數字圖像處理背景，相機成像系統兩個方面。
數字圖像處理背景
數字圖像：一幅圖像可以由一個二維函數表示（如下圖[1]），其中是空間（平面）坐標，空間坐標對處的幅值稱為圖像在該點的強度或灰度。當用有限的離散數值表示時，就稱該圖像為數字圖像，空間位置的最小單位稱為像素，這種數據格式就可以交由通用計算機或專用數字電路進行存儲和處理。
圖[1]
數字圖像處理是對數字圖像進行去噪、銳化、增強、復原、分割等操作，使得數字圖像更有助于人類理解或者進一步處理等。數字圖像處理經久不衰的主要原因在于：隨著信息時代的高速發展，視覺作為人類最高級別的感知，以圖像視頻作為信息載體可以創造出豐富多彩的應用；同時理論知識的不斷更新，為數字圖像處理奠定了扎實的數理基礎，使得數字圖像處理廣泛的應用在醫學、農學、航天學、軍事、工業等各個領域。
相機成像系統
相機是最典型的數字成像系統，基本任務是要原始記錄和美化我們所看到的世界，因此它的設計參考了我們人類的視覺系統。
對人類視覺系統特性的研究，深刻影響了數字圖像標準及其處理發展。比如，因為人眼有三種感應顏色的錐狀體細胞，形成的是三色視覺系統?；诖耍胍M出人眼所能感知的顏色，只需要精心選擇3種單色光來刺激錐狀體細胞，這就是經典的三色加法模型。最終選擇的三色便我們熟知的光學三原色：紅，綠，藍。再比如，人類視覺系統能夠在各種不同的光照條件下識別物體的顏色，這種自動排除光源影響的能力稱為色彩恒常性 (Color Constancy)，這一特點對應著ISP中的白平衡模塊；參考人類視覺系統對亮度和色度不同的空間分辨能力，指導了去噪，銳化等算法的設計。
由下圖可以看到，經典的相機系統結構是充分參考人類視覺系統來設計的。
下圖[2]展示了一個標準的相機系統結構。它通常包含相機鏡頭模組 (LENS) /光學系統，圖像傳感器 (Sensor)，圖像信號處理器 (ISP) 以及配套的軟件工具，如圖像質量調優工具 (PQ Tools)。
圖[2]
在相機中，鏡頭模組 (LENS) 構成了光學系統，作為相機系統的信號采集端，鏡頭的品質不僅顯著影響成像質量，而且直接影響后續模塊的處理性能，比如進光量，視場（視野范圍），圖像清晰度等。
圖像傳感器 (Sensor) 完成從光信號到電信號的光電轉換，光的強弱影響著傳感器每個感光單元電荷的分布，電荷的分布變化又影響著電流的強弱（光越強，電流越大），之后再根據電流強弱轉換為對應的數字圖像信號。而要得到場景的色彩信息，還需要在傳感器上增加一層色彩濾波陣列 (CFA, Color Filter Array)，讓傳感器上每個感光單元僅得到一種顏色光的信息。
經過這樣的設計，傳感器采集到的圖像就是RAW圖像（如下圖[3]），即圖像每個像素位置僅有一種色彩信息。要恢復真實場景中的色彩，就是圖像信號處理器 (ISP) 中的去馬賽克模塊的任務了。
圖[3]
圖像信號處理器 (ISP) 會對傳感器輸出的圖像信號進行優化處理以及對相機系統的調節，因此，ISP會設計出多個功能模塊去控制各種影響圖像質量的關鍵因素，如清晰度，噪聲，色彩，運動，動態范圍等，主要的功能模塊包括自動對焦、自動白平衡、自動曝光、壞點去除、鏡頭陰影矯正、去馬賽克、顏色矯正、伽馬矯正、邊緣增強與降噪處理等，同時承擔著圖像數據的壓縮和存儲任務。
下圖展示了我們所設計的一款開源ISP的簡化版流水線結構，其中各個算法模塊將在本系列后續文章中展開介紹。
圖片引用來源：
[1] Brown M S. Understanding color & the in-camera image processing pipeline for computer vision[J]. Lassonde, 2019.
[2] https://blog.csdn.net/a1809032425/
article/details/81272965
[3] https://www.cambridgeincolour.com/
tutorials/camera-sensors.htm
