本系列主要介紹圖像信號(hào)處理器 (ISP, image signal processor) 中各核心算法模塊的設(shè)計(jì)以及相關(guān)的前沿研究，以典型的相機(jī)成像系統(tǒng)為基礎(chǔ)，涉及的內(nèi)容包括各類缺陷校正，去馬賽克，去噪，3A算法（自動(dòng)對(duì)焦，自動(dòng)曝光，自動(dòng)白平衡），超分，HDR，風(fēng)格遷移等主題。
本文介紹在RAW域和YUV域上的去噪操作。
背景介紹
在ISP成像過(guò)程中的各個(gè)流程，均有可能生成噪聲，按照物理成因、視覺效果和滿足的分布特性可分為不同種類的噪聲。傳統(tǒng)的去噪方法可分為空間域去噪和變換域去噪。隨著深度學(xué)習(xí)在圖像處理領(lǐng)域取得了較好的成果，近年來(lái)，基于深度學(xué)習(xí)的圖像去噪方法也被提出并且得到了發(fā)展。詳細(xì)分類如下所示。
圖1
各種去噪方法詳情可參看本公眾號(hào)“圖像去噪技術(shù)簡(jiǎn)要總結(jié)”一文。
RAW圖去噪
以NLM去噪算法[1]為例，NLM算法本身是針對(duì)灰度圖像而言，在本模塊中要處理的圖像為RAW圖，可將將像素分為R、Gr、Gb、B四種，對(duì)它們分別進(jìn)行去噪處理，這樣兩個(gè)同種像素點(diǎn)（以像素R為例）之間的最小距離為2，所以以像素y為中心的鄰域窗口的滑動(dòng)步長(zhǎng)為2。
圖2
以圖中為例，黑色實(shí)線框?yàn)樗阉鞔翱?，block_size=13，其中有13*13個(gè)像素，半徑block_half=6（對(duì)應(yīng)關(guān)系為block_size=2×block_half+1）；黑色虛線框?yàn)檫M(jìn)行匹配的鄰域, patch_size=3，其中有3*3個(gè)像素,半徑patch_half=1，（對(duì)應(yīng)關(guān)系為patch_size=2×patch_half+1）。
對(duì)圖像的邊界進(jìn)行鏡像填充（關(guān)于邊界像素點(diǎn)對(duì)稱），水平方向上向左/右鏡像填充(block_half+patch_half=7)列，垂直方向上向上/下鏡像填充(block_half+patch_half=7)行。使用大小為13*13的搜索窗口滑窗在填充后的圖像上從左至右滑動(dòng)，滑動(dòng)長(zhǎng)度為圖像原始寬度，從上至下滑動(dòng)，滑動(dòng)長(zhǎng)度為圖像原始高度，滑動(dòng)起始點(diǎn)為(patch_half,patch_half)，滑窗的中心點(diǎn)即為當(dāng)前要處理的像素點(diǎn)，這樣原圖像所有的像素點(diǎn)都能被覆蓋到。
針對(duì)每個(gè)像素y，計(jì)算像素x、y鄰域的相似度，即高斯加權(quán)的歐式距離。針對(duì)每一個(gè)y像素點(diǎn)計(jì)算相應(yīng)的權(quán)重，統(tǒng)計(jì)所有的權(quán)重，找到其中最大的權(quán)重，將其賦給像素x所在的匹配鄰域?qū)λ械臋?quán)重求和得到歸一化因子。對(duì)搜索窗口內(nèi)所有的紅色像素點(diǎn)的像素值進(jìn)行加權(quán)求和，并歸一化，即可得到x像素點(diǎn)去噪后的像素值。
YUV域去噪
YUV圖像去噪環(huán)節(jié)可以在圖像最終成像前再次有效地增大圖像信號(hào)的信噪比，提高圖像質(zhì)量，直接影響到后續(xù)圖像視覺效果。該環(huán)節(jié)處理的信息包括圖像亮度和色度。
YUVDNS模塊將Y 通道和 UV通道分開進(jìn)行降噪， 降噪的核心算法以非局部均值(NLM)算法為例。對(duì)某一待去噪數(shù)據(jù)點(diǎn)的NLM過(guò)程如圖所示，圖中每個(gè)格子代表一個(gè)像素位置的Y/U/V數(shù)據(jù)。
圖3
首先進(jìn)行算法參數(shù)配置。根據(jù)噪聲水平，設(shè)定計(jì)算圖像塊大小W*W，搜索區(qū)域S*S和濾波控制參數(shù)h與噪聲水平的線性比例；
然后計(jì)算相似度。求以搜索區(qū)域（灰色格子區(qū)域）內(nèi)數(shù)據(jù)為中心的圖像塊（橙色框）中的數(shù)據(jù)值與待去噪數(shù)據(jù)點(diǎn)（藍(lán)色格子）為中心的圖像塊（藍(lán)色框）中的數(shù)據(jù)的絕對(duì)差之和D；隨后根據(jù)絕對(duì)差之和D與W*W的相對(duì)關(guān)系分配權(quán)重值，權(quán)重分配遵循如下規(guī)則：D相對(duì)越小，分配的權(quán)重值越大；
最后加權(quán)平均。完成搜索區(qū)域內(nèi)數(shù)據(jù)塊的相似度權(quán)重計(jì)算后，對(duì)灰色區(qū)域內(nèi)的數(shù)據(jù)進(jìn)行加權(quán)平均，參與計(jì)算的數(shù)據(jù)包括待去噪數(shù)據(jù)點(diǎn)，對(duì)待去噪數(shù)據(jù)點(diǎn)分配最大權(quán)重。最終得到了待去噪數(shù)據(jù)點(diǎn)的去噪結(jié)果。
相關(guān)公式可參看本公眾號(hào)“圖像處理器概述(XK-ISP)”一文。
參考文獻(xiàn)：
[1] Antoni Buades, Bartomeu Coll, and Jean-MichelMorel, ''Non-Local Means Denoising,'' Image Processing On Line, vol. 1, pp.208-212, 2011.
