本系列主要介紹圖像信號處理器 (ISP, Image Signal Processor) 中各核心算法模塊的設(shè)計以及相關(guān)的前沿研究，以典型的相機(jī)成像系統(tǒng)為基礎(chǔ)，涉及的內(nèi)容包括各類缺陷校正，去馬賽克，去噪，3A算法（自動對焦，自動曝光，自動白平衡），超分，HDR，風(fēng)格遷移等主題。
本文介紹壞點產(chǎn)生的原因、現(xiàn)有壞點矯正方法及其優(yōu)缺點。
模塊背景介紹
CMOS/CCD鏡頭上對于外界光照失效而呈現(xiàn)為極亮或極暗的點，可分為壞點 (Deadpixel)、粘滯點 (StuckPixels) 與亮點 (Hotpixel)，前者是高度曝光下的暗像素點，中者是高度曝光下相同位置出現(xiàn)的彩色像素點，后者為極暗條件下產(chǎn)生的亮點。
壞點產(chǎn)生的原因主要包括感光元件芯片自身工藝技術(shù)以及材料瑕疵、光線采集存在缺陷、光信號轉(zhuǎn)化的過程錯誤、制造商產(chǎn)品差異以及產(chǎn)品使用損耗等。其中感光元件芯片工藝及材料瑕疵是CMOS/CCD圖像傳感器產(chǎn)生壞點的基本原因。
從壞點的靜動態(tài)分布上可以分為靜態(tài)壞點與動態(tài)壞點，從像素亮度上可分為亮點與暗點。
靜態(tài)壞點 (Static Defective Pixel, SDP) 是由缺圖像傳感器技術(shù)的芯片缺陷導(dǎo)致，解決方案是基于既定靜態(tài)壞點表，比較當(dāng)前坐標(biāo)是否與靜態(tài)壞點表中的某坐標(biāo)一致，若坐標(biāo)一致則判定為壞點，然后再計算校正結(jié)果并校正。
動態(tài)壞點 (Dynamic Defective Pixel, DDP) 與傳感器溫度、增益有關(guān)，傳感器溫度升高或者增益值增大時，動態(tài)壞點會變會增多，與ISO的大小有關(guān)，文獻(xiàn)[1]表明，對于不同的ISO設(shè)定，其缺陷隨著ISP增大而增多。
像素點的亮度一般正比于入射光的強(qiáng)度，而亮點的亮度值明顯大于入射光乘以相應(yīng)比例，并且隨著曝光時間的增加，該點的亮度會顯著增加。
暗點即無論在什么入射光下，該像素點的值都接近于0。
現(xiàn)存壞點矯正及其優(yōu)缺點分析
現(xiàn)存壞點矯正主要包括Pinto[2]算法與Kakarala[3]算法等。通過拜爾陣列中同一通道的鄰域像素的計算與判斷，對壞點所在位置的像素值進(jìn)行替換。Pinto 算法
Pinto 算法根據(jù)壞點是其鄰域內(nèi)的極亮、極暗的點，像素為鄰域內(nèi)的最大（小）值。以R通道為例，首先將中心像素RT與周圍的像素R1~R8分別作差，根據(jù)結(jié)果Result的正負(fù)進(jìn)行判斷，如果Result全為正值或負(fù)值，則該點為壞點，并用周圍像素點R1~R8的中值進(jìn)行替代；反之，如果Result有正有負(fù)，則視為正常像素點，不進(jìn)行壞點校正。Pinto算法選取R、G、B通道的模板分別進(jìn)行濾波處理，G通道與B通道與R通道的處理方式相同，示意圖如圖1所示。
圖1
Kakarala算法通過首先計算中心像素值XT與周圍像素的平均值，如通過X1、X2、X3與XT的平均值計算得到x11，其中X∈[R,G,B],x∈[r,g,b]，其余x13、x31、x33計算過程類似，R通道與B通道還需通過類似的方式計算得到x12、x21、x22、x32的結(jié)果，最終在三通道均組成3*3的模板并通過排序找到其最大值max、最小值min與平均值avg；最值相減得到dif值，即dif= max- min，若根據(jù)avg±dif的結(jié)果設(shè)置閾值T1與T2（假設(shè)T1>T2）并進(jìn)行判斷，若該處像素值XT大于T1或者小于T2，則視XT處為壞點，并用均值avg代替該處的像素值，濾波模板示意如圖2所示。
圖2
Pinto算法的優(yōu)點是作用域廣泛，對于圖片的大部分區(qū)域均有效果；模糊邊緣效果較弱。其缺點是位于邊緣處的壞點無法檢測。原因主要在于對于Pinto算法的假設(shè)在邊緣情況下可能不成立，比如算法假設(shè)像素點為鄰域內(nèi)的最大值或最小值，但這在邊緣處是顯然不成立的，邊緣處的像素值可能作為正常像素點，本身比壞點值更大。
Kakarala算法同樣作用域廣泛；可檢測大部分的邊緣處壞點。但是缺點是有明顯的模糊效果。主要原因是Kakarala算法在濾除大部分壞點的同時由于其濾波特性模糊了圖像的邊緣。
總之，兩種算法對于平坦區(qū)域均有良好的效果，但是對于邊緣處壞點的處理效果欠佳。
參考文獻(xiàn)：
[1] Leung J, Chapman G H, Choi Y H, et al. Analyzing the impactof ISO on digital imager defects with an automatic defect tracealgorithm[C]//Sensors, Cameras, and Systems for Industrial/ScientificApplications XI. SPIE, 2010, 7536: 129-140.
[2] Pinto V, Shaposhnik D. Dynamicidentification and correction of defective pixels: U.S. Patent 8,098,304[P].2012-1-17.
[3] Baharav I, Kakarala R, Zhang X,et al. Bad pixel detection and correction in an image sensing device: U.S.Patent 6,737,625[P]. 2004-5-18.
