概述
介紹
圖像傳感器中的傳感器上每一光線采集的點(diǎn)形成的陣列工藝存在缺陷，或光信號進(jìn)行轉(zhuǎn)化的過程中出現(xiàn)錯誤，會造成圖像上有些像素的信息有誤，導(dǎo)致圖像中的像素值不準(zhǔn)確，這些有缺陷的像素即為圖像壞點(diǎn)(Bad pixel)。
由于來自不同工藝技術(shù)和傳感器制造商，尤其對一些低成本、消費(fèi)品的sensor來說，壞點(diǎn)數(shù)會有很多。此外，sensor在長時間、高溫環(huán)境下壞點(diǎn)也會越來越多，從而破壞了圖像的清晰度和完整性。
壞點(diǎn)校正（Defect Pixel Correction）即是解決此問題的方法，壞點(diǎn)的分類有以下幾種：
- 靜態(tài)壞點(diǎn)：
- 亮點(diǎn)：一般來說像素點(diǎn)的亮度值是正比于入射光的，而亮點(diǎn)的亮度值明顯大于入射光乘以相應(yīng)比例，并且隨著曝光時間的增加，該點(diǎn)的亮度會顯著增加；
- 暗點(diǎn)：無論在什么入射光下，該點(diǎn)的值接近于0；
- 動態(tài)壞點(diǎn)：在一定像素范圍內(nèi)，該點(diǎn)表現(xiàn)正常，而超過這一范圍，該點(diǎn)表現(xiàn)的比周圍像素要亮。與sensor 溫度、增益有關(guān)，sensor 溫度升高或者gain 值增大時，動態(tài)壞點(diǎn)會變的更加明顯。
原因
引起壞點(diǎn)的原因：
- 工藝
- sensor制作中有灰塵進(jìn)入
- 電子產(chǎn)品的壽命影響
- noise
- sensor gain 增加
- 溫度增高等
如果圖像中存在壞點(diǎn)的話，在進(jìn)行插值和濾波處理的時候，會影響周圍的像素點(diǎn)，因此需要在插值和濾波之前對壞點(diǎn)進(jìn)行校正。
圖像存在壞點(diǎn)比較多或動態(tài)壞點(diǎn)很多的情況下，會造成圖像的邊緣出現(xiàn)偽色彩的情況，這種現(xiàn)象不但影響圖像的清晰度，而且會影響邊緣的色彩。此外，壞點(diǎn)也會造成圖像部分pixel閃爍的現(xiàn)象。
校正
這里給的校正方法是基于bayer圖像，對于灰度圖原理一致。
bayer格式的DPC方法，將圖像分為R、G、B三幅圖像，分別進(jìn)行壞點(diǎn)校正。若sensor的圖像格式為RGBIR，則需要將圖像分為R、Gr、Gb、B四個通道。
動態(tài)壞點(diǎn)校正和靜態(tài)壞點(diǎn)校正是兩個相互獨(dú)立的過程。
靜態(tài)壞點(diǎn)校正
靜態(tài)壞點(diǎn)的校正是基于已有的靜態(tài)壞點(diǎn)表，比較當(dāng)前點(diǎn)的坐標(biāo)是否與靜態(tài)壞點(diǎn)表中的某個坐標(biāo)一致，若一致則判定為壞點(diǎn)，然后再計(jì)算校正結(jié)果對其進(jìn)行校正。
一般情況下，每個sensor的壞點(diǎn)都不一樣，需要sensor廠商給出每個sensor的靜態(tài)壞點(diǎn)表，但是出于成本的考慮，很多sensor廠商并沒有給出，而用戶校正的話只能一個一個對其進(jìn)行校正，因此對于一些低成本的sensor，靜態(tài)壞點(diǎn)校正的實(shí)用性不是很強(qiáng)。
由于在硬件設(shè)計(jì)的時候需要占用大量的memory，考慮到芯片面積以及一些其他原因，因此靜態(tài)壞點(diǎn)有大小的限制，不可以無限制的校正。
sensor的靜態(tài)壞點(diǎn)表一旦寫入存儲，dpc模塊會自動替換壞點(diǎn)表中所示壞點(diǎn)。
算法
略
tuning
每個平臺標(biāo)定方法各不相同，但是一般情況下都是根據(jù)以下幾個步驟進(jìn)行標(biāo)定：
- 在黑暗壞境下標(biāo)定亮點(diǎn)壞點(diǎn)。
- 在有光均勻圖像的環(huán)境下標(biāo)定暗點(diǎn)。
- 合并壞點(diǎn)表。
動態(tài)壞點(diǎn)校正
動態(tài)壞點(diǎn)的校正可以實(shí)時的檢測和校正sensor 的亮點(diǎn)與暗點(diǎn)，并且校正的壞點(diǎn)個數(shù)不受限制。動態(tài)壞點(diǎn)校正相對靜態(tài)壞點(diǎn)校正具有更大的不確定性。
動態(tài)dpc可以分為兩個步驟，分別為壞點(diǎn)檢測和壞點(diǎn)校正。
算法
這里自己寫了一個dpc的算法，有興趣的話可以看看。
此算法使用梯度百分比的方式去檢測壞點(diǎn)，檢測到壞點(diǎn)之后通過中值濾波進(jìn)行壞點(diǎn)校正，最終通過alpha混合的方式計(jì)算出最終的計(jì)算結(jié)果。
code
close all;
clear;
clc;
%% variable
dp_slope = 0.02;
dp_thresh = -0.3;
r=3; %Stencil radius
%% read raw image
% x = 0:255;
% y = dp_slope * x + dp_thresh;
% y(y<0) = 0;
% y(y>1) = 1;
% figure,
% plot(0:255,y)
% axis([0 255 0 1.5])
[filename, pathname] = ...
uigetfile({'*.raw'}, 'select picture');
str = [pathname filename];
fp = fopen(str, 'rb');
[X,l] = fread(fp, [1920,1080], 'uint16');
fclose(fp);
img = uint8(X/16)';
[height, width] = size(img);
img_correct = zeros(height, width);
%% Image edge extension
imgn=zeros(height+2*r,width+2*r);
imgn(r+1:height+r,r+1:width+r)=img;
imgn(1:r,r+1:width+r)=img(1:r,1:width);
imgn(1:height+r,width+r+1:width+2*r+1)=imgn(1:height+r,width:width+r);
imgn(height+r+1:height+2*r+1,r+1:width+2*r+1)=imgn(height:height+r,r+1:width+2*r+1);
imgn(1:height+2*r+1,1:r)=imgn(1:height+2*r+1,r+1:2*r);
%% dp algorithm
for i = r+1:height-r
for j = r+1:width-r
img_r = imgn(i-r:2:i+r, j-r:2:j+r);
data_r_center = img_r(r, r);
data_r_diff(1:r+1, 1:r+1) = abs(img_r - img_r(r,r));
data_r_sort = sort(img_r(:));
data_r_median = data_r_sort(r*2+1);
data_r_detect = data_r_diff * dp_slope + dp_thresh;
data_r_detect(data_r_detect < 0) = 0;
data_r_detect(data_r_detect > 1) = 1;
data_r_judge = sum(sum(data_r_detect > 0));
data_r_weight = sum(sum(data_r_detect)) / data_r_judge;
if i-r == 18 && j-r == 43
a = 1;
end
if data_r_judge >= 7
data_r_correct = data_r_median * data_r_weight + (1-data_r_weight) * data_r_center;
else
data_r_correct = data_r_center;
end
img_correct(i-r, j-r) = data_r_correct;
end
end
%% show
figure,imshow(uint8(img));
figure,imshow(uint8(img_correct));
效果展示：
tunning
dpc的調(diào)試可以提升圖像的多個方面，很大程度上改善圖像質(zhì)量，一般情況下在不同的iso下調(diào)出不同的值，需要考慮的一是blend的混合程度，二是壞點(diǎn)檢測的力度。在噪聲比較多的情況下可以加強(qiáng)dpc的強(qiáng)度，但是建議不要把dpc當(dāng)成去噪來使用，dpc校正太強(qiáng)依舊會造成邊緣偏色、整體偏色的現(xiàn)象。
