本文系微信公众号《大话成像》,知乎专栏《all in camera》原创文章,转载请注明出处。
之前我们曾经介绍过,sensor直接输出的raw 图像的噪声模型可以用高斯-泊松模型来进行数学描述,有了这个数学描述,可以建立起信号强度与噪声强度之间的对应关系,在系统运行期可以以此为输入调节去噪算法更好地去噪。 Raw 图像会经过isp各个block,每一步的信号处理操作都会造成噪声不同的变化。 因为lens shading correction 是在图像的上乘以一个gain,远离中心的地方gain 越大,因此会导致,gain大的位置,噪声也变得更大。 原始信号是这样的: 经过shading correction,如下图,图像边缘的噪声会被显著增强。 由图像中心到边缘就会形成沿径向增强的噪声图像,也被称作radial noise。 2. demosaic对噪声的影响 由于demosaic 对原始信号进行了插值操作,会导致图像的噪声变为结构性噪声。 如图d所示,图像会出现一些特别的pattern noise。
3. 非线性变换 Gamma : Gamma可以近似理解为不同的亮度值乘以的gain不一样,亮度越小的地方乘以的gain越大,亮度越大的地方乘以的gain越小,因此gamma之后的噪声又发成了一个非线性变化,模型为: DRC 或者tonemapping 也是非线性运算会导致噪声出现非线性的变化。 4. 线性变换
比如awb,digital gain 这些运算时线性变换,图像的噪声会线性变化。 5. CCM 无论是色彩管理还是RGB到SRGB色域空间的转换,一般情况下是一个3*3的矩阵,这一步又增强了噪声的相关性,而且还会增强视觉的彩色噪声的饱和度,使噪声的视觉效果变得更糟糕。
结论: 图像从sensor 输出, 经过isp后,图像的噪声性质变得更加复杂,难以处理,所以在isp的前端进行去噪处理是比较合适的选择。(去彩色噪声一般在isp的后端,因为这时候图像可以很容易分离出亮度通道和彩色通道。)
|