手机镜头，噪声建模，ISP，ISO与analog gain-Toy模板网

这篇具有很好参考价值的文章主要介绍了手机镜头，噪声建模，ISP，ISO与analog gain。希望对大家有所帮助。如果存在错误或未考虑完全的地方，请大家不吝赐教，您也可以点击"举报违法"按钮提交疑问。

最近在做夜景去噪声的low level工作，相关工作可以说是非常的难以及boring。因为这种low level你必须往上层，往底层走，甚至说需要了解ISP相关的知识；因此这段时间对于相关知识进行了大量的学习与了解。

1、ISO

曝光量以E表示，计算单位就是勒克斯·秒（lux*s）。若要取得一定量的曝光量，则光强度越大，曝光时间越短；光强度越小，曝光时间越长。曝光是拍照最基本也是最重要的技术之一。

在专业相机中，曝光强度 = 曝光时间 * 光圈大小 * ISO，手机上的光圈是固定的，所以只需考虑曝光时间和ISO（也就是Gain值的一种表示，这里的Gain又分为Analog Gain，Digital Gain，ISO指的是analog gain）。而手机上的自动曝光就是让相机根据当前的图像信息自动配置曝光大小，也就是曝光时间和ISO的值。

iso和gain的计算方式,图像相关基础知识,接口隔离原则,计算机视觉,图像处理
结合一下旷视ECCV2020论文，光是由一组移动的光子组成。光的能量也就是这组光子所有的能量（光的能量是焦耳，而不是Lux。Lux只是人眼对光的响应的一种权重表示）。当光子照射到Sensor上时，只有一部分被转换成了电子，这种转换的效率常用Quantum Efficiency来表述。所以更大的sensor Pixel和更高的QE可以获得更多的电子，也就是sensor的sensitivity更高。

被转换的电子都存在sensor上一个一个的像素里。每一个像素可以保存的最大电子量称为Full Well Capacity。这些被保存的电子不是每一个都是通过光电转换而来的，有一些则是通过暗电流产生的。暗电流是由热量产生的，通常情况下，温度每升高5°C~8°C，暗电流就会增长一倍。这些电子被转换成电压信号，再经过放大（analog gain）、模数转换ADC，形成数字图像信号。

Analog gain其实就是由ISO所控制，也就是我们经常所说的感光度。那么analog gain， ADC（analog digital converter）以及digital gain是怎么区分的呢（这个部分在通信工程专业学习数模转换的时候是有涉及的，可惜我学习的是理论力学，材料力学真的是一点用处都没有啊现在）？可以参考以下的解释：

Analogue_electronics ；Digital_signal
analogy是比例的意思，模拟电路工作在三极管的线性区，而数字电路工作在饱和区；也符合电子管和真空管–晶体管（做放大器和开关元件）-- 电子计算机。

Sony-ISO
sony官网直接将ISO称作亮度增益。

2、噪声建模

参考论文：Rethinking Noise Synthesis and Modeling in Raw Denoising
iso和gain的计算方式,图像相关基础知识,接口隔离原则,计算机视觉,图像处理

I： real scene
Np: photon shot noise(signal-dependent,泊松分布，有了K，我们可以首先将一个原始数字信号D转换为光电子数I，然后对其施加泊松分布，最后将其还原回D)
Ka： analog gain
Kd: digital gain
N1: the summation of the other noises produced before the analog gain ( 包括暗电流噪声Nd、热噪声Nt、源跟随器噪声Ns，高斯分布，)
N2: the summation of the other noises produced before the digital gain（正态分布：暗场图像中提取每一行的均值，通过极大似然值估计计算出来相关的尺度参数）
Nq: quantization noise（假定量化噪声的概率分布是均匀的，服从以1/2量化单位间隔为半径的零均值均匀分布）