015、量子效率与光谱响应传感器灵敏度对低照度成像的制约一、一个让我凌晨三点还在改代码的案子2019年某款旗舰手机项目夜拍模式死活打不过竞品。我们用的是一颗1/1.7英寸、0.8μm像素的CMOS理论上进光量不差。但实测暗光下信噪比就是比友商低2-3dB。团队折腾了两周ISP参数——降噪强度拉到最大、增益曲线调成指数型、甚至把黑电平校准的offset都动了——结果呢噪点没了细节也没了画面像抹了一层猪油。直到我把传感器数据手册翻到第47页看到那个不起眼的“Quantum Efficiency vs. Wavelength”曲线图才意识到问题不在ISP在传感器本身。那颗传感器的QE在550nm绿光波段只有52%而友商同代产品是68%。这意味着同样光子数下我们少产生了约23%的电子。低照度下这23%的电子差就是信噪比的天堑。从那以后我养成了一个习惯选传感器先看QE曲线再看像素尺寸。这个顺序别搞反了。二、量子效率不是你想的那个“效率”很多工程师把QE理解成“传感器能捕捉多少光”这个说法对但不精确。严格定义是入射到像素上的光子中能转化为可收集电子的比例。单位是百分比或者更常用的是“电子/光子”。但这里有个坑——QE是波长相关的。一颗传感器在红光波段QE可能高达70%到了近红外就掉到20%以下。所以数据手册上那个QE曲线图才是真正有价值的东西而不是那个“峰值QE”的广告数字。我见过不少方案商拿着“峰值QE 75%”的传感器做安防监控结果在850nm红外补光下实际QE只有15%夜视效果一塌糊涂。这就是只看峰值不看曲线的代价。三、光谱响应传感器对颜色的“偏见”光谱响应是QE的延伸它描述了传感器对不同波长光的敏感度分布。理想情况下我们希望传感器对可见光全波段380nm-780nm响应均匀这样色彩还原才准。但现实是硅基CMOS天生对蓝光敏感度低对近红外敏感度高——这恰恰和人类视觉相反。这就引出了两个工程难题难题一蓝光QE低暗光下蓝色通道先崩。低照度场景蓝色通道的信噪比通常比红绿通道低3-5dB。如果你做ISP调优时发现蓝色通道噪点特别多别急着调降噪参数先看看传感器在450nm的QE是不是只有30%出头。如果是那就不是算法能解决的问题。难题二近红外泄漏色彩偏色。这是车载和安防领域的常见问题。传感器对近红外敏感但镜头上的IR-cut滤光片在低照度下往往会被移除为了提升进光量结果红外光混入可见光通道画面偏紫红。我调试过一个车载环视项目白天色彩正常晚上就偏色严重最后发现是IR-cut切换机构的响应时间比传感器帧率慢了一帧导致部分帧没有滤除红外。四、低照度成像的QE制约一个简单的数学低照度下信噪比SNR的极限由光子散粒噪声决定而光子散粒噪声的方差等于信号电子数。所以SNR ≈ √(N_photon × QE)N_photon是入射光子数QE是量子效率。这个公式告诉我们QE每提升一倍SNR提升3dB。在暗光下3dB的SNR提升意味着你能看清原本被噪点淹没的细节。但现实更残酷——低照度下入射光子数N_photon本身就少QE再低信号电子数就少得可怜。比如在1 lux照度下一个0.8μm像素每秒只能接收到约100个光子如果QE是50%那每秒只产生50个电子。这50个电子还要被读出噪声通常5-10e-、暗电流噪声温度相关污染。最终信噪比可能只有10dB左右画面基本就是“雪花屏”。所以提升低照度性能最直接的方法不是调ISP而是换一颗QE更高的传感器。这是硬件层面的天花板软件只能在这个天花板下跳舞。五、实战从QE曲线看传感器选型我整理了一个简单的选型判断方法供参考看峰值QE位置如果峰值在550nm绿光说明是标准可见光传感器适合手机、相机。如果峰值在650nm红光或850nm近红外说明是专为低照度或夜视设计的传感器适合安防、车载。看QE曲线的“腰宽”QE曲线在400nm-700nm范围内保持平坦波动不超过10%说明色彩还原性好。如果曲线陡峭说明传感器对某些颜色有偏好需要ISP做大量色彩校正但校正会放大噪声。看近红外段的QE如果传感器在850nm的QE超过30%说明它适合红外补光场景。但要注意这种传感器在可见光下需要强IR-cut滤光片否则偏色严重。看暗电流与QE的比值这个比值决定了低照度下的极限性能。比如QE50%、暗电流10e-/s的传感器在1秒曝光下暗电流噪声贡献约3e-而信号电子数可能只有50e-暗电流噪声占比约6%。如果QE降到30%信号电子数变成30e-暗电流噪声占比就升到10%。所以低QE传感器对暗电流更敏感温度控制要求更高。六、一个被忽视的细节微透镜与QE的关系很多工程师不知道像素上的微透镜Microlens对QE有显著影响。微透镜的作用是把入射光汇聚到光电二极管上避免光线打到像素间的金属走线上被浪费。好的微透镜设计可以把QE提升10-20%。但微透镜也有副作用——它对入射角度敏感。光线垂直入射时微透镜效率最高光线斜入射时部分光会打到相邻像素上造成串扰。这就是为什么手机摄像头边缘画质通常比中心差的原因之一——边缘像素的微透镜接收的是斜入射光QE下降串扰增加。我调试过一个车载环视项目四个摄像头拼接的画面在重叠区域出现亮度不一致排查了ISP增益、镜头透过率、传感器灵敏度最后发现是微透镜工艺批次差异导致四个传感器的QE不一致。解决方案是在产线标定阶段对每个传感器单独做QE补偿而不是用统一的增益曲线。七、个人经验QE不是越高越好这句话可能颠覆很多人的认知。但事实是QE过高会带来两个问题问题一满阱容量FWC受限。光电二极管的物理尺寸固定QE越高同样光照下产生的电子越多越容易达到满阱容量导致高光溢出。所以高QE传感器通常需要更小的像素尺寸或更复杂的电子快门设计。问题二近红外响应过强。如果传感器在近红外波段QE过高而镜头又没有匹配的IR-cut滤光片画面偏色会非常严重。我见过一个安防项目用了高QE传感器结果在白天阳光下画面偏紫红ISP怎么调都调不回来最后只能换镜头。所以选传感器时QE要结合应用场景看。手机拍照追求高动态范围QE适中50-60%即可安防夜视追求低照度性能QE可以高70%但必须搭配IR-cut工业视觉追求色彩准确QE曲线要平坦峰值不能太高。八、调优建议从QE出发的ISP策略如果你已经选定了传感器QE曲线固定了那ISP调优还能做什么我的经验是1. 分通道增益策略。如果传感器在蓝光波段QE低蓝色通道的增益应该比其他通道高1-2档。但要注意增益会放大噪声所以蓝色通道的降噪强度也要相应提高。别统一用一套降噪参数否则蓝色通道要么噪点多要么细节丢。2. 动态黑电平校准。低QE通道的暗电流噪声更明显黑电平偏移也更严重。建议对每个通道独立做黑电平校准而不是用全局黑电平。这里踩过坑——全局黑电平校准在低照度下会导致蓝色通道偏绿因为蓝色通道的暗电流被低估了。3. 曝光时间与QE的匹配。如果传感器在近红外波段QE高而场景中有红外补光可以适当缩短曝光时间避免红外信号过曝。反之如果场景是纯可见光近红外QE高反而没用因为可见光波段QE可能不高。4. 温度补偿。高QE传感器对温度更敏感因为暗电流随温度升高而增加。如果传感器工作温度超过60°C建议开启温度补偿算法根据温度调整增益和黑电平。别这样写——别把温度补偿参数写死在代码里要留出校准接口因为不同批次的传感器温度特性可能有差异。九、写在最后量子效率和光谱响应是影像系统的“基因”。ISP算法再强也改变不了传感器对光的“偏见”。低照度成像的瓶颈往往不在算法而在传感器对光子的捕获能力。我见过太多团队花几个月调ISP参数最后发现换一颗QE高10%的传感器效果立竿见影。所以做影像系统架构第一步不是选ISP芯片不是选镜头而是读懂传感器的QE曲线。如果你正在调试低照度场景先别急着动代码去翻翻数据手册看看那颗传感器在暗光下的QE是多少。如果低于40%那你的ISP调优空间其实很小——就像在沙漠里找水再好的挖掘机也挖不出石油。个人建议建立自己的传感器QE数据库把每颗用过的传感器的QE曲线、暗电流、满阱容量记录下来。下次做方案选型时先查数据库再谈参数。这个习惯能帮你省下至少30%的调试时间。
015、量子效率与光谱响应：传感器灵敏度对低照度成像的制约
015、量子效率与光谱响应传感器灵敏度对低照度成像的制约一、一个让我凌晨三点还在改代码的案子2019年某款旗舰手机项目夜拍模式死活打不过竞品。我们用的是一颗1/1.7英寸、0.8μm像素的CMOS理论上进光量不差。但实测暗光下信噪比就是比友商低2-3dB。团队折腾了两周ISP参数——降噪强度拉到最大、增益曲线调成指数型、甚至把黑电平校准的offset都动了——结果呢噪点没了细节也没了画面像抹了一层猪油。直到我把传感器数据手册翻到第47页看到那个不起眼的“Quantum Efficiency vs. Wavelength”曲线图才意识到问题不在ISP在传感器本身。那颗传感器的QE在550nm绿光波段只有52%而友商同代产品是68%。这意味着同样光子数下我们少产生了约23%的电子。低照度下这23%的电子差就是信噪比的天堑。从那以后我养成了一个习惯选传感器先看QE曲线再看像素尺寸。这个顺序别搞反了。二、量子效率不是你想的那个“效率”很多工程师把QE理解成“传感器能捕捉多少光”这个说法对但不精确。严格定义是入射到像素上的光子中能转化为可收集电子的比例。单位是百分比或者更常用的是“电子/光子”。但这里有个坑——QE是波长相关的。一颗传感器在红光波段QE可能高达70%到了近红外就掉到20%以下。所以数据手册上那个QE曲线图才是真正有价值的东西而不是那个“峰值QE”的广告数字。我见过不少方案商拿着“峰值QE 75%”的传感器做安防监控结果在850nm红外补光下实际QE只有15%夜视效果一塌糊涂。这就是只看峰值不看曲线的代价。三、光谱响应传感器对颜色的“偏见”光谱响应是QE的延伸它描述了传感器对不同波长光的敏感度分布。理想情况下我们希望传感器对可见光全波段380nm-780nm响应均匀这样色彩还原才准。但现实是硅基CMOS天生对蓝光敏感度低对近红外敏感度高——这恰恰和人类视觉相反。这就引出了两个工程难题难题一蓝光QE低暗光下蓝色通道先崩。低照度场景蓝色通道的信噪比通常比红绿通道低3-5dB。如果你做ISP调优时发现蓝色通道噪点特别多别急着调降噪参数先看看传感器在450nm的QE是不是只有30%出头。如果是那就不是算法能解决的问题。难题二近红外泄漏色彩偏色。这是车载和安防领域的常见问题。传感器对近红外敏感但镜头上的IR-cut滤光片在低照度下往往会被移除为了提升进光量结果红外光混入可见光通道画面偏紫红。我调试过一个车载环视项目白天色彩正常晚上就偏色严重最后发现是IR-cut切换机构的响应时间比传感器帧率慢了一帧导致部分帧没有滤除红外。四、低照度成像的QE制约一个简单的数学低照度下信噪比SNR的极限由光子散粒噪声决定而光子散粒噪声的方差等于信号电子数。所以SNR ≈ √(N_photon × QE)N_photon是入射光子数QE是量子效率。这个公式告诉我们QE每提升一倍SNR提升3dB。在暗光下3dB的SNR提升意味着你能看清原本被噪点淹没的细节。但现实更残酷——低照度下入射光子数N_photon本身就少QE再低信号电子数就少得可怜。比如在1 lux照度下一个0.8μm像素每秒只能接收到约100个光子如果QE是50%那每秒只产生50个电子。这50个电子还要被读出噪声通常5-10e-、暗电流噪声温度相关污染。最终信噪比可能只有10dB左右画面基本就是“雪花屏”。所以提升低照度性能最直接的方法不是调ISP而是换一颗QE更高的传感器。这是硬件层面的天花板软件只能在这个天花板下跳舞。五、实战从QE曲线看传感器选型我整理了一个简单的选型判断方法供参考看峰值QE位置如果峰值在550nm绿光说明是标准可见光传感器适合手机、相机。如果峰值在650nm红光或850nm近红外说明是专为低照度或夜视设计的传感器适合安防、车载。看QE曲线的“腰宽”QE曲线在400nm-700nm范围内保持平坦波动不超过10%说明色彩还原性好。如果曲线陡峭说明传感器对某些颜色有偏好需要ISP做大量色彩校正但校正会放大噪声。看近红外段的QE如果传感器在850nm的QE超过30%说明它适合红外补光场景。但要注意这种传感器在可见光下需要强IR-cut滤光片否则偏色严重。看暗电流与QE的比值这个比值决定了低照度下的极限性能。比如QE50%、暗电流10e-/s的传感器在1秒曝光下暗电流噪声贡献约3e-而信号电子数可能只有50e-暗电流噪声占比约6%。如果QE降到30%信号电子数变成30e-暗电流噪声占比就升到10%。所以低QE传感器对暗电流更敏感温度控制要求更高。六、一个被忽视的细节微透镜与QE的关系很多工程师不知道像素上的微透镜Microlens对QE有显著影响。微透镜的作用是把入射光汇聚到光电二极管上避免光线打到像素间的金属走线上被浪费。好的微透镜设计可以把QE提升10-20%。但微透镜也有副作用——它对入射角度敏感。光线垂直入射时微透镜效率最高光线斜入射时部分光会打到相邻像素上造成串扰。这就是为什么手机摄像头边缘画质通常比中心差的原因之一——边缘像素的微透镜接收的是斜入射光QE下降串扰增加。我调试过一个车载环视项目四个摄像头拼接的画面在重叠区域出现亮度不一致排查了ISP增益、镜头透过率、传感器灵敏度最后发现是微透镜工艺批次差异导致四个传感器的QE不一致。解决方案是在产线标定阶段对每个传感器单独做QE补偿而不是用统一的增益曲线。七、个人经验QE不是越高越好这句话可能颠覆很多人的认知。但事实是QE过高会带来两个问题问题一满阱容量FWC受限。光电二极管的物理尺寸固定QE越高同样光照下产生的电子越多越容易达到满阱容量导致高光溢出。所以高QE传感器通常需要更小的像素尺寸或更复杂的电子快门设计。问题二近红外响应过强。如果传感器在近红外波段QE过高而镜头又没有匹配的IR-cut滤光片画面偏色会非常严重。我见过一个安防项目用了高QE传感器结果在白天阳光下画面偏紫红ISP怎么调都调不回来最后只能换镜头。所以选传感器时QE要结合应用场景看。手机拍照追求高动态范围QE适中50-60%即可安防夜视追求低照度性能QE可以高70%但必须搭配IR-cut工业视觉追求色彩准确QE曲线要平坦峰值不能太高。八、调优建议从QE出发的ISP策略如果你已经选定了传感器QE曲线固定了那ISP调优还能做什么我的经验是1. 分通道增益策略。如果传感器在蓝光波段QE低蓝色通道的增益应该比其他通道高1-2档。但要注意增益会放大噪声所以蓝色通道的降噪强度也要相应提高。别统一用一套降噪参数否则蓝色通道要么噪点多要么细节丢。2. 动态黑电平校准。低QE通道的暗电流噪声更明显黑电平偏移也更严重。建议对每个通道独立做黑电平校准而不是用全局黑电平。这里踩过坑——全局黑电平校准在低照度下会导致蓝色通道偏绿因为蓝色通道的暗电流被低估了。3. 曝光时间与QE的匹配。如果传感器在近红外波段QE高而场景中有红外补光可以适当缩短曝光时间避免红外信号过曝。反之如果场景是纯可见光近红外QE高反而没用因为可见光波段QE可能不高。4. 温度补偿。高QE传感器对温度更敏感因为暗电流随温度升高而增加。如果传感器工作温度超过60°C建议开启温度补偿算法根据温度调整增益和黑电平。别这样写——别把温度补偿参数写死在代码里要留出校准接口因为不同批次的传感器温度特性可能有差异。九、写在最后量子效率和光谱响应是影像系统的“基因”。ISP算法再强也改变不了传感器对光的“偏见”。低照度成像的瓶颈往往不在算法而在传感器对光子的捕获能力。我见过太多团队花几个月调ISP参数最后发现换一颗QE高10%的传感器效果立竿见影。所以做影像系统架构第一步不是选ISP芯片不是选镜头而是读懂传感器的QE曲线。如果你正在调试低照度场景先别急着动代码去翻翻数据手册看看那颗传感器在暗光下的QE是多少。如果低于40%那你的ISP调优空间其实很小——就像在沙漠里找水再好的挖掘机也挖不出石油。个人建议建立自己的传感器QE数据库把每颗用过的传感器的QE曲线、暗电流、满阱容量记录下来。下次做方案选型时先查数据库再谈参数。这个习惯能帮你省下至少30%的调试时间。
