低照智能全彩技术采用全新的传感器技术和图像算法处理技术,在夜晚也可以达到清晰高品质的图像效果,显著提升了夜间图像的识别效率。但是由夜间抓拍带来的光污染也是一个非常普遍的问题,特别是交通卡口等场景,不仅影响驾乘人员的交通安全,也给周围居民带来了很大的困扰。近些年来,不少厂家在这方面做了努力和探索,但都收效有限,光污染问题并没有真正解决。因此,如何提升夜间图片质量并降低光污染,一直都是摄像机产业重要的研究方向。
新型高感光度sensor技术 传统sensor技术 传统sensor的色彩滤波器(color filter)一般采用Bayer阵列,它是一个4X4阵列,由4个格子(2X2阵列)重复排列形成,4个格子中有1个R(红色像素),1个B(蓝色像素),2个G(绿色像素)。其中,红色、绿色、蓝色像素点分别仅能通过红色光谱、绿色光谱和蓝色光谱的能量。 新型高感光度sensor技术 新型高感光度sensor主要在色彩滤波器上做了如下改进,通过提高色彩滤波器的透光率,进而提升各像素点的感光能力,最终增强低照环境下图像的信噪比(即可识别能力)。 总体来看,传统Bayer sensor和新型高感光度sensor的透光率对比如下。 方案效果对比 通过图像对比可以看出, 新型高感光度sensor在靶面尺寸、像素大小、工艺一致的情况下, 成像物体可识别性较传统Bayer sensor有明显提升。 DNN ISP降噪技术 噪声是在信号采集过程中引入的一种图像失真,其中最主要来自光子散粒噪声,除此之外,噪声来源还包括暗电流噪声、热点噪声、固定模式噪声以及读出噪声。为了获得高质量的图像效果,需要先对图像进行降噪处理,尽可能的保持原始图片信息的完整性,又能去除信号中的无用信息,改善编码效率。 传统降噪技术:空域降噪 传统的降噪算法分为空域降噪和时域降噪,空域降噪也称单帧降噪,即对单帧画面进行降噪,效果较好的算法有NL-Means(非局部平均)和BM3D(三维块匹配滤波)。NL-Means的算法思想是对每个图像块在图像内进行搜索,找到与之相似的一系列图像块,相似度越高,权重越大,最后将这些相似图像块在空间域做加权平均,这样能够较好地去掉图像中存在的噪声。BM3D的算法思想是将这些相似图像块变换到频域,在频域做滤波和阈值处理之后,再转换回空域。 传统降噪技术:时域降噪 时域降噪是一个广义的概念,也称多帧降噪,是在空域降噪的基础上,引入几个临近帧的信息(即时域信息),对临近帧中相似的像素块在空间域做加权平均。时域降噪存在的问题是,如果前后帧内有运动物体,对不属于同一个物体的两个块进行滤波处理会造成错误,产生拖尾现象。所以时域降噪的难点是要准确检测出运动强度,根据运动强度对时域滤波和空域滤波的结果做加权平均。运动强度大时,减小时域权重系数,增大空域权重系数。运动强度小时,增大时域权重系数,减小空域权重系数。 传统降噪技术:时域降噪 总结一下,传统降噪技术存在两个问题,一是降噪的同时会丢失图像的细节或边缘信息,二是对运动强度估计不准,特别当噪声较大时,导致降噪结果在运动区域有很长的拖尾 。基于深度学习的降噪技术(DNN ISP降噪)在这些方面有较好的效果。DNN ISP降噪技术采用全新的算法架构,利用类似于人脑的学习功能,可以更好的区分运动和非运动区域,解决传统降噪技术的运动拖尾问题,同时,还能更好的区分噪声和细节,在抑制噪声的同时保留更多的细节信息。 DNN ISP算法由预处理算法、深度学习网络以及后处理算法构成。预处理算法负责将数据处理为适合网络输入的格式,深度学习网络主要由卷积层构成,根据预先训练的权重对输入图像进行降噪处理,网络的输出被送入后处理单元,得到了降噪后的图像。 方案效果对比 通过图像对比可以看出,DNN ISP降噪由于采用了含有真实噪声的训练数据来训练网络,因此降噪效果比传统算法要好3~6dB左右,在最终成像的可识别度上具有明显的优势。 眩光的评估标准制定 夜间抓拍除了依赖传感器技术和图像算法处理技术之外,对光照条件也有要求。但理想光照条件下,对人眼的刺激非常高,甚至会达到极度不舒适的程度。目前业界对于眩光的评估和测量完全匮乏,未形成相关标准,导致高强度补光经常被应用在道路、小巷等场景,引起居民大量的投诉。 眩光的定义 眩光指视野中由于不适宜的亮度分布,或存在极端的亮度对比,以致引起视觉不舒适或降低物体可见度的视觉现象。 基于多算法仓的多域算法协同 国际照明委员会CIE提出了统一眩光值(UGR),用来计算眩光指数,该值在照明领域已经被广泛应用。但在安防领域,补光一般用于全黑场景或者光照度极差的条件下,因此无法直接使用CIE标准,可按如下修正公式来计算。 根据实验测算,安防领域还可以按照另一种更合理的阈值增量公式进行表征。阈值增量用来表示当存在眩光光源时,为了看清物体,在物体及其背景之间所需要增加的亮度对比的百分比值。 由以上公式可以看出,降低阈值增量,可以从降低目标位置亮度Lv,同时增大等效光幕亮度Lav进行。 目前安防领域还未引入统一的测试方法,且Lv和Lav 的取值需要很强的理论计算以及光学设计才能达成,有很高的技术门槛。如果可以将上述公式推广,就可以量化安防领域眩光的评价方法,同时再引导行业形成相关标准,使补光灯的使用完全符合预期的眩光指数要求,这样就可以大大降低高强度补光的使用。 智能补光技术 目前主流的红外爆闪+LED频闪+双光谱融合技术,解决了夜间抓拍眩目的问题,但是图像偏色问题、LED光污染还是十分严重,智能补光技术在白天和夜晚都可以达到清晰不偏色的图像效果,在满足抓拍业务的前提下显著降低了光污染。 传统补光技术 交通卡口LED是夜间光污染的主要来源,高速车辆快速通过抓拍区域, 抓拍一般在20~30 米,LED补光影响较小,但是传统的全向补光技术,光污染区域大,50米以上眩光非常严重,对主车道以及周边车道驾乘人员的安全驾驶影响很大。另外,由于有较大的光能分散,导致补光效率一般。 智能补光技术 通过对感兴趣区域和感兴趣目标实现智能补光控制,针对视频进行弱补光(补光强度范围0~20lux ),针对图片抓拍进行强补光 (补光强度范围50~100lux ),实现夜间去气体爆闪灯(气体爆闪灯补光强度20000lux ),有效降低光污染。另外,还可以通过对灯杯和结构进行创新设计,有效截止杂散光,减少眩光等光污染,并提升补光效率。 方案效果对比 通过智能补光技术,去夜间气体爆闪灯,定向智能补光,有效去杂散光,再结合新型高感光度sensor技术、DNN ISP降噪技术,极大地提升了低照环境下的图片抓拍能力,实现真环保、真彩色、真智能。