摄像机清晰度的技术原理应用

　　摄像机成像是将自然界中的光信号先转换成数字信号，并在芯片上对采集到的原始数字信号做一系列图像处理，再通过图像编码、传输、解码最终给用户显示的一整套系统。如下图1如示：

图1 摄像机系统流程图

　　由于摄像机系统的复杂性，各个环节相互影响，且最终呈现给用户的图像主观性是比较强的。目前衡量图像质量的几个重要的指标分别是亮度、颜色、清晰度、对比度和噪声等几个方面。对于高清摄像机而言，清晰度的重要性是不言而喻的。本文主要讲述了影响摄像机清晰度的几个重要因素，主要有：光学器件、传感器、图像处理以及图像编码。

　　光学器件对清晰度影响

　　镜头光圈

　　根据凸透镜折射原理，在成像面上会有一个焦点。在摄像机进行拍摄时，调节相机镜头焦点，使距离相机一定距离的景物清晰成像的过程叫做对焦。因为“清晰”并不是一种绝对的概念，所以对焦点前、后一定距离内的景物的成像都可以是清晰的，这个前后范围的总和就叫做景深。

图2 景深的定义

　　一般只有那些像位置恰好在感光器件位置上面的物体可以清晰的成像，而更近和更远的物体在感光器件上面都会形成一个弥散光斑，就是虚化现象。这个弥散斑的增大是逐步的，而感光器件的分辨率也是有限的，因此当弥散斑的大小比较小的时候，我们仍然可以认为它是清晰的。弥散斑直径是由通过镜头的最外面的光线决定的。如果遮挡外围的光线，必然压缩弥散斑的尺寸，这样焦点前后成像的可分辨范围就大。这就是光圈对于景深的作用原理。光圈越大，到达感光器件的光就更多，弥散斑就会更大，景深就小。

　　 镜头焦距

　　对焦点越远，那么其成像越接近镜头，像接近镜头的时候，像之间的距离更小，从而弥散斑也更小，景深也会变大。故焦距最小，对焦点越远，景深越大。

　　 滤光片

　　滤光片是一种光学低通滤波器OLPF。一般由多层石英片组成，表面镀膜。目的是滤除摩尔纹(色斑干扰)以及滤除红外线。除摩尔纹主要是滤除图像中的高频成分，故其对清晰度会有影响。

　　偏振镜

　　光在与传播方向垂直的平面上，可以向任意方向振动。我们一般把光波电场振动方向作为光波振动方向。如果一束光线都在同一方向上振动，就称它们是偏振光，一般自然光在各个方向振动是均匀分布的，是非偏振光。但是，光滑的非金属表面(玻璃、水面等)在一定角度下反射形成的眩光是偏振光，偏振镜主要是用来滤除偏振光的一种光学滤镜，它对清晰度的影响如图3如示：

不加偏振镜效果图

加偏振镜效果图

图3偏振镜对清晰度的影响

　　传感器对清晰度的影响

　　传感感在摄像机系统中是非常重要的部分，它的主要功能是将光信号转换成数字信号，它的性能直接决定了图像质量的好坏。影响清晰度的几个主要方面是：分辨率、靶面大小以及宽动态。

　　 传感器分辨率

　　传感器分辨率越大，图像越清晰，以下分别是300W像素分辨率和600W像素分辨率图片。

　　传感器靶面大小

　　一般同样大小的分辨率传感器，靶面大的传感器在单位面积上像素点少，对图像中的高频成分区分度更高，故拍摄出来的图像也更清晰。

　　宽动态

　　宽动态摄像机在某些宽动态场景下发挥着重要作用，带宽动态功能的sensor能够将暗处和亮处的细节部分都能还原出来，这弥补了线性sensor的不足。宽动态sensor是将多帧曝光进行融合后输出，长曝光帧保留暗处的细节、短曝光帧保留亮处的细节。以下是宽动态开启与关闭对清晰度的影响，如下图4所示：

　　 宽动态关闭效果图 宽动态开启效果图

图4 宽动态sensor对清晰度影响

　　 ISP对清晰度的影响

　　摄像机中的ISP处理模块很多，也是一个非常重要的部分。其算法的优劣直接影响图像质量。其中对清晰度影响的模块主要有：曝光时间、坏点校正、降噪滤波、插值模块、对比度增强模块、边缘增强模块等。

　　 曝光时间

　　图像传感器完成光电转换的过程是一个对时间积分的过程，在一定的时间间隔内光电流通过积累成为电荷，再经过模数转换成数字信号。这个积分时间长度就是曝光时间。倘若这个时间间隔内有运动物体经过，运动矢量发生了变化，在运动物体的周围就会形成拖尾。曝光时间越长，运动矢量越大，拖尾越明显。

　　坏点校正

　　传感器由于生产工艺的限制，在出厂前可能会有一些坏的像素点，在成像时会留下离散的、比较突兀(过暗或者过亮)的像素点。在ISP模块里对其进行校正时在消除坏点的同时，也会把画面中的某些细节当做坏点进行处理，这样就会降低清晰度。

　　 降噪滤波

　　传感器在将光信号量化成数字信号时会引入噪声，尤其是当光线比较弱和传感器增益比较大时噪声更明显。随后在各个ISP处理环节对图像数字信号进行处理时都有可能会引入噪声。降噪滤波在信号处理上是一种低通滤波器，将图像中的高频成分过滤掉，但是在光线比较暗或者增益比较大时，降噪滤波对于噪点和细节之间无法做到完全区分，因此在滤除噪点的同时也会将部分细节抹平从而降低图像清晰度。

　　插值模块

　　我们所看到图像每一个像素点是由RGB三通道颜色组成的。而传感器在感光时生成的raw数据只对每一个像素点产生一种颜色通道信号，插值模块是将raw数据上每一个像素点的单色转换成RGB三色，这样后续就可以在RGB色彩空间进行显示。如图12所示，显然这个模块在ISP模块中是一个非常重要的模块，由于插值模块在对当前像素点的其它两通道像素点进行插值时需要参考周围其它几个通道的像素点值，故在图像的高频部分会影响图像的清晰度。

　　对比度模块

　　由于人眼对亮度信号特别敏感，一张图像中暗处和亮度细节都比较突显的时候，人眼就感觉画面通透，清晰度比较高。对比度增强模块就是将画面中暗处和亮处的灰度值反差拉开，在保留暗处和亮处细节的同时，将图像的边缘部分起到增强清晰度的效果。

　　边缘增强模块

　　该模块增强图像边缘部分细节，它主要是一种补偿轮廓、突出边缘信息以使图像更为清晰的处理方法。锐化的目标实质上是要增强图像中的高频成分。它与降噪滤波是一个相对的处理过程。若图像未做边缘增强时，人眼看上去像边缘部分不够锐利，但是同时该模块如果做的太强会对整体图像引入新的噪声。

　　图像编码对清晰度影响

　　对于高清摄像机而言，分辨率越高图像信息量越大，这样大量的图像信息不利于传输和存储，故需要将处理好的图像信号做编码压缩。由于有信息的压缩，所以图像编码对清晰度也会有损失。当视频中的码流设置的越小，压缩比越高，图像清晰度损失的越多。

在高清摄像机图像效果里面，尤其是在光线比较微弱的低照环境下拍摄时，清晰度和噪点两者就比较难权衡，保留清晰度的同时噪点就会起来，否则噪点抹的太平滑清晰度就不够了。我们可以通过采用更大光圈的镜头，切换滤光片，采用更好的降噪滤波方法来抑制噪点的同时保证清晰度，采用更高的码流或者更好的编码算法来减少清晰度的损失。