便携式设计中图像采集与处理的挑战与解决方案

这个共分四部分的系列文章深入研究了在手机和其他手持设备平台上的图像采集与处理的趋势以及设计上的挑战。本部分主要讨论的是使用软件增强光学性能。

晶圆规模的制造技术的发明使得以非常低廉的成本生产及其紧凑的相机模块成为可能。处于物理上的原因，很小的相机模块其性能要劣于大一些的相机模块，但小相机模块产生的缺陷可以通过新式的采用晶圆规模制造的镜头结构来纠正。然而，这只能用来保持现状，无法提升图像质量也无法增强用户的体验。

当前，高分辨率拍照手机的设计师们已经可以仅突出像素数量来向消费者推销其产品。随着拍照手机的广泛应用(已经超过80%的手机安置了至少一个摄像头)，消费者们已经意识到图像的质量和其像素数不存在必然的联系。事实上，从火星车上传回的令人惊叹的图片是通过仅为1M像素的相机拍摄的。同样，专业级相机的设计师们已经很早就知道，为了获取一个更高质量的数码图片，就需要光学和软件的密切配合。

如在本文的第一部分讨论的那样，客户的需求提高了新式拍照手机的图像质量以及一系列嵌入式功能。其中最让人期待的是光学变焦、调焦以及低光学灵敏度，例如没有闪光的拍照。所有这些功能都是实现起来相对简单的，前提是允许增加高度和成本，尤其是变焦的范围。传统的变焦需要两个镜头来在相机内的光轴上做相对运动。这可以通过微型驱动器来完成，但最终的产品会体积大、功耗大、反应速度慢，并且不符合便携式电子设备的恶劣环境下的完整无损，尤其是“跌落试验”。因此，相机模型的设计师们如何能提供所有的消费者所需的功能，提高图片质量，同时不影响产品的外观、可靠性以及最重要的成本?答案就是软件增强光学。

软件增强光学

软件增强光学，或称之为“智能光学”，是一种对已知光学效应进行图像处理的纠正技术。光学效应可以是必须予以纠正的内在缺陷，或有意引入一种能提供某功能或特定效果的人为修正。如果目标仅仅是提高图像的质量，那么可以不用投资购买高质量、高精度的光学设备，可以通过软件就可以纠正由低廉光学镜头仓引来的已知畸变。例如，如果尺寸以及成本受限，就意味着图片的角落总是存在相同程度的模糊不清，软件增强光学可以应用边缘锐化算法来修正这些角落区域。然后，用户就会对这样的图片感到满意，因为这些相机模块内部固有的缺陷可以修正或被掩盖，而呈现出的图片在所有部门都很好。为了进一步高效，这种修正可以完全做到对用户透明，即无需用户干涉。

有了这种软件增强光学的概念，新的机会处处逢生。这些基本的方法是使用专业镜头，在光线进入相机时对这些光线进行操作，按照所需的功能来将这些光线在分布在成像器上。受操作的图片没有直接使用，它需要软件进一步修正。然而，因为图像按照已知的方式被操作，在数字上是可以被恢复的，从而高质量的输出被提出出来。通过这种办法便可实现很多功能，包括无运动部件的全光学变焦、延长景深以及低能见度环境下的小F值光学性能。

用于光学变焦的软件增强光学解决方案利用了这种现象，即在常规光学镜头仓中，信息的密度在视野范围内是不一致的。中心区域包含了更多的数据，而边缘相反。然而一个图像传感器有一个规则的、二维的像素阵列。这意味着取景时，成像器的中心是正常采样，而边缘是过采样。软件增强光学解决方案利用了特定设计的像素镜头，从而提供了视野内非均匀分布的光学感应性能，从而与固态成像器的量化格式相吻合。在效果上，这与自然界所采取的传统方法相反。很多带有单孔径眼睛的动物，尤其是鸟类，有一个标准的“镜头”，但在视网膜上的导管和圆锥细胞是非均匀分布的。在这两种情况中，都会导致图像失真，但都可以得到纠正，因为镜头的设计以及成像器(或者视网膜)的像素分布都是已知的。

为了能以一样的放大倍数查看，算法必须压缩视野中央区域的细节，因为在这个区域中专业镜头增加了放大倍数和分辨率。因此，压缩不会降低图像的质量，而实际上，软件增强镜头解决方案在这样的设计中，可以使得图像质量与传统的相机产生的一样。当图像进行缩放时，图像的边框会出现，而已经放大的中央区域会被保留。随后，图像会被纠正失真。这是与数字变焦最大的不同，因为变焦是镜头运动的结果，并在图像采集时已经固定下来，因此变焦后的图像保留了其原始的较高的分辨率。软件增强光学可以实现3倍的变焦。

图是一个使用软件增强光学来提供变焦功能的例子。在这个方案中，没有可运动的部件，即是物理上的紧凑型、坚固耐用、瞬间可视、耗电量很小的、进而成本很低。这明显好于数字变焦。数字变焦涉及到了图像的修剪和扩展来填补视野，这自然会降低分辨率，因为可用的信息将分散在更大的区域上。在一个3倍的数字变焦中，几乎90%的质量信息会在图像采集时丢失，这也是为什么数字变焦只提供了很小倍数的放大功能。用于变焦的图像增强解决方案可以通过固定镜头和一个简单的算法来实现。这使得这种方案对所有成像器技术以及所有分辨率(从QCIF到>10M像素)都适应，所以预计将在短期内广泛应用于拍照手机中。

图. 使用OptiMLTM变焦软件增强光学解决方案实现的光学变焦(仅显示视野的中央区域)(左图)进行失真纠正前的图像(中图)经过1倍光学变焦放大的失真纠正后的图像(右图)经过2倍光学变焦放大的失真纠正后的图像。来源：Tessera公司

通过拍照手机得到的图片往往是出于“一时兴起”的事情。消费者不希望场景是安排好的，并且将没有时间或感到麻烦来将相机和他们本人置于距目标最合适的地方。借助于这些小型光学器件，一个传统的相机模块只需在一定的距离内聚焦目标，典型的是60厘米到数十米。由于未能了解和遵守这个限制，消费者往往对他们自己成像后的图片无法感到满意。针对这个问题的图像增强解决方案是“扩展景深”。这导致了场景的所有细节将会被定焦，只要这些细节在距相机模块10厘米到无穷远的范围内。类似于软件增强镜头变焦方案，这可以通过专业镜头提供的光学放大和一个简单算法的合并得到。它不涉及任何运动部件，因此是坚固的、可靠的、瞬时的并低功耗的。