很多光学工程师在设计镜头时会用到成像模拟(Image Simulation)功能来查看镜头拍照的“实际效果”,本文的第一部分就来拆解一下成像模拟功能究竟是怎么一回事。
在知名光学软件Zemax中,用成像模拟功能,可以输入一张图片,输出这张图片被当前镜头成像后所得到的样子。
这个功能主要进行了三步计算:
1、 计算畸变,把原图按照畸变曲线扭曲。这也是在上图中最明显的一个改变。
2、 计算相对照度,添加边缘相对于中心的明暗变化。如果存在暗角等情况,就可以直观看到了。
3、 计算像差,模拟由于镜头像差带来的模糊化。
这三步里面,前两步相对直观,比较容易理解(本号之前解析过畸变和相对照度,如果有需求请自行翻阅)。第三步是相对而言最有技术纵深的,这边稍微展开一下。
首先,计算镜头像差带来的影响,其根本算法就是用PSF和原图做卷积——就是算出原图的一个点在像面上散成怎样的一片,然后把这个影响加进去就是了(如果不熟悉卷积,自行补课)。
在Zemax里有如下这些设置项:
Geometric意味着用点列(Spot Diagram)作为PSF,Diffraction则意味着使用FFT PSF。如果镜头画质一般,远未达到衍射极限,那么使用几何点列是一种省算力也不影响计算精度的方式;如果镜头画质很好,达到或者接近衍射极限,那么必须使用衍射算法的PSF才能正确仿真成像质量。当然我们也可以自己想办法用更加精准的算法获取PSF,比如使用Huygens PSF算法等,只是算起来很慢,Zemax没有提供了。
PSF-X Points和PSF-Y Points是说在整个画幅中,采样多少个格点的PSF,用以计算。对于格点之间没有被采样到的位置,Zemax的做法是——插值。
然而这里有一个问题:对PSF的插值合理吗?答案是,看情况吧,总的而言,不咋合理。如果是上图这种defocus占主导的情况,那么插值是OK的,但如果像质稍微好一点,在一个轴上球差主导的PSF和一个轴外慧差主导的PSF之间插值,能插出个鬼来?用专业一点的话说,就是PSF随视场的变化不是线性的,甚至一般不存在微分的线性区间,也不是简单的多次函数可以描述的。
那怎么办?采样很密的PSF格点,力大砖飞,避免PSF插值不准的问题,当然是一个办法。
有没有更巧妙的办法?也是有的。对PSF插值不准,但可以对波前插值呀。波前可以通过Zernike分解,每一个Zernike项目对于视场而言就是简单的多项式了。这个时候的插值,就有了明确的方案与物理依据了。
再说一点题外话吧,上文的成像模拟图片,是Zemax软件自带的demo图,这张图是一个糟糕的选择。因为这张照片里面人和建筑是带着很大的景深差异的,实际场景的大景深被摄像拍到一张2D没有景深的照片上,再被成像模拟仿真了一遍。成像模拟是不考虑景深的,只能根据镜头数据的设置针对某一个对焦点来进行,所以选用有景深的照片就是一件很迷惑的事情。换句话说,无法对实际场景的景深进行仿真也是当前光学软件的一个限制因素。
那如果我就是想要搞定实际场景带景深的仿真怎么办?尤其是想把焦外散景(bokeh)给仿清楚怎么办?
办法嘛,也是有的。可以就用CAD的建模思路,把需拍摄的场景的实体模型、散射函数、光源的模型原原本本建立出来,通过追踪海量光线,获取拍照的场景,这其实就和游戏引擎里的ray tracing是一回事了。由于计算量太大太大了,能给到float精度就不错了,不太可能用double,且多少需要一些近似、平滑处理,且必然只存在几何光线追迹,不会有衍射PSF什么事情,一般而言只是用以渲染视觉效果,不具备光学仿真精度。更糟糕的是,软件做了一堆后台近似而不明确告诉用户。
对于真实场景成像仿真有没有折衷一点的方案,既考虑景深,也考虑计算精度,还考虑到速度?我觉得,比较合理的方案是如下这样的:
-
使用CAD类的建模方式,但只提供2-3个景深,即被摄物在一个“合焦”景深区域、前景、后景,最多只允许3个。每个景深区域内的物体深度不能太大。
-
合焦景深区内的被摄物,其FFT PSF使用波前Zernike分解插值与外推获取(景深区域内的小离焦可以很轻松添加Z4离焦项解析获取)。
-
前景与后景一般不提供复杂建模,只提供强点光源,主要用以模拟bokeh。
所以,总结一下,成像模拟这个功能,现阶段的各种方案都做不到完备,甚至尚且谈不到什么精度。成像模拟主要是用来出个图放在ppt里作报告的,而不是工程师所用的严肃的分析工具。
讲到这里,成像模拟应该是清楚了,那计算光学(计算成像)呢?其实了解了成像模拟就理解了一半的计算光学。计算光学其实就是成像模拟的逆过程——把实际拍到的变糊、畸变、暗角的图片通过算法恢复过来!
计算光学的概念可以说是被华为P50以一己之力带出来的(遥遥领先!!!)。其实在那之前的很多年,广义的计算光学所有厂家都在做。HDR算不算计算光学?广义也算吧。但更难一点无疑是如果把模糊的图像复原,也就是把PSF的卷积效应去掉,就是去卷积。我相信华为P50是首个把去卷积算法重点攻关引入手机摄影的(只是我的个人猜测,我没有消息来源说P50以及其它手机厂的技术路径,假使有,那便是保密信息不能说了。或许苹果早就做了,却没有宣传?不清楚,只能猜)。
其实在显微成像领域(生物狗DNA动了),PSF去卷积是一个早就被广泛采用的标准做法了。
那为什么这一技术在近些年才进入了手机领域呢?我认为其主要原因是,手机镜头的PSF怎么求准的问题。每个镜头都会有公差,公差后的PSF可以是千奇百怪的,如果拿不到准确的PSF,那么去卷积的操作不会有任何帮助反而会使得图像一塌糊涂。在消费电子品领域,由于成本约束,没有办法把每一颗镜头的PSF数据完整准确地都测出来,只能结合制程收紧、部分实测、仿真等手段,把PSF中不论公差如何变化都共有的那一部分提取出来,把部分的PSF的效应通过去卷积操作处理掉。相反,在高端的显微成像领域,显微镜做到接近衍射极限是常规操作,于是先验地就有了准确的PSF;另外显微成像里往往有单个的荧光分子发光(点光源),它在像面上的分布直接就是PSF,所以在显微成像的过程中,相当于一直在实测获取PSF,那么做起去卷积来,岂不是得天独厚!
当然后来显微成像领域我们又有了进一步的超分辨成像手段,这个以后再聊。
(全文完)