生活在信息时代的我们,有一天突然发现:原来中世纪(公元5世纪到15世纪中期)时,人类就开始磨镜片了,现在的光学系统设计理论也有100多年的历史了。不知不觉间,智能手机盛行、视频监控普及、基于机器视觉的无人化装配广泛应用、自动驾驶日趋成熟,成像中最重要的那个镜头,也就是光学系统,将会变成什么样?
电子芯片早就进入摩尔时代,光学系统却依然缺少集成化设计的理论,光学系统设计将何去何从?
镜头作为成像中最重要的光学系统,扮演着汇聚能量、决定视场的角色。镜头的形态有很多种:透射式、反射式、折反混合式;有玻璃的、塑料的,还有金属的。在成像中我们都称之为光学系统,既然是系统,其构成就一定不简单。
先看看最普通的摄影镜头。一般人首先关注镜头的焦距、光圈,然后摸摸口袋,发现银子不足,好的镜头太贵了!我们从专业的角度来看,焦距决定成像的视场,光圈决定景深和通光量,也决定价格,因为我们发现,这种镜头中往往会使用消色差玻璃,甚至有昂贵的萤石。当然,专业的摄影师还会看MTF曲线,那种一直平平的MTF曲线都是拿银子堆起来的,对摄影来讲,虽然性价比很低,但有人喜欢。
摄影镜头通常由几片透镜组成,自动对焦的镜头又加上了电动马达,使得镜头又重又笨。慢慢地,我们发现,更多人喜欢用手机拍照——简单、方便、处理快、美颜效果好,甚至很多半专业的摄影爱好者开始喜欢用手机。这很残酷、很现实、也很悲哀(对那些沉寂的相机而言)。
为何手机摄影这样流行?手机摄影能不能比拟经典的单反相机?光学系统发生的变化有哪些?
手机摄像头是用树脂压制而成,成像质量与玻璃相比存在一定的差距,但手机战胜了数码相机,尤其是消费数码相机,以前流行的口袋机几乎灭绝了。看苹果、华为、小米、OPPO等产品发布会便知,现在的智能手机全部是计算光学成像的。
手机制造商也有烦恼——手机前置“刘海”、后置的“浴霸”,无穷无尽的奢华要求——超越或比拟单反、更长的焦距去拍月亮。我们知道,单反相机与手机比,成像质量胜在“大底”、大像元的探测器和高品质的光学镜头。手机的像元尺寸只有1 μm左右,且树脂压制的光学镜头品质上难敌玻璃镜头。但是,这些丝毫不影响在手机上做计算光学成像,而计算光学成像恰恰是手机摄影胜过单反的原因之一。
目前,几乎所有手机摄像头的CMOS探测器尺寸都在1英寸以下,甚至有1/3英寸规格的,像元尺寸小,噪点严重,光线好的时候拍照效果还好,一旦光线不足,像质就会变差。这时,就需要大尺寸的CMOS芯片,随之而来的问题是:原先潜望式的手机镜头可以将小尺寸CMOS垂直手机面板放置,从而解决长焦距镜头尺寸大的问题;现在1英寸的探测器无法垂直放置,如果与手机平板平行放置,则光学系统无法做小,除非采用可伸缩的方式,但可伸缩方式会带来制造困难和可靠性下降的问题。该怎么办?
潜望式手机镜头
再看超大光学“镜头”——天文望远镜。超高的成像分辨率、庞大的体积、昂贵的成本、太长太长的加工周期以及受外界干扰影响大,这都是它的特点。中科院长春光机所已做出最大口径为4 m的单体反射镜,“为了保证成像质量,光学系统对反射镜的面型精度有着苛刻的要求:优于20 nm。”长光所张学军副所长比喻,“就像对北京市的土地进行平整,要求平整度误差小于1 mm。”可想而知,这个难度有多大!
传统的大口径望远镜在制造成本、加工周期等方面都与口径尺寸成指数关系。我们还可以从另外一个例子来看这个问题,就是著名的James Webb太空望远镜项目,用一个6.5 m口径的拼接可展开望远镜替代哈勃望远镜。项目于1996年启动,当时的预算是5亿美元,计划2007年发射。结果想必大家都知道,这个著名的“鸽王”项目 从1996年开始研发至2021年12月25日发射,历时25年,预算追加到了97亿美元。
那么,我们到底能否制造出50 m甚至100 m、200 m口径的望远镜?传统光学是不是走到了瓶颈?逆流而上,才是科学家的追求!
目前,传统光学系统仍然源于中世纪的玻璃透镜,除了加工精度提升之外,并没有本质的改变,也就是物理基础没有变。所以,我们至今没有办法大幅缩小光学相机、显微镜、望远镜和其他光学设备中使用的镜头的尺寸。
光学系统设计的核心理论是费马原理:光沿着极值光程的路径传播。理想的光学系统能够把光线会聚成一个与物共轭的像。我们知道,透镜材料的折射率是波长的函数,导致产生色差;而实际光线(非近轴光线)会产生球差、慧差、像散、场曲和畸变。其实,这就告诉我们:成像本身是一个非线性的过程。
为了减小像差,可以组合多片不同折射率的透镜,以降低成像视场中不同波长的光波在各个位置的光程误差。然而,这种办法使透镜变得很复杂。
光学系统设计问题在数学上可以这样理解:一个镜子的每个面各自可以用一个解析式和几个参数描述,光学系统设计其实是一个解方程组的过程。当方程组中自变量个数较少时,往往得到比较差的结果,意味着像差比较明显。最好的解决办法是引入更多的自变量,即添加镜片或增加参数个数,再做最优化处理。
最常见的光学系统多为球面的,因为球面镜头在加工和检测工艺方面都很成熟,很容易进行品质控制。但是,球面在数学上函数形式过于简单,在进行像差控制时,往往会增加更多镜片,使得系统过于复杂、重量和体积难以控制。于是,就出现了非球面光学系统设计,一般分为二次非球面和高次非球面两大类。非球面透镜的优势是曲率半径随着中心轴而变化,用以改进光学品质,减少光学元件,降低设计成本。
自由曲面镜头在手机上的应用
再后来,科学家发现自由曲面会给光学系统设计带来更大的设计自由度,能进一步减少光学元件的数量,减小体积和重量,降低成本。此处声明一下:自由曲面当然也属于非球面,但其在加工和检测方面的难度比一般非球面大很多,经常存在能设计、可是无法加工和检测的问题。
我们能够很清晰地看到,无论是球面还是非球面、自由曲面,其实都是在现代光学系统设计的这座大厦上做了非常好的完善,有力地支撑传统光学成像在各行各业的应用。
生活上的贪婪和欲望,也许使人陷入不拔深渊,而在科学研究方面的“贪婪和欲望”,却能促使新技术革命,带来广阔的新天地。
当人们不满足传统光学“大而笨”的现状时,科学家们便拉开了“轻薄”透镜时代的帷幕。“轻薄”光学系统设计主要有两条路线:衍射光学元件(DOE)和超透镜(Metalens),都避不开光的光谱和相干特性。
光学成像与雷达成像两点很大的不同是宽谱和非相干,大多数情况下的光学成像是宽谱的非相干光,而雷达多为相干的窄带电磁波。无论衍射光学元件还是基于微纳光学的超透镜,窄带光谱特性决定了色差是一道很难过的坎。
从衍射光学元件讲起。DOE多用于非成像光学,可以通过DOE进行激光整形,将高斯光束变为平顶光束,也可以产生更为复杂的光分布。DOE具有的平面化、轻薄、轴外像差小等特性,有望实现平面成像系统设计,但由于衍射元件内在的强色差特性,一直以来被认为难以应用于全光谱成像。尽管近年来研究者们实现了消色差衍射元件,但尚未认知到什么样的衍射光学元件光学传递函数最适合计算成像系统,所以,设计的衍射成像系统的性能难以达到最优,算法恢复后的图像仍存在明显鬼影和细节模糊的现象。
2020年,这个问题有了新进展,美国斯坦福大学计算实验室与同济大学的顿雄博士等人首次实现了端到端设计、大口径、多消色差波长的全光谱计算成像用衍射光学元件,并得到了较好的实际成像结果。
再来讲超透镜的发展。超表面(Metasurface)是一种厚度小于波长的超薄人工结构,可实现对电磁波偏振、振幅、相位、传播模式等特性的灵活有效调控,是一种基于超表面的衍射型透镜。自然界里不存在这种超构材料。
2016年,美国哈佛大学Federico Capasso教授经过多年的努力,展示了首个在可见光范围内有效工作的超透镜,覆盖了从红色到蓝色的整个光谱。这是第一个可聚焦整个可见光光谱的透镜,因为它是平面、超薄的,所以一般不会产生色差。但因为超表面也属于衍射型透镜,宽光谱的问题是避免不了的。
时间到了2021年年底,美国普林斯顿大学Heide等人使用人工智能算法设计超表面实现在微纳透镜成像系统的设计,该相机拥有全色(400-700 nm)覆盖、40°宽视场成像,以及F2.0光圈。同时,它是世界上第一个实现高质量、宽视场彩色成像的超表面光学成像器。可以说,是它带来了新的曙光。
普林斯顿大学Heide等设计的微纳透镜及成像结果
我们总结一下超透镜。首先成本是一个主要挑战,其次是在厘米级芯片上精确对准纳米级元件的制造难度很高,超透镜还面临着衍射光学元件的技术挑战,不能像传统透镜那样高效地传输光,这是全彩色成像等应用的一个重要缺陷。超透镜尺寸一般是微米级的,无法捕捉大量光线,透光效率比较低,这就意味着,距离能够生成高质量图像的超透镜还有很长的路要走。
尽管存在不少挑战,但超透镜的发展势头不可小觑,成本和尺寸都是短暂的问题,性能提升、更小尺寸和重量,有可能成为潜在的“游戏规则改变者”。我们也应该看到,这种技术将来很有可能集成在探测器上,使得光学成像系统越来越小,越来越强。
单透镜的成像质量很差,在实际成像应用中几乎到不到单透镜的踪影。尽管研究单透镜成像的人很多,但效果都不好。直到2021年7月,南京理工大学、苏州市立医院、浙江大学、苏州大学和中科院长春光机所的研究人员提出了一种基于智能手机的便携式相衬显微成像方法。通过光学设计和深度学习设计了单透镜物镜的深度学习便携式智能手机显微成像装置。
这里,我们思考一下,为何那么多人研究单透镜成像而效果不显著呢?其实,细想一下,大多数研究单透镜成像的方法还是依赖于点扩散函数(PSF),而PSF是建立在线性模型的基础上的。深度学习则不然,它给出了一个非线性的隐式的模型,只是这个模型是个“黑匣子”。这再次验证了非线性模型才是计算光学成像的根本。
继续开拓思路,看一个极端的例子:一堵墙可不可以像光学镜头一样成像?答案现在很清楚了,可以。典型的是主动照明的非视域成像,最早DARPA支持的REVEAL项目。其实被动模式也是可以的,2018年我们实验室里就做出了被动散射成像的结果,其本质就是获取光场、解译光场的过程。这些都给了我们很多启示:可以利用光场做很多事情,那么,在光学系统里做光场调制,就很容易理解了。
我在2018年就开始考虑光学的SWaP(Size, Weight and Power)成像,先后在中电53所、南开大学等做过多次报告。2019年第三次“计算成像技术与应用”研讨会上,我做了“极简光学成像初探”的报告。这期间,时任西安电子科技大学党委书记、校长的郑晓静院士也提出了“觅音”计划,就是寻找earth mate——我们向往的那个宜居星球,其中最关键的就是要实现200 m以上超大口径的望远镜,当然可以用合成孔径的办法,但依然很难,后续的文章里我会详细论述。
这前前后后我做了很多次报告,与我的学生苏云也讨论了很多。我把这些报告总结出以下几点:
1、传统的点扩散函数描述的线性成像模型已不适用,需要建立计算光学成像的非线性模型;
2、极简光学系统设计实际上是在单透镜(单体反射镜)的基础上,降低光学的精度约束,甚至可以将非理想的镜面作为成像的编码,获取光场信息后通过光场解译的方式重建出高品质的图像;
3、设计计算探测器,一个能够接收多维度物理量光场的探测器。
这其实一直是计算光学的核心内容,就是多物理量光场的非线性分布、获取和解译,光学系统设计的本质其实就是获取我们需要的光场信息。
首先,我们定义一下计算光学系统:一个以信息为传递的光学系统,除了要汇聚能量之外,还要以光场调制的方式保障足够的信息通量,是一个非线性的传递模型。这也意味着调制传递函数(MTF)等此类线性模型已不再适用于计算光学系统,需要建立新的评价体系。
那么,计算光学系统设计与传统光学系统设计二者之间是什么关系?很显然,传统光学系统设计是线性模型,可以认为是计算光学系统设计的降维结果。
前面已经讲过,传统的光学系统设计实际上是在近轴光线传播的基础上建立的,本身就是一种线性近似。这其实很“人性”,因为我们的人眼就是这样的一个系统,所以评价体系也是以人眼视觉为标准制定的,很直接,很好用,但到了信息时代,就像你翻看老照片一样,尽管很珍贵,但图像很不清晰。
同时,我们更应该看到,传统光学系统设计所成的像都是“平”的,因为我们的探测器都是平面的。这对于工业化生产很有帮助,品控和效率都能大幅提高。但“平面”投影对光场而言,是否为最佳光场获取模式,还需要进一步讨论。
我们再看衍射元件和超透镜成像,它们本身就是对光场的调制,是一个非线性的过程,在深度学习出来之前重建的效果都不好,而用了深度学习这个工具,其实就是引入了一个隐性的非线性模型,就能够得到比较满意的结果。
当然,还有新的光学系统还有很多,比如液体透镜、透镜阵列等,这里不做展开。
最后,我总结一下:光学系统作为成像最重要的一部分,承担着光场调制与信息收集的功能,目前正处于一个十字路口,传统的已非常成熟,新的还在路上,未来还有一段很长的路要走,但有一点是明确的,传统的光学系统不会退出历史舞台,因为它太“人性”了,摄影、视觉领域都离不开它。计算光学系统则处于更高维度,以解决线性世界难以克服的问题而生,尽管它很年轻,但具有顽强的生命力和巨大的潜力,它是我们通往高维度世界的桥梁。
在信息大爆炸的现在,以偏振为代表的高维光场的信息投影表征方式,又一次以全新的姿态进入我们的视野。1669年Rasmus Bartholin第一次通过石英晶体偶然发现了“线条魔法(纸上一条线,透过石英看到两条线)”,从此开启了人类认知新维度,3D电影、摄影偏光镜、偏光墨镜等走入了日常生活。而在量子理论为我们打开一扇新的认知世界大门的时候,量子纠缠、轨道角动量、量子测量等依然闪现着偏振的身影。
作为到目前为止唯一没有获得诺贝尔奖的光学特性,偏振几百年如一日的坚持着自己在无论是经典世界还是量子世界的所扮演的重要角色。
邵晓鹏,教授,博士生导师,西安电子科技大学光电工程学院院长。
西安市计算成像重点实验室主任,西安电子科技大学杭州研究院先进光电成像与器件实验室主任,西安电子科技大学光学工程学科带头人。
陕西省创新人才推进计划中青年科技创新领军人才,陕西省新体制光电成像与感知科技创新团队带头人,中国光学工程学会常务理事,中国光学学会理事,陕西省光学学会副理事长,西安市激光红外学会副理事长,中国宇航学会光电委员会常务委员,中国兵器光电子专业委员会委员,华为媒体技术实验室技术咨询委员会委员,美国光学学会(OPTICA)会员,国际光学工程学会(SPIE)会员。
国防工业光电信息控制和安全技术重点实验室学术委员会委员、中科院航空光学成像与测量重点实验室学术委员会委员、中科院光谱成像技术重点实验室学术委员会委员、中科院空间精密测量技术重点实验室学术委员会委员、中国红外探测器技术航空科技重点实验室学术委员会委员、陕西省先进光学技术国际联合研究中心学术委员会委员、陕西省光信息技术重点实验室学术委员会委员;Ultrafast Science副主编,《激光与光电子学进展》《光学 精密工程》《光子学报》《应用光学》《光电技术应用》《数据采集》《西安电子科技大学学报》《西安邮电大学学报》等期刊编委。
作为国内最早开展计算成像研究的人员之一,在新体制光电成像与感知领域攻坚前沿基础研究并促进技术工程应用,率先在国内开展散射成像研究。发表论文100余篇、发明专利80余项,获省部级奖励5项,主持国家自然科学基金、JKW前沿创新、863专项、GF预研基金、GF重点实验室基金等项目60余项,年经费保持在1000万元以上,获JD科技进步奖、GF科学技术进步奖、航天科技进步奖、信息产业部科学技术进步奖等多项重要奖项,入选全球前2%顶尖科学家榜单。倡导举办4届全国“计算成像技术与应用”专题研讨会,提高了计算成像在光学领域的影响力。带领团队成员研制了广域相机、高性能低成本小型化红外导引头、偏振相机、激光陀螺仪光损耗测试仪、辐射计量辐射光源稳定功率系统等,成果和样机用于国内多家科研院所,促进了新体制成像技术的装备应用。
席特立,西安电子科技大学菁英副教授,西安电子科技大学计算成像研究所副主任。
主要从事透过随机散射介质成像、新型计算光学系统设计以及定量相位测量技术研究,近年来主持或参与了包括国家自然科学基金、JKW预研基金、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letter、Optics Express、Applied Optics等国内外重要学术期刊共发表SCI论文20余篇,并多次在国际及国内学术会议上做口头报告。曾获2020年陕西省科技工作者创新创意大赛三等奖(第五获奖者)等奖项。
苏云,航天五院508所研究员,某载荷主任设计师,西安电子科技大学光电工程学院在读博士生。
获省部级奖项2项,发表研究领域文章30余篇,专利80余项。长期从事航天光学遥感技术、光学系统设计、计算光学成像基础理论与方法研究工作。在航天光学遥感方面,主持863项目,国内首次完成某型地球静止轨道光学遥感器概念研究。作为重要参与人员在国内首次开展了某低轨道相机基础理论与方法研究;在光学系统设计方面,完成多型航天/航空光学载荷系统设计,完成光学系统的功能设计与光学系统实现、光学投产、集成与评估工作。部分设计已经在轨完成验证;在计算成像方面,承担了北京市科委、CAST重点基金等多个项目,攻克了压缩感知计算光谱成像技术、衍射光谱光场计算成像技术等理论与方法研究等。当前正在利用计算成像方法挑战将低精度光学镜面应用于航天光学成像的难题。
魏士杰,博士研究生,就读于西安电子科技大学光电工程学院。
主要从事于新体制的光学计算成像研究,计算光学系统设计研究,基于深度学习的成像研究等;参与国家自然科学基金面上项目,国家863计划、科技委创新基金等多项科研项目。担任西安电子科技大学Optica学生分会主席;参与2021国家颠覆性技术创新大赛获得优秀项目。