50周年刊庆专辑:基于波前编码的无热化红外成像技术综述(特邀)

撰稿人:史泽林,冯斌

单位:中国科学院沈阳自动化研究所

引用格式

 

史泽林, 冯斌, 冯萍. 基于波前编码的无热化红外成像技术综述(特邀)[J]. 红外与激光工程, 2022, 51(1): 20210454. doi: 10.3788/IRLA20210454

导读

 

波前编码红外成像技术是一种结合光学编码和数字解码两步成像的计算光学成像技术。波前编码无热化红外成像系统通过在红外光学系统的光阑附近增加特殊面形的光学相位板,对场景红外辐射进行编码调制,使得在宽的环境温度范围内红外焦平面探测器输出的中间编码图像具有高度一致性,再对中间编码图像进行数字解码得到清晰红外图像。近年来,国内外学者开展了大量波前编码无热化红外成像技术的理论分析和原理验证,表明其无热化特性的有效性。作者结合近年来在波前编码红外成像技术方面的研究工作,介绍波前编码无热化红外成像技术的研究背景、近年取得的研究成果、并展望了波前编码红外成像技术的应用价值和发展趋势。
 

图1 波前编码红外成像的链路图
研究背景

 

红外成像技术广泛地应用于安防监视、太空探索、工业检测等领域。红外成像系统主要由红外光学系统和红外探测器组成,其中红外光学材料的折射率和温度变化系数对环境温度敏感。环境温度变化引起红外光学系统的光学元件发生几何形变和折射率变化以及光学元件之间的间隔产生变化,结果导致光线在红外光学系统中的光路发生改变,光线汇聚的像面与探测器的焦平面产生轴向位置偏差,发生所谓的“热离焦”现象。热离焦造成红外成像系统输出图像模糊,进而导致红外成像系统无法正常工作。要保证红外成像系统在较宽的温度范围内正常工作,就必须消除环境温度变化对红外光学系统的影响,进行红外成像系统的无热化设计,提高红外成像系统对环境温度的适应性。

目前常见的无热化技术主要有:机电主动式、机械被动式、光学被动式、折衍混合式、数字重聚焦法、波前编码成像技术六类。

第一类,机电主动式。该技术通过温度传感器获得像面的漂移量,通过电机带动探测器移动,补偿由于温度变化引起的热离焦。

第二类,机械被动式。该技术利用具有高膨胀率的固体材料、塑性材料、液体、记忆合金材料等,使透镜组在温度变化下发生轴向位置的移动,从而被动地补偿温度变化导致的热离焦,保证像面位置不变。

第三类,光学被动式。该技术通过光学元件的结构和材料的恰当组合来保持在温变条件下最佳像面位置固定。

第四类,折衍混合式。该技术利用衍射元件具有独特的热差系数和负色差系数的互补特性,将衍射元件与折射元件相配合构建出系统。

第五类,数学重聚焦法。该技术将热离焦图像复原的过程看作是在红外光学系统中增加一片虚拟的数字聚焦镜,从而实现红外成像系统的重聚焦。

第六类,波前编码成像技术。该技术是一种将光学编码与数字解码相结合的计算光学成像技术。如图1,它通过在传统光学系统出瞳或孔径光阑处加入一个光学相位板,使光学系统具有对像面离焦不敏感的特性,在一个比较大的热离焦范围内得到的中间编码图像几乎与像面位置无关。为了得到清晰的图像输出,数学解码处理单元使用数字图像复原技术对模糊的中间编码图像进行数字解码复原,去除光学相位板对光学系统成像的编码模糊。因此,波前编码红外成像系统能够在很大的离焦范围内输出较清晰的红外解码图像,消除因环境温度变化引起的热离焦,实现无热化处理的目的。

综上所述,前四类技术属于传统的无热化技术,侧重于光机结构设计的技术手段;第五类数学重聚焦法,对红外光学系统不作约束,侧重于仅采用数字信息处理技术。波前编码无热化红外成像技术综合了新型光学器件和信息处理两种技术手段进行无热化设计,在光学(光学编码)和电学(数字解码)两个空间寻找最优解,从而取得良好的红外成像系统无热化效果。

主要内容

 

项目组长期从事波前编码红外成像的理论与方法研究,并研制了多套波前编码红外成像系统样机。

2016年,项目组研制了一套硒化锌(ZnSe)红外材料为光学相位板的波前编码红外成像系统(见图2),其光学编码采用ZnSe材料的三次相位板(见图3)、工作温度范围为–40℃~+60℃、工作波长为8~12 µm、焦距f=65 mm、F数为1.0、视场范围为6°×8°、320×240面阵的非制冷红外探测器,并开展了无热化验证实验(见图4)。相关研究成果在国际期刊(Applied Optics, 2016, 55(21): 5715-5720)报道。

 

图2 ZnSe相位板的波前编码红外成像系统样机

 

图3 ZnSe相位板的未镀膜(左)和镀膜后(右)

 

图4 ZnSe相位板波前编码红外成像系统样机的无热化实验结果

2017年,项目组研制了一套无热化温度范围为 110℃ 的波前编码红外成像系统(见图5左),其光学编码采用锗(Ge)材料的三次相位板(见图5右),其工作温度范围为–40℃~+70℃、焦距f=65 mm、F数为1.0、视场范围为6°×8°;探测器为320×240面阵的非制冷红外探测器,像元尺寸为38 µm、工作波段为8~12 µm;图6为常温的两组解码图像效果,图7为用于无热化验证的高低温实验装置,图8为对靶标的实验结果。图9为对外景的实验结果。相关研究成果在国际期刊(Infrared Physics & Technology, 2017, 85, 157-162;Journal of Optics, 2016, 18: 075703)报道。

 

 

图5 波前编码长波红外成像系统样机及GE材料光学相位板

 

(a) 第1组实验。中间编码图像(左)和解码图像(右)

(b) 第2组实验。中间编码图像(左)和解码图像(右)

图6 波前编码红外成像系统样机在常温条件下的两组实验

项目组利用上述锗材料相位板的波前编码红外成像系统样机开展了与普通红外成像系统的对比实验,结果表明所研制的波前编码无热化红外成像系统与普通红外成像系统相比,具有三个优点:

(1) 在110°C的宽温度范围内工作良好;

(2) 成像系统的焦深扩展了15.2倍;

(3) 解码图像与聚焦清晰红外图像的平均结构相似性(MSSIM)指标值高于0.85。

 

图7 用于红外成像系统样机无热化验证的实验装置

 

图8 无热化验证的靶标实验结果

 

图9 波前编码红外成像系统样机(含锗材料相位板)的无热化实验结果

2017年,项目组研制两透镜的宽视场波前编码红外成像系统(见图10)。光学相位板为双面型(前面为非球面,后面为三次面型,见图11),材料为Ge。其工作视场范围为全视场为25°,工作温度范围为–20℃~+70℃;其探测器为 640×512 面阵的非制冷红外探测器、像元尺寸大小为 17 µm、工作波段为 8~13.5 µm。图12为开展视场测试实验的现场,图13为无热化验证实验结果。相关研究成果在国际期刊(Infrared Physics & Technology , 2017, 87: 11-21)报道。

 

图10 宽视场波前编码红外成像系统样机。左:实物图;右:光机模型图

 

图11 双面型相位板的非球面(左)和三次面(右)

 

图12 宽视场波前编码红外成像系统样机的视场测试实验装置

 

图13 两透镜宽视场波前编码红外成像系统样机的无热化实验结果

 

2020年,项目组从理论上分析了波前编码红外成像系统中光学点扩散函数(PSF)数字化偏离对解码图像质量的影响机理,并以平均结构相似性(MSSIM)指标进行了定量评价,同时给出实测波前编码PSF图像的实验装置(见图14)和方法。图15是实测PSF图像举例。图16是利用实测PSF图像进行的两组解码图像效果,表明实测PSF的有效性。相关研究成果在国际期刊(Journal of Optics, 2020, 22: 025703)报道。

 

图14 实测PSF图像的原理示意图(上)和实验装置(下)

 

图15 举例说明处理原始PSF图像的流程。(a)原始PSF图像;(b)非均匀校正后的PSF图像;(c)修正后的PSF图像

 

(a) 第1组实验。中间编码图像(左)和解码图像(右)

(b) 第2组实验。中间编码图像(左)和解码图像(右)

图16 实测PSF图像用于对户外场景的中间编码图像进行解码处理

结论与展望

 

综上所述,目前国内外对波前编码红外成像技术的研究主要集中在利用波前编码成像技术扩大景深,提高红外成像系统的温度适应范围,降低红外光学系统的像差,以及减少整个红外光学系统的体积、重量和成本,侧重于对基本原理的仿真和实验验证。

 

现阶段,波前编码红外成像技术存在如下有待于解决的难题

(1) 现有波前编码成像技术难以应用于变焦红外光学系统的无热化设计,是个有待于解决的难题。波前编码红外成像系统设计过程中,需要考虑普通红外光学系统和无热化温度范围等参数;红外光学系统的连续变焦,将增加光学相位板参数的设计难度,同时红外光学系统的连续变焦将导致光学PSF连续变化,增加在数字解码设计中保持数字解码核与光学编码器“匹配”的难度。连续变焦对光学相位板和数字解码器的设计均提出了挑战。

(2) 波前编码成像质量评价是技术应用所面临的一个基础问题。在波前编码红外成像系统中,光学编码与数字解码在信息空间中的“不匹配”问题引起解码图像存在“伪像”,降低了对场景细节的分辨能力,对波前编码红外成像技术后续应用产生不同程度的影响。因此,结合具体应用为导向的解码图像质量评价是个有待于解决的难题。

 

未来波前编码红外成像技术有望在航天领域获得应用

(1) 波前编码成像技术用于空间红外相机的无热化、轻小型化。

对于大口径、长焦距的红外光学系统,其离焦量对温度变化更为敏感,波前编码对其体积、重量和成本的改善更为明显。现有的波前编码红外成像系统主要采用透射式结构,对于大口径、长焦距、折反式的红外成像系统,波前编码技术用于减小体积和质量、降低成本,同样值得深入研究。

(2) 波前编码成像技术有望用于红外导引头反激光对抗干扰。

强激光会损伤探测器靶面,引起致眩、致盲,光学编码器可以将光斑散开,大大削弱能量汇聚,起到保护作用。

 

未来波前编码红外成像技术的新工艺、新方法、新技术同样值得深入探索研究 

(1) 光学编码元件的压膜制作工艺值得探索研究。光学相位板的制作工艺采用单点金刚石车削工艺来完成,成本下降有限,随着国内红外镜头采用压膜工艺的普及,结合后端数字解码环节的加工误差补偿方法,采用压膜工艺制作波前编码红外光学系统的光学相位板值得深入研究。

(2) 将深度学习引入至波前编码红外成像技术值得探索研究。现有的波前编码红外成像系统的数字解码处理通常采用模型法,普遍存在伪像严重和噪声放大的缺陷,深度神经网络具有良好的非线性映射拟合能力,在解码环节上进行基于深度学习的数字解码处理,有望获得更好的解码图像效果。

(3) 波前编码超分辨红外成像技术值得探索研究。国际上对利用波前编码技术提高可见光相机已有报道,但对提高红外相机的成像分辨率尚未公开报道,探索研究利用波前编码提高红外相机成像分辨率的新机理、新方法和新技术,具有理论和应用价值。未来将波前编码无热化红外成像系统拓展为同时具有超分辨成像的波前编码红外成像系统,同样是一个具有前瞻性的研究方向。

作者介绍

第一作者

史泽林

 

史泽林,博士,中国科学院沈阳自动化所研究员,中国科学院光电信息处理重点实验室主任,中国科技大学、中科院大学博士生导师。长期从事光电信息技术研究,曾任973计划项目首席科学家。成果获2008、2017年度国家技术发明二等奖2项,2010年度国家科技进步二等奖1项,率领团队获2016年度中国科学院杰出科技成就奖1项。授权发明专利50多件,发表学术论文260多篇。

通讯作者

冯  斌

 

冯斌,博士,西北工业大学自动化学院副研究员。2011年在中国科学院沈阳自动化研究所博士生提前留所工作,2012年博士毕业于中国科学院大学,2018年调入西北工业大学自动化学院,2021年中国科学院博士后出站。主要从事:波前编码红外成像、红外测温、偏振成像、目标检测、深度学习应用等研究工作。主持国家973项目子专题、创新特区项目子课题、陕西省重点研发计划项目、航天科学技术基金项目等10余项,负责研制多套新体制光电成像系统;发表高水平学术论文20余篇;担任国家自然科学基金函评专家,国内《应用光学》期刊编委,《中国激光》、《光学学报》期刊审稿人,并荣获中国激光杂志社2017年与2019年度优秀审稿人;国际期刊Optics Letters、Journal of Optics、Applied Optics审稿人。

Email: fengbin@nwpu.edu.cn

作者

冯  萍

 

冯萍,西北工业大学自动化学院硕士研究生,自2020年开始从事波前编码红外成像技术研究,参与航天科学技术基金、中国科学院重点实验室开放基金、西北工业大学新冠肺炎疫情防控科研攻关应急项目等。

End

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注