原文链接：
https://www.tandfonline.com/doi/full/10.1080/15980316.2024.2350437
看了篇AR/VR的综述，挑着其中光学系统的部分给大家介绍下该领域流行的技术问题和当前面临的一些问题
AR（增强现实）和VR（虚拟现实）是新兴领域，为用户提供了与他人和数字信息互动的新方式。从显示技术角度看，头戴式显示器（HMD），也称为近眼显示器（NED），是支持许多AR和VR应用的主要设备。
对于理想的VR体验，NED需要提供高分辨率、沉浸式虚拟图像，并且具有覆盖整个人类视野的宽视场（FoV）。
对于AR体验，NED应将虚拟图像与用户面前的实景一同呈现。在AR和VR的NED中，还需要纤薄的外形和宽广的眼盒(eye box:光学上就是出瞳。在AR/VR 用来描述用户眼睛可以自由移动但仍然看到完整图像的空间范围。)以获得舒适的观看体验。
在传统显示领域，包括手机、显示器和电视行业，显示面板上的数字图像直接被用户看到；因此，显示系统的性能完全由显示面板决定。然而，在AR和VR近眼显示器（NEDs）中，显示面板上的数字图像是通过一个光学系统观察的，该光学系统在远离眼睛的地方形成显示面板的虚拟图像。因此，AR和VR NEDs的性能不仅取决于显示面板本身。
VR中，微型显示面板必须具备支持宽视场与高角分辨率（约60像素/度）的分辨率。为补偿偏振式光路折叠VR光学元件的光学效率损耗，其亮度需达到高值（>1K尼特）。AR中，微型显示面板需满足两大要求：既要集成到小型投影模块中，又需具备超高亮度（>一百万尼特），以确保户外使用时图像清晰度，因为有时需要面对AR成像系统的低光学效率结构。
微显示面板是NED的核心组件，其性能直接影响AR/VR系统的亮度、分辨率和形式因子。当下有四种主流微显示技术：
1. LCoS（液晶硅）技术
特点：LCoS是一种成熟技术，需要外部光源和照明光学系统，但亮度可轻松提升至高水准（适用于AR户外使用）。
优势：偏振光输出与衍射型波导耦合器（如表面浮雕光栅或全系光学元件）匹配良好，能提高光学效率；
2. OLEDoS（有机发光二极管硅）技术
特点：作为自发光显示，无需外部光源，有利于系统小型化；近年高分辨率和高ppi（像素密度）进展显著。
局限：当前最大亮度约10,000 nits，不足以支持衍射耦合型AR NED，但适用于光学效率高的组合器（如Birdbath或反射耦合波导）。更适合VR，亮度要求相对较低。
3. micro-LED（微发光二极管）技术
特点：自发光且亮度极高（>1M nit），理想用于VR和AR；但全彩RGB面板仍处于开发阶段。
挑战：单片全彩LED制造工艺存在难题，当前方案需组合单色面板（如使用X-cube），导致系统体积增大和像素对齐困难。
4. LBS（激光束扫描）技术
特点：形式因子小、亮度高；激光窄线宽有利于衍射耦合器实现高光学效率。
问题：扫描光学系统复杂（依赖MEMS微镜），且激光相干性可能引入噪声。
VR NEDs的外形尺寸主要取决于微型显示屏与准直透镜之间的间距。为在距离眼睛一定距离处形成虚拟影像，微型显示屏需置于准直透镜的焦距位置。由于在特定光圈尺寸下无法无限缩短准直透镜的焦距（F数太大设计不出来），当前VR NEDs的厚度至少有几十毫米，与眼镜般的紧凑型设计相去甚远。
薄化思路：
1、微透镜阵列（MLA）：
图片来源论文：Lenslet VR: Thin, Flat and Wide-FOV Virtual Reality Display Using Fresnel Lens and Lenslet Array
原理：显示面板先经MLA形成中间虚拟图像，再通过准直透镜二次成像。
优势：MLA焦距远短于大孔径准直透镜，能显著降低系统厚度。
缺点：整体系统放大率大幅增加，导致角分辨率下降，需更高分辨率显示面板补偿；若使用针孔阵列替代MLA，则可能引发亮度不均匀问题。
2、薄饼透镜（Pancake lenses）：
图片来源论文：Stray light analysis and suppression method ofa pancake virtual reality head-mounted display
原理：基于偏振光路径折叠，光在内部经历双反射，有效压缩面板与光学元件的物理间隙。
优势：近年成为主流，广泛用于商用VR设备（如Meta Quest系列）。
缺点：光学效率低（偏振面板最高输出25%光，非偏振面板仅12.5%），且非理想偏振光学可能导致重影图像。
3、超表面+薄饼形状
图片来源论文Bifacial-metasurface-enabled pancake metalens with polarized space folding
光学组合器是AR系统的核心组件，负责将虚拟图像的光线与真实场景的光线合并
1、衍射型耦合器（如表面浮雕光栅SRG、全息光学元件HOE）：
图片来源论文：Design and fabrication method of holographicwaveguide near-eye display with 2D eye boxexpansion
优势：厚度仅微米级，可实现超薄波导（亚毫米），与偏振光显示面板（如LCoS）兼容性好。
劣势：存在显著波长依赖性，导致光学效率低（尤其宽带光源时）；需堆叠多色波导以实现全彩显示，增加系统复杂性。
应用场景：适用于高亮度需求的AR系统，但需牺牲部分效率。
2、反射型耦合器（如部分镜阵列，也称光光学元件LOE）：
优势：图像质量高，无波长依赖性问题，光学效率更稳定。
劣势：传统设计波导较厚（>2mm），且2D出瞳扩展实现困难。通过改进，有课题组实现厚度降至2mm以下，和2D出瞳扩展，重新受到关注。
衍射型更适合追求极致薄度的AR设备，而反射型在图像保真度和户外适用性上更具优势。
焦点线索支持旨在解决视距调节冲突（vergence- accommodation conflict，VAC）问题。传统立体NED仅通过双目视差提供深度感知，引发VAC，导致视觉不适和疲劳。尤其在交互距离（如手臂长度）的3D图像中更为突出。近年来，多种技术被开发以提供自然的深度感知：
1、Maxwellian显示：
原理：通过限制进入眼瞳的有效光束宽度，实现始终聚焦的图像，无视眼晶状体调节。
进展：近年通过多光束点形成或动态眼瞳跟踪（如机械转向）扩展眼动范围，但眼动范围窄仍是挑战。
图片来源论文：Waveguide-type Maxwellian near-eye display using a pin-mirror holographic optical element array
2、变焦显示（Varifocal display）：
原理：根据用户注视方向动态调整虚拟图像距离，匹配眼睛调节。
案例：META采用机械系统动态移动显示面板轴向位置，实现高效变焦。
3、多焦点显示（Multifocal display）：
原理：同时呈现多个焦平面图像，覆盖不同深度。
创新：使用快速切换扩散器堆栈或电控Split-Lohmann透镜阵列，实现像素级深度控制。
图片来源论文：Split-Lohmann Multifocal Displays
4、光场显示（Light field display）：
原理：通过高刷新率显示面板和转向光学系统，重建光场以提供连续深度。
发展：结合微机电系统（MEMS）镜或DMD（数字微镜设备）实现超多视图（super multi-view）。
图片论文来源：Super multi-view near-eye display with a lightguide combiner
5、全息显示（Holographic display）：
原理：直接重建波前，提供像素级连续深度，被视为终极解决方案。
挑战：相干噪声、空间带宽积（SBP）限制及系统复杂性。
图片论文来源：Diffraction-engineered holography: Beyond the depth representation limit of holographic displays
该技术通过模拟人眼视觉系统的非均匀分辨率特性：人眼仅在中心凹区域（foveal area）具有高分辨率，周边视野分辨率较低。在保证感知图像质量的同时显著降低系统总像素数，从而解决高分辨率和宽视场角（FoV）并存时的硬件负担问题。注视点显示直接调控显示面板的物理像素排布，而非仅通过软件渲染实现分辨率差异。
核心难题：需实现高分辨率区域随用户注视方向动态移动。
传统方案：双显示面板组合：分别处理宽视场角（低分辨率）和中心凹区域（高分辨率）。通过机械结构移动高分辨率显示面板。系统笨重且响应延迟。
近年技术突破
1、电控棱镜阵列：通过电控棱镜实现高分辨率区域的非机械式转向，提升响应速度和集成度。
2、单面板非均匀放大光学系统：在单一面板上结合非均匀放大光学元件，实现静态分辨率分布优化，简化系统结构。
光学透视（OST）是真实场景的光线直接通过光学组合器（如半透半反镜、波导）传输到用户眼中，虚拟图像通过相同或并行的光路叠加。真实场景无延迟、无失真。
挑战：虚拟图像亮度需极高（>一百万nits）才能在户外可见。光学组合器设计复杂，影响设备尺寸。
数字透视（DPT）：通过前置摄像头捕捉真实场景，经处理后在显示面板上与现实图像共同呈现。虚拟图像亮度要求大幅降低，可实现虚实场景的精确对齐和混合现实效果，支持场景增强、信息叠加等高级功能。
挑战：视频采集、处理和显示引入延迟（需<20ms）、摄像头视场角可能小于人眼视场、真实感与沉浸感受图像质量影响。如何保证使用者眼镜的外部可视性，以实现与他人的自然互动。
近期商业化应用突破：
苹果Vision Pro：采用高分辨率摄像头和定制芯片，实现低延迟、高画质的DPT体验。
Meta Quest Pro：通过彩色透视功能支持混合现实应用。
其他改进思路：
延迟优化：通过专用ISP（图像信号处理器）和异步时间扭曲技术，将运动到成像延迟控制在人类不感知范围内。
视觉一致性：深度传感器与RGB摄像头融合，实现更准确的虚实遮挡关系。
图像质量提升：HDR成像、自动曝光优化和畸变校正技术改善透视画面的真实感。
外部显示屏显示用户眼部图像（如苹果Vision Pro的”EyeSight”功能）；前沿研究探索外部光场显示技术，在设备外表面重现用户眼部三维影像。
以下论文均为开源论文
Bang K, Jo Y, Chae M, et al. Lenslet VR: thin, flat and wide-FOV virtual reality display using fresnel lens and lenslet array[J]. IEEE Transactions on Visualization and Computer Graphics, 2021, 27(5): 2545-2554.
Hou Q, Cheng D, Li Y, et al. Stray light analysis and suppression method of a pancake virtual reality head-mounted display[J]. Optics Express, 2022, 30(25): 44918-44932.
Chen C, Ye X, Sun J, et al. Bifacial-metasurface-enabled pancake metalens with polarized space folding[J]. Optica, 2022, 9(12): 1314-1322.
Ni D, Cheng D, Wang Y, et al. Design and fabrication method of holographic waveguide near-eye display with 2D eye box expansion[J]. Optics Express, 2023, 31(7): 11019-11040.
Choi M H, Shin K S, Jang J, et al. Waveguide-type Maxwellian near-eye display using a pin-mirror holographic optical element array[J]. Optics letters, 2022, 47(2): 405-408.
Qin Y, Chen W Y, O’Toole M, et al. Split-lohmann multifocal displays[J]. ACM Transactions on Graphics, 2023, 42(4).
Han W, Han J, Ju Y G, et al. Super multi-view near-eye display with a lightguide combiner[J]. Optics Express, 2022, 30(26): 46383-46403.
Yang D, Seo W, Yu H, et al. Diffraction-engineered holography: Beyond the depth representation limit of holographic displays[J]. Nature Communications, 2022, 13(1): 6012.
免责声明：本文仅用于学术学习与交流，部分内容摘录或改编自公开发表的文献，版权归原作者和出版方所有，强烈推荐读者阅读原文。如有不妥之处，烦请联系删除。
引用论文：
Kang J, Baek G W, Lee J Y, et al. Advances in display technology: augmented reality, virtual reality, quantum dot-based light-emitting diodes, and organic light-emitting diodes[J]. Journal of Information Display, 2024, 25(3): 219-234.
作者：
J Kang, GW Baek, JY Lee, J Kwak, JH Park
标题：
Advances in display technology: augmented reality, virtual reality, quantum dot-based light-emitting diodes, and organic light-emitting diodes
期刊：
Journal of Information Display
DOI：
10.1080/15980316.2024.2350437