技术前沿：苹果VisionPro的pancake方案

技术前沿：苹果VisionPro的pancake方案

五个关键技术，让VisionPro独具一格：

1.R1协处理器：实时浏览体验

VisionPro核心之一是R1协处理器，它可以处理来自12个摄像头、5个传感器和6个麦克风的数据。

R1能够在12毫秒内将图像传输到显示屏，提供几乎无延迟的实时浏览体验。

这也意味着用户可以在虚拟世界中自由行走和互动，一切宛如身临其境。

2.MicroOLED显示屏：极致画质

VisionPro采用MicroOLED显示屏，具有高分辨率、高对比度和高响应速度，带来令人惊叹的视觉体验。

然而，由于制造难度大、良品率低，MicroOLED显示屏也相当昂贵。

但对于追求极致画质的用户来说，这种价格上的付出还是值得的。

3.三片式Pancake光学方案：更清晰的图像

VisionPro采用全新的三片式Pancake光学解决方案，使用三个透镜折射光线，从而降低色差并提高图像分辨率。

与传统的菲涅尔透镜相比，三片式Pancake光学解决方案更加紧凑轻便，也能够提供更清晰的图像。    

4.外部显示屏：连接现实世界

VisionPro的外部显示屏可以显示佩戴者的眼睛，从而更容易与周围的人进行交流。

这个3D显示屏实际上是一个不透明的曲面OLED屏幕，它会显示模拟的眼睛图像。

这种设计让VisionPro更具融入感，佩戴者不会完全与现实世界隔绝。

5.强大的传感器阵列：精准追踪和交互

VisionPro配备了12个摄像头，其中：

2个主摄像头用于捕捉用户前方的图像

4个向下摄像头用于追踪手势操作

2个侧面摄像头用于感知周围环境

4个红外摄像头在LED灯的辅助下追踪用户眼球运动

此外，两个红外光源器还可以在黑暗环境中提高手势追踪的准确性。

这些强大的传感器让VisionPro能够准确理解用户的意图，并提供更加自然的交互体验。    

苹果重大硬件创新：23年苹果MR设备采用双芯片架构，M系列芯片性能显著，硬件体积和重量减小，用户体验提升。

屏幕与交互升级：使用MicroLED屏幕，提升显示效果，实现自然手势和语音识别交互，不依赖手柄，支持眼动追踪和不同瞳距自动调节。

光学技术进步：摒弃传统菲涅尔透镜，采用三透镜的pancake方案，缩小模组体积、减轻重量，扩大视场角。    

HyperVision凭借自身在VR光学领域的经验，分析并预测了VisionPro的部分光学参数，比如Pancake模组的FOV、PPD等等。

苹果在2022年收购了LynxR1头显的光学透镜供应商Limbak，后来Lynx改为投资以色列VR光学方案商HyperVision，计划在未来的VR头显中采用后者开发的大视场角透镜。HyperVision专注研发尺寸轻薄、大视场角VR透镜技术，包括适合VST透视头显的Pancake模组，视场角可达到240°x95°。

透镜结构分析

VisionPro采用定制的三片式透镜，是一种折反射透镜，很可能是Pancake的变种类型。Pancake的优势不用多说，基于折叠光路缩短光学TTL（光学路径），从而减轻光学模组的厚度，间接有利于VR头显减轻厚度。

Pancake通常由一片或多片透镜组成，比如：PICO4采用单片透镜，而QuestPro则基于多片透镜。上图是以2片透镜Pancake为例，其结构包含以下几种组件：2个1/4波片（延迟器）、半反射透镜、反射式偏振器。    

其中，2号1/4波片最为重要，它的作用是将线性偏振光转化为圆偏振光，特点是需要保持平整、不能变形，而这也为Pancake透镜设计带来了限制。因此，市面上常见的Pancake方案至少要有一个平面。

不过，VisionPro光学模组似乎有所不同，它采用3片透镜方案，并且从结构图来看其中2片透镜采用非规则设计，如上图1、2号透镜中，1号透镜顶部薄、中间厚，而2号透镜顶部厚、中间薄。似乎，1、2号透镜具有旋转对称性，这又是怎么一回事呢？    

VR光学透镜公司HyperVision近期对VisionPro的透镜进行了分析，发现：这种非平面的Pancake设计方案此前在Meta的专利中也出现过，设计的关键在于曲面透镜要符合其非球面曲度。

因为平面1/4波片薄膜在非球面透镜中不改变线偏振和圆偏振转换的特性，因此可以做到曲面设计。

FOV分析

据体验过VisionPro人表示，VisionPro的水平FoV大约在100°到110°之间。HyperVision根据建模分析，VisionPro的透镜FOV可能比110°更大，这一点仅供分析参考。

VisionPro光学透镜在靠近人眼的位置为凹面，好处是在实现相对紧凑光学结构的同时，还能提供大视场角。通过分析苹果公开的透镜和MicroOLED屏幕图片，以及大致的尺寸，HyperVision作出以下假设：

IPD默认为65mm，预计有三档可调（根据体验反馈）；    

适眼距（eyerelief）约12毫米以下，面罩具有宽度，但不适合戴眼镜；

左右模组非同一平面，安装存在角度，这里假设为5°（也有可能更大）；

MicroOLED显示面积为27.6×22.8mm（对角线距离为35.8mm/1.41”）。

VisionPro光学模组建模根据上述假设，HyperVision对VisionPro光学系统进行建模，结果发现：

FOV参数可分为两种，一种是周边FOV（人眼直视时的视场角）和旋转FOV（注视点偏离中心的最大旋转视场角）。先来预测旋转FOV：眼球旋转舒适角度在30°左右，强制情况下可达50°，由于眼球旋转时瞳孔位置比正视时更靠近透镜（近约8毫米），通过简单的几何推理，得出周边FOV明显大于旋转FOV。假设水平旋转FOV=42°（鼻侧）+50°（太阳穴侧）=92°，那么水平双目FOV是太阳穴侧视场角的两倍，就是100°。通过建模进行测量，可得出水平周边FOV=50°（鼻侧）+60°（太阳穴侧）=单眼水平FOV110°、双眼水平FOV120°，而立体重叠部分则为2×50°=100°。垂直FOV则为45°（上）+45°（下）=90°。接下来，根据假设的显示器长宽比来粗略验证，单眼水平FOV与垂直FOV的比例为110°/90°≈1.22。

PPD分析

为了估算PPD，HyperVision做出以下假设：1）每个视角相对于显示屏中心的位置遵循线性偏移；2）像素尺寸为7.395μm（基于假设的宽高比、方距和显示屏总像素数量）。根据上述假设，并结合MicroOLED屏幕尺寸（1.41英寸），预测屏幕分辨率约为3732×3083。比较合理的预计是水平分辨率为3840，是标准规格1920的两倍。接着在结合假设的FOV，计算出VisionPro的PPD大约为34，考虑到光学元件可能具有非线性放大倍率，中心甜蜜点的PPD可能有10%左右差异。考虑到实际FOV、分辨率纵横比可能不同，当FOV较低、像素数较高时，实际PPD最高可能达到40。    

HyperVision预计，VisionPro头显采用精心设计的Pancake透镜，因此可以得到很好的边缘清晰度。不过，由于将Pancake透镜与MicroOLED屏幕结合，眼动范围可能受限。相比于非球面透镜、菲涅尔透镜，理论上Pancake具有更大的眼动范围和优化的适眼距，然而MicroOLED像素尺寸非常小（VisionPro屏幕像素估算为7.4μm），而Pancake透镜放大倍率很高，于是没有足够的像素能支撑起大眼动范围，所以此类光学方案依赖于视觉中心与光线中心的对齐。

值得注意的是，体验者的反馈是似VisionPro只有三档IPD调节，不支持连续调节的话可能会降低用户的视觉体验。相比之下，基于大尺寸LCD屏幕的Pancake模组放大倍率在2-3倍，这也有利于实现较大Eyebox的设计。

其具体结构和光路如下图所示：

1，由显示屏发出的光先经过偏光片，变为线偏振光（偏振方向p），此时亮度损失一半；2，经过1/4波片变为圆偏振光，然后经过半透半反膜，亮度第二次损失一半；3，经过第二个1/4波片，圆偏振光又变成了线偏振光（偏振方向s），但是偏振方向和之前垂直；4，s向偏振光被透p反s的反射偏光片反射回去，再次经过1/4波片变为圆偏光；5，进入透镜1，然后被半透半反膜反射回来，形成折叠光路，同时亮度第三次损失一半；    

6，经过1/4波片，形成p向偏振光，此光可以通过反射偏光片，经过透镜2到达人眼。

简单说明一下偏振光：自然光存在传播方向和偏振方向，偏振方向在传播方向的法平面上，无规则取向，经过偏振片后，只剩下一个偏振方向上的光，称为线偏振光。该偏光片可理解为起偏器，作用是将自然光变为偏振光，然后在后端也放置一个偏光片，称为检偏器，此时就只有某个偏振方向的光可以透过。在Pancake光路中，通过改变光的偏振方向，控制光的反射或透过。圆偏振光是偏振方向呈现圆轨迹的偏振光，其与线偏振光可以利用1/4波片相互转换，在Pancake里用来扭转线偏振光的偏振方向。    

根据上述原理说明，Pancake光学对光的损失是比较大的，对于LCD，其自带偏光片，因此其极限光效是25%，对于MicroOLED，其极限光效为12.5%。但MicroOLED亮度要超过LCD两倍，同时由于PPI、响应速度、色域等优势，高端VR的主流选择是Pancake+MicroOLED方案。

Pancake最大的好处是体积小，其原因如上文所述。另一个好处是可以进行屈光度调节，这对广大的近视患者是极其友好的。此外Pancake光学通过透镜组合，可以提高透镜边缘成像质量，降低图像畸变，提高成像对比度、清晰度、细腻度。

除了光损较大之外，Pancake还存在伪影和FOV小的问题。伪影是因为光路会出现双折射从而容易形成伪影，需要通过增加透镜数量、优化光路、优化材料等方式降低双折射现象来改善。FOV小是因为压缩了TTL(TotalTrackLength)，同时一般搭配MicroOLED其屏幕尺寸一般较小（<1.4in），导致成像尺寸即FOV受限。

Pancake方案与行业方案对比    

Pancake方案主要源于其形状薄如“薄饼（pancake）”，通常代指小巧轻便的薄型透镜。方案主要利用偏振光原理，采用折叠光路设计，图像源进入半反半透功能的分束镜之后，光线在镜片、相位延迟片以及反射式偏振膜之间多次折返，最终从反射式偏振膜射出进入人眼。

按照光路设计，VR光学存在垂直光路方案（非球面透镜、菲涅尔透镜）、折叠光路（Pancake方案、液晶偏振全息）、复合光路（多叠自由曲面、异构微透镜阵列）、特定光路（超表面/超透镜）这四类方案。目前菲涅尔透镜是多数VR头显选择的方案，但随着消费级市场的发展，体验更优的Pancake方案正成为头部企业的首选。    

Pancake方案优缺点

Pancake方案采用折叠光路设计，主要优势在于减重和变焦。具体来说，有三大优势：

01舒适度高。Pancake模组厚度相对传统菲涅尔方案减少了一半，相应地，头显重量减轻50%以上，降低了对脸颊和眼眶的压迫，有效提升了使用舒适度，进而提升用户使用时长。

02视觉体验好。通过透镜组合，提高了透镜边缘成像质量，降低图像畸变，提高成像对比度、清晰度和细腻度。传统菲涅尔透镜因为镜片本身镜片问题，边角会出现暗角、模糊和畸变。    

03近视用户可摘掉眼镜佩戴头盔。Pancake方案为组合透镜，可以通过控制其中一片透镜进行屈光度调节，目前普遍支持的调节范围是0°-700°。而传统菲涅尔方案只能通过增加透镜实现。

Pancake方案也不是尽善尽美，主要不足在于：

1、图像失真，包括形状和色彩。光线在透镜中折返，由于光的双折射现象，容易产生失真。双折射现象与透镜材质有关，塑料材质通常有较大双折射。增加透镜或改变透镜形状、改善材质、优化光路等均可以降低双折射现象。

2、对屏幕亮度要求高。受制于光学原理，光每次经过半透半反镜会损失25%，反射偏振膜也会损失10%，总体上，Pancake方案的光学利用率仅10~20%。这也意味着更高的成本和功耗。

3、视场角较小。虽然Pancake方案的视场角理论上限较高，当前量产的方案真实视场角基本处于60~90度之间，低于菲涅尔方案。

4、成本高，是菲涅尔方案的7~8倍。方案中最核心的是光学膜，全球只有3M等少数企业的产品能达到方案要求；同时对贴膜或者镀膜的精度和平滑度要求很高，目前依赖人工贴膜。

随着技术方案的逐步成熟，Pancake的上述不足有望解决。    

Pancake组件和工艺

1、结构

从光路上看，图像源进入半反半透功能的镜片BS（分束镜）之后，光线在镜片、相位延迟片以及反射式偏振膜之间多次折返，最终从反射式偏振膜射出进入人眼。

具体来看，主要部件包括：    

分束镜（BeamSplitter），它能方便的把入射光分离成反射光和透射光两部分。在Pancake方案中，分束镜主要用来做二次反射光线使用。分束镜可以用部分反射膜替代。

偏光片（Polarizer），是一种能让自然光变为偏振光的化合物薄膜。自然光是由无数方向横振动合成的复杂混合光波，偏振光是具有某种规则地变化的广播。线偏振光是指只沿一个固定方向震动的光，圆偏正光是指偏振面相对于传播方向随时间以圆频率w旋转的光。

反射式偏振膜（ReflectivePolarizer），能够选择性的反射偏振光的一种偏光膜。Pancake方案利用了反射偏振膜的选择性反射和投射偏正光的特点，通过1/4相位延时片，改变了偏振光的状态，实现了光第一次到达反射偏振膜时被反射，第二次到达反射偏振膜时投射入眼。

1/4相位延时片（Quarter-WavePlate），通常由塑料薄膜制成，透光性高，在正确的方向时，线偏振光以45度通过则变成圆偏正光、相位延迟1/4波长，同理，圆偏正光通过则变成线偏振光。

此外，Pancake光学模组的入射光必须是圆偏振光，对显示屏有要求。目前Pancake光学模组搭配使用的屏幕分LCD屏和OLED屏。LCD屏发出的为线偏振光，需要在屏幕上增加一块1/4相位延时片将其转化为圆偏正光；OLED屏是自发光原理，其光线是非偏振光，需要在屏幕上增加偏振膜先转化为偏振光、再贴上1/4相位延时片转化为圆偏振光。

针对光路多次折返的损失问题，需要搭配使用亮度更高的Mini-LED/Micro-OLED屏幕。    

2、工艺流程

Pancake生产主要包括光学设计、透镜加工、透镜贴膜、组装、检验和封装六个流程。    

其中最重要的环节是透镜贴膜，特别是曲面贴膜工艺能够扩大视场角，但是工艺难度非常大。一方面，Pancake对光学膜材的要求比较高，仅少数公司产品能达到要求；另一方面，曲面贴膜的边缘很容易出现不平整，因此也使得产品的良率大大降低。因而，成本和良率是限制Pancake方案迅速放量的关键。

   

总得来看，贴膜是Pancake模组中技术和价值都比较高的一个环。其中，反射式偏振膜价值量最高。

pancake光学系统的设计参考

基于pancake技术方案的VR眼镜，其光学模组主要包括依序设置的具有半反半透功能的镜片、1/4相位延迟片以及反射式偏振片。图像源进入半反半透功能的镜片之后，光线在镜片、相位延迟片以及反射式偏振片之间多次折返的方式，最终从反射式偏振片射出。通过此种光学方案，大大的缩小了产品体积。本实例参考专利CN115826223A。设计要求：本实例中，设计一个pancake折叠式光学系统。从人眼观察侧到微型显示器件之间沿光轴方向依次排列的第一透镜组（L1）、第一偏光片组（P1）和第一波片组（P2），第二光学组（A2）包含第二透镜组（L2）和半透半反光学面（P3），第三光学组（A3）包含第三透镜组（L3）、第二波片组（P4）和第二偏光片组（P5），如下图所示：

   

在pancake这样的目视光学系统中，出瞳是人眼，采用逆向追迹。设计流程：先按照设计要求输入系统参数。在孔径类型中选择“EntrancePupilDiameter”，并输入“4.0”。

在波长设定对话框中，选择F.d.C，如下图：

在视场设定对话框中设置5个视场，选择“Angle”，如下图：

根据专利提供的初始结构，LDE如下图：其中，pancake光学系统涉及到了光路折返，实际为同一面的各个参数都设为“Pickup”，反射面设置为“MIRROR”。在pancake光学系统中，通过设置反射式偏光元件可以反射某一偏振方向的光，同时透射与该偏振方向正交的光；通过设置四分之一波片可以改变光的偏振态；通过设置部分反射元件可以实现反射和透射；并且，通过合理分配不同透镜的光焦度，以及合理设置系统焦距，使不同组透镜的有效焦距与光学系统的有效焦距满足一定关系，可以使得系统光路实现折反，有利于缩短光学系统的长度；同时可以利用透镜非球面的像差校正能力，有利于改善系统的成像性能。修改玻璃材料后，LDE如下图所示：查看2DLayout：按照专利中提供的数据，该pancake光学结构的焦距为16.59mm，第一个光学面到微型显示器的长度为18.74mm，我们可以在此基础上做一点简单的优化（包括Hammer优化），提高成像质量。优化后的LDE如下图：    

再次查看2DLayout：

查看点列图：

查看场曲/畸变：