服务器的板对板互连高速PCIe通道信号完整性分析

 

随着人工智能模型的发展,对高算力的需求日益增长。高性能服务器采用GPU卡以加速AI应用。
如图1(a)所示,服务器主板上搭载多颗CPU,子板上安装GPU卡以实现高密度集成。CPU与GPU通过PCIe通道进行数据通信。图1(b)和(c)展示了两种板对板互连方式:线缆型或连接器型。不同互连类型会导致PCIe通道的电气特性差异。随着PCIe数据速率提升,由损耗和阻抗不连续性引起的信号完整性问题对通道性能极为敏感。因此,针对高速信号传输,分析不同板对板互连类型对PCIe通道信号完整性的影响至关重要。
接下来针对线缆型与连接器型板对板互连,分析了高速PCIe通道的信号完整性。基于真实服务器尺寸设计全路径PCIe通道的物理长度,并对中介层、封装、PCB走线、连接器、线缆等组件建模。通过对比插入损耗和32 Gbps眼图,发现尽管线缆型通道总长度更长,但因线缆单位损耗低,其信号完整性优于连接器型。
板对板互连高速PCIe通道的设计与建模 
A. 全路径PCIe通道配置与互连长度设计 
图2(a)和(b)分别展示了线缆型与连接器型板对板互连的全路径PCIe通道配置及互连长度。通道包含主板上的CPU封装与PCB走线、板对板互连部分、子板PCB走线、PCIe连接器,以及GPU卡上的PCB走线、封装和中介层。线缆型互连通过两个板对线缆连接器与线缆实现,连接器型互连采用夹层板对板连接器。基于通用高性能服务器物理尺寸设计各组件长度。
相较于连接器型,线缆型减少了PCB走线长度,但因物理结构增加总互连长度。两者主要区别在于PCB走线与线缆的互连部分:线缆因金属厚度大导致导体损耗低、材料特性导致介质损耗小,其单位长度损耗通常低于PCB走线。但线缆型需更多连接器,引发更高阻抗不连续性和结构退化(如残桩效应和串扰)。
B. PCIe通道组件建模 
为分析两类通道,我们对图3和表I所示组件进行建模。中介层、PCB走线、屏蔽双绞线通过ANSYS HFSS三维电磁仿真提取模型,确保阻抗匹配与PCIe兼容性。主板、子板、GPU板走线假设一致以公平比较。连接器采用商业参考模型的S参数模型:板对线缆连接器与板对板连接器分别对应垂直/水平连接器。封装以单位长度RLGC参数建模。
基于组件模型与互连长度,通过级联模型构建图2所示的线缆型与连接器型PCIe通道模型,并包含串扰效应。中介层与封装因长度短忽略串扰,线缆因屏蔽结构串扰较低,故主要建模PCB走线与连接器的串扰。
表I PCB走线模型参数
板对板互连高速PCIe通道分析 
为对比两类通道的信号完整性性能,从频域分析插入损耗,并在32 Gbps(PCIe Gen 5)速率下对比眼图。
插入损耗分析 
图4(a)显示各组件插入损耗。封装、PCB走线、线缆因阻抗匹配良好,损耗随频率线性增加。在奈奎斯特频率16 GHz处,封装、PCB走线、线缆的单位长度损耗分别为1.03 dB/cm、0.32 dB/cm、0.067 dB/cm,差异主要源于材料特性。中介层虽短,但因小尺寸导致导体损耗主导,在16 GHz处损耗达1.24 dB。板对线缆与板对板连接器在16 GHz处损耗较低,但因残桩与阻抗不连续性出现明显谐振谷点。
图4(b)对比两类全路径通道插入损耗。线缆型与连接器型在16 GHz处损耗分别为11.97 dB与14.98 dB。尽管线缆型总长度更长,但因线缆低损耗优势,其损耗低3 dB。但在高频段,线缆型因额外连接器效应导致性能退化。因此,两类通道的主要电气权衡在于损耗与连接器副作用。
眼图性能对比 
在32 Gbps速率下仿真全路径通道眼图,发射机与接收机基于商业参考[7]的集总元件建模,并采用PCIe均衡器(5 dB连续时间线性均衡与1阶判决反馈均衡)。
图5显示,相较于连接器型,线缆型通道眼宽与眼高分别提升6%(1单位间隔)与4.1%(电压摆幅),表明其低损耗带来的增益优势超过连接器副作用。
结论 
上文分析了高性能服务器中板对板互连PCIe通道的信号完整性。设计了线缆型与连接器型通道的物理长度,通过三维电磁仿真与商业参考模型构建组件模型,并从频域及时域分析信号完整性性能。结果表明,在32 Gbps速率下,尽管存在高阻抗不连续性,线缆型PCIe通道因低损耗表现出更优的眼图性能。

发表评论

您的邮箱地址不会被公开。 必填项已用 * 标注