在大模型与生成式 AI 快速发展的背景下，AI 算力需求呈指数级增长，GPU 集群作为 AI 训练与推理的核心基础设施，其扩展方式直接决定了算力支撑能力。Scale-up（纵向扩展）与 Scale-Out（横向扩展）是 GPU 集群两种核心的扩展架构，二者在设计理念、技术实现、性能特征及适用场景上存在本质差异，同时又能形成互补，共同构成现代 AI 基础设施的算力扩展体系。本文将从核心定义、技术特征、关键差异、实际应用等维度，全面解析 GPU 集群中 Scale-up 与 Scale-Out 的区别，并结合实际案例说明二者的协同应用模式。
主要内容：
-
1. 核心定义与设计理念 -
1.1. Scale-up（纵向扩展） -
1.2. Scale-Out（横向扩展）
-
-
2. 技术特征与实现方式 -
2.1. Scale-up 的技术特征 -
2.2. Scale-Out 的技术特征
-
-
3. Scale-up 与 Scale-Out 的关键差异 -
4. 典型适用场景 -
4.1. Scale-up 的适用场景 -
4.2. Scale-Out 的适用场景
-
-
5. 实际应用案例：NVIDIA GB200 NVL72 超节点 -
6. Scale-up 与 Scale-Out 的协同发展趋势 -
7. 写在最后
1. 核心定义与设计理念
1.1. Scale-up（纵向扩展）
Scale-up 也被称为垂直扩展，核心是提升单个节点的硬件性能与资源密度，通过为单台服务器 / 机柜增加 GPU 数量、提升 CPU 算力、扩展高速内存、部署专用高速互连总线等方式，突破单个计算节点的算力上限，实现 “物理单节点、逻辑超算力” 的部署效果。
其设计理念围绕极致的单节点性能与超低延迟展开，将大量 GPU 资源高度整合在单一物理单元内，通过专用互连技术实现 GPU 间的直接、高速通信，让整个节点内的 GPU 形成一个统一的算力与内存池，适用于对数据交互延迟要求极高的紧耦合计算任务。典型的技术实现如 NVIDIA 的 NVLink/NVSwitch 互连架构，可实现 GPU 间纳秒级的通信延迟。
1.2. Scale-Out（横向扩展）
Scale-Out 也被称为水平扩展，核心是增加独立计算节点的数量并实现分布式协同，通过将多个标准化的 GPU 服务器 / 节点通过高速网络互连，形成大规模分布式集群，将计算任务拆解为多个子任务，并行分配到不同节点上执行，最终通过网络汇总计算结果。
其设计理念聚焦大规模可扩展性与成本效益，摒弃了对单节点性能的极致追求，转而通过 “积少成多” 的方式实现算力的线性扩展，单个节点可采用标准化、低成本的硬件配置，通过 InfiniBand、以太网 RDMA 等网络技术实现节点间的高效数据交互，适用于可高度并行化的松耦合计算任务。
2. 技术特征与实现方式
2.1. Scale-up 的技术特征
1）硬件资源高度整合：在单个机柜或服务器内集成高密度 GPU，如 NVIDIA GB200 NVL72 超节点可在单柜内集成 72 颗 B200 GPU，搭配 Grace CPU 形成超大规模单节点算力；
2）专用高速互连技术：采用 GPU 间专用直连总线，如 NVLink 5.0，实现 GPU 间的点对点高速通信，单 GPU 可提供 1.8TB/s 的双向带宽，整机构建全互联拓扑，无通信瓶颈；
3）统一内存池：通过互连技术将所有 GPU 的 HBM 和 DDR 内存整合为统一的内存池，如 NVL72 可形成 13.5TB HBM+17TB DDR 的全局内存池，实现 GPU 间的无感知内存访问；
4）物理与热设计严苛：高密度资源集成对散热、供电要求极高，通常采用液冷、定制化供电模块等方案，同时受物理空间与硬件工艺限制，单节点的 GPU 数量存在明确上限。
2.2. Scale-Out 的技术特征
1）节点标准化与分布式部署：单个计算节点为标准化 GPU 服务器（如 8 卡 / 16 卡 GPU 服务器），集群由数十、数百甚至数万个相同节点组成，支持按需增量部署；
2）通用高速网络互连：采用 InfiniBand NDR/800G、以太网 RDMA 等通用网络技术，通过 CLOS 脊叶拓扑实现节点间的互连，纳多德等厂商可提供配套的 800G/400G 光模块、DAC 线缆等互连产品，保障网络传输效率；
3）任务分布式调度：依赖集群管理与调度框架（如 K8s、Slurm），将 AI 训练 / 推理任务拆解为数据并行或流水线并行子任务，分配到不同节点执行，节点间通过网络完成数据同步；
4）线性扩展能力：集群算力随节点数量增加近似线性增长，理论上无扩展上限，可通过增加节点实现从千卡到万卡甚至十万卡级别的集群部署。
3. Scale-up 与 Scale-Out 的关键差异
Scale-up 与 Scale-Out 在网络架构、性能指标、成本、适用场景等维度存在显著差异，二者的核心区别可通过下表清晰呈现：
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
二者的设计哲学也存在本质区别：Scale-up 基于负载 – 存储语义，将 GPU 互连视为内存总线的延伸，实现数据的近实时访问；Scale-Out 基于消息语义，将数据以数据包形式在节点间传输，延迟更高但兼容性更强。
4. 典型适用场景
4.1. Scale-up 的适用场景
Scale-up 凭借超低延迟与统一内存池的优势，适用于对 GPU 间数据交互频率极高、延迟敏感的紧耦合计算任务，典型场景包括：
1）大模型张量并行训练：万亿参数大模型的训练过程中，模型层被拆分到不同 GPU 上，GPU 间需要实时进行特征图、梯度等数据交互，Scale-up 的纳秒级延迟可避免通信瓶颈；
2）专家并行计算：如 MoE（混合专家模型）中，不同专家模块部署在同一节点的 GPU 上，需快速完成专家选择与数据分发；
3）高频率内存共享任务：如实时推理、模型微调等，需要 GPU 间快速访问共享数据，统一内存池可大幅提升效率；
4）超大规模单节点推理：万亿参数大模型的实时推理，需要单节点提供足够的算力与内存，避免跨节点通信带来的延迟飙升。
4.2. Scale-Out 的适用场景
Scale-Out 依托大规模可扩展性与成本效益，适用于可高度拆解、并行执行的松耦合计算任务，典型场景包括：
1）大模型数据并行训练：将训练数据集拆分为多个批次，分配到不同节点的 GPU 上并行训练，节点间仅需定期同步梯度，对通信延迟要求较低；
2）流水线并行计算：将模型的不同层部署在不同节点上，数据按流水线方式在节点间传输，实现模型的分布式推理与训练；
3）超大规模分布式推理：面对高并发的推理请求，将请求分发到集群的不同节点上，实现算力的弹性调度；
4）海量数据处理：如计算机视觉中的海量图片 / 视频标注、训练，数据可分布式存储与处理，充分利用 Scale-Out 的集群容量优势。
5. 实际应用案例：NVIDIA GB200 NVL72 超节点
Scale-up 与 Scale-Out 并非互斥的扩展方式，现代高端 GPU 集群均采用 “Scale-up 单节点 + Scale-Out 分布式” 的混合架构 ，NVIDIA GB200 NVL72 超节点是这一模式的典型代表，完美融合了二者的优势。
1）节点内的 Scale-up 设计：NVL72 在单个机柜内集成 72 颗 B200 GPU，通过 NVLink 5.0 与 NVSwitch 构建全互联拓扑，实现 129.6TB/s 的整柜双向带宽，纳秒级通信延迟，同时形成 13.5TB HBM+17TB DDR 的统一内存池，满足大模型单节点训练的极致性能需求；
2）节点间的 Scale-Out 扩展：每个 NVL72 节点配备 800Gbps RDMA 网卡，通过 InfiniBand 网络实现多个 NVL72 节点的互连，可构建由数百、数千颗 GPU 组成的 SuperPOD 集群，通过数据并行实现大模型的分布式训练；
3）性能与成本平衡：节点内采用铜缆实现 NVLink 互连，相比光模块成本更低、延迟更低；节点间采用 InfiniBand 光互连，兼顾传输距离与带宽，整体架构实现了 “单节点极致性能、集群大规模扩展” 的双重目标。
NVL72 的混合架构证明，Scale-up 是 Scale-Out 的基础，通过 Scale-up 提升单节点的算力密度与通信效率，可大幅降低 Scale-Out 集群的节点数量，减少跨节点通信开销，提升整个集群的算力利用率。
6. Scale-up 与 Scale-Out 的协同发展趋势
随着 AI 模型参数量从千亿级向万亿级、十万亿级跨越，单一的 Scale-up 或 Scale-Out 已无法满足算力需求，二者的深度协同成为 GPU 集群的核心发展趋势：
1）超节点成为 Scale-Out 的基本单元：以 NVL72、国产某厂商某系列～～～（略去，的确有国产厂商，也有具体的型号）等超节点为 Scale-Out 的最小部署单元，每个超节点通过 Scale-up 实现高密度算力整合，再通过 InfiniBand 等网络实现超节点间的 Scale-Out 扩展，形成 “超节点集群” 架构；
2）互连技术的分层优化：单节点内采用 NVLink、Infinity Fabric 等专用高速总线，超节点间采用 800G/1.6T InfiniBand RDMA，跨地域集群采用以太网 RDMA，实现 “层内超低延迟、层间高效扩展”；
3）软硬协同的调度优化：通过集群管理框架实现任务的智能调度，将紧耦合的模型计算任务分配到同一 Scale-up 节点内，将松耦合的数据处理任务分配到 Scale-Out 集群中，最大化发挥二者的优势；
4）国产化互连技术的突破：国内一些厂商已推出适配 InfiniBand 的 800G/400G 光模块、DAC 线缆，甚至有厂商自研 400G 类 InfiniBand RDMA 网卡，实现了 Scale-Out 互连技术的国产化替代，同时超节点架构的研发也在加速推进。
7. 写在最后
Scale-up 与 Scale-Out 是 GPU 集群两种互补的扩展架构，二者的核心差异在于对 “性能” 与 “规模” 的不同优先级选择：Scale-up 追求单节点的极致性能与超低延迟，是解决紧耦合计算任务的核心方案，但受硬件限制存在扩展上限，且成本较高；Scale-Out 追求算力的大规模可扩展性与成本效益，是实现超大规模分布式计算的基础，但跨节点通信延迟较高，管理复杂度大。
在实际的 AI 基础设施部署中，二者并非对立关系，而是形成了 “Scale-up 做深、Scale-Out 做广” 的协同模式：以 Scale-up 构建高性能超节点，作为算力集群的基本单元；以 Scale-Out 实现超节点间的分布式扩展，形成大规模算力集群。这种混合架构既解决了大模型训练的低延迟需求，又满足了算力规模的线性扩展需求，成为当前万亿参数大模型与超大规模 AI 集群的主流部署方式。
未来，随着 GPU 芯片工艺、互连技术与集群调度算法的持续升级，Scale-up 的单节点算力密度将进一步提升，Scale-Out 的跨节点通信延迟将进一步降低，二者的协同将更加紧密，为 AI 技术的持续突破提供坚实的算力支撑。