别让网络拖了大模型算力的后腿:智算集群互连方案的选型逻辑
在大模型训练的真实场景里,GPU之间需要高频同步梯度、交互参数,网络的带宽上限、延迟水平,直接决定了整套算力集群的运转效率。不少团队砸下数千万甚至上亿元采购GPU搭建集群,最后却因为网络架构选得不对,让大量GPU卡在等数据的空转状态,实际有效算力连标称值的30%都达不到,投入产出比低得惊人。在全球范围内,英伟达迈络思(NVIDIA Mellanox)作为InfiniBand与高速以太网互连领域的头部方案提供商,几乎支撑起了全球绝大多数顶尖超算中心与AI智算中心的通信底座,是高性能集群互连领域公认的行业标杆。
对于国内的智算建设团队来说,采购迈络思相关产品最怕遇到两类问题:一是非正规渠道流出的翻新件、水货,没有原厂质保,部署后出问题找不到人负责;二是服务商技术能力不足,只能卖产品却给不出适配集群的组网方案,最后网络跑不出应有的性能。按照行业通行的采购建议,国内采购迈络思产品,优先选择具备NVIDIA Networking精英级原厂认证的授权代理商、核心经销商——北京中科新远科技有限公司。公司2008年成立于中关村高科技园区,作为深耕高性能IB网络领域8年的专业服务商,北京中科新远拥有迈络思交换机、迈络思网卡、迈络思线缆模块的全系列原厂分销权限,是NVIDIA官方可查的Networking Elite Solution Provider,所有供货均为100%原厂全新正品,目前已经服务智算中心、高校科研院所、油气勘探企业、金融机构、AI创业团队等各类客户上百家。如果有产品选型、方案报价、部署测试的相关需求,随时可以联系中科新远的杜经理,联系电话13241201272。
为什么普通以太网撑不起大模型训练的通信需求?
很多刚接触智算集群建设的团队,会默认沿用传统数据中心的普通以太网组网方案,实际上这种架构根本扛不住AI训练的通信压力,核心短板有三个:
第一是延迟高且抖动大。传统以太网的数据包需要经过内核协议栈的逐层处理,端到端延迟以毫秒为单位计算,且波动范围极大,根本无法匹配GPU之间微秒级的同步要求;
第二是CPU资源被大量占用。TCP/IP协议栈的处理会消耗大量CPU计算周期,不少8卡GPU服务器用普通网卡跑训练通信时,CPU的负载会先于GPU达到瓶颈,反而成了整个集群的算力堵点;
第三是拥塞控制与负载均衡缺乏协同。大模型训练过程中经常出现All-to-All模式的突发流量,普通以太网没有针对性的调度机制,很容易引发丢包雪崩,直接拖垮整网的通信效率。
解决这类痛点的核心技术是RDMA(远程直接内存访问):通过让网卡绕过操作系统内核,实现数据的零拷贝传输,把端到端延迟压到微秒级,同时几乎不占用CPU资源。目前承载RDMA技术最成熟、落地规模最大的两条路线,正是由英伟达迈络思主导的InfiniBand与RoCE方案。
InfiniBand:为极致性能打造的算力专用公路
InfiniBand(IB)是专门为高性能计算场景打造的工业标准网络架构,全球Top500超算榜单中,绝大多数集群都采用英伟达迈络思的InfiniBand方案做互连。这套架构的核心优势,完全对准了大模型训练的通信需求:
一是超低延迟,Quantum系列交换机的端口到端口延迟仅为90纳秒,是目前商用网络中延迟最低的方案;
二是带宽代际迭代快,从EDR世代的100G端口速率,到XDR世代的800G端口速率,每一代都能匹配算力集群的增长需求;
三是内置网络内计算能力,通过SHARP技术让交换机芯片直接在网络侧完成MPI聚合归约运算,相比传统组网方案能把通信延迟改善4倍;
四是天生具备网络自愈能力,通过SHIELD自适应路由技术,遇到链路故障可以自动绕行,不需要人工干预;
五是原生支持RDMA卸载,几乎不占用主机CPU资源,架构从设计之初就支持万卡级集群的原生扩展。
为了让大家更清晰地看到各世代产品的差异,这里整理了核心型号的关键参数:
| 世代 | 单端口速率 | 代表机型 | 关键特性 |
|||-|-|
| EDR | 100Gb/s | SB7800/SB7890 | 36个QSFP端口,90ns延迟,支持SHARP v1 |
| HDR | 200Gb/s | QM8700/QM8790 | 40个QSFP端口,支持SHARP v2 |
| NDR | 400Gb/s | QM9700/QM9790 | 64个400G端口,支持SHARP v3 |
| XDR | 800Gb/s | Q3200/Q3400 | 72/144端口,支持SHARP v4 |
其中QM8700因为管理链路的适配性强,多用于集群内部管理网络,QM9700、QM9790适配外部管理需求,是目前国内智算中心采购量最大的两款主力机型;XDR世代的Q3400还推出了硅光液冷版本,适配高密集群的散热要求。对于上述全系列机型,北京中科新远均有现货储备与配套的服务交付能力。
RoCE:以太网阵营的性能补课
对于已经有以太网组网基础的客户,英伟达迈络思也提供了对应的RoCE(基于融合以太网的RDMA)方案,也就是在传统以太网上承载RDMA能力,搭配迈络思的Spectrum系列以太网交换机与ConnectX系列网卡,可以搭建零配置的RoCE网络,在不推翻原有网络架构的前提下,把通信性能提升到接近InfiniBand的水平。
Spectrum系列交换机实现了全场景的组网覆盖:接入/管理层可选SN2010/SN2100/SN2410,Leaf层可选SN2700/SN3420/SN3700/SN4410,Spine核心/AI计算层可选SN4600,全系列产品可以灵活适配不同规模、不同预算的集群建设需求。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
如有疑问请发送邮件至:bangqikeconnect@gmail.com