十年前，伺服器产业谈论rack-scale，核心并不是把更多机器塞进机柜，而是改变资源的管理单位。传统伺服器把处理器、记忆体、储存、网络和电源封装成一台完整设备，企业按「台」采购，故障时也按「台」维修。云端数据中心兴起后，这种模式暴露出利用率低、扩容缓慢和供应商绑定等问题。英特尔当年的内容式机架设计（Rack Scale Design）因此提出把运算、储存及加速器拆分成可组合的资源池，再由软件按工作负载动态配置。机架开始由安装设备的铁柜，变成一套可被调度的系统。
这个转变与Open Compute Project推动的开放机架、共用电源及模组化设计互相呼应。对大型云服务商而言，伺服器不再需要每台都有独立而完整的外壳、电源和管理逻辑；只要整个机架能快速部署、替换及扩充，便可降低总持有成本。rack-scale的第一个十年，解决的主要是标准化、资源利用率和营运效率问题。
AI令机架成为一部超级电脑
生成式AI出现后，问题突然由「如何共享资源」变成「如何让大量GPU像单一处理器般协同工作」。大型模型训练及推理需要高频宽记忆体、GPU互连和低延迟网络，任何一个节点等待数据，都会拖低整个集群效率。NVIDIA GB200 NVL72把36枚Grace CPU及72枚Blackwell GPU整合于液冷机架，透过NVLink形成72 GPU运算域，总互连频宽达每秒130TB。相较上一代主要以八枚GPU为高速互连单元，设计逻辑已从「多台伺服器组成集群」，转向「整个机架就是伺服器」。
性能密度上升，也把散热推向物理极限。GB200 NVL72的机架用电需求约120kW，已远超传统企业数据中心的低密度机架。空气的带热能力有限，单靠提高风扇转速，不但耗电、产生噪音，还会占用机箱空间，甚至迫使晶片降频。液体的热容量及导热能力较高，直接液冷遂由高性能运算市场的特殊方案，变成AI伺服器的基础设计。NVIDIA的MGX技术资料显示，冷板、歧管及快速接头已被纳入机架级平台，而非留待数据中心营运商事后加装。
所谓direct-to-chip liquid cooling，是以冷板接触CPU、GPU等主要热源，冷却液经机架内歧管流向冷却液分配装置，再把热量带到设施水循环；记忆体、电源及其他低热元件则可保留气冷。这种混合架构既提高热捕捉效率，也减少机房空调负担。Dell现有直接液冷机架方案已涵盖40至80kW以上，其新一代冷却液分配装置更可处理超过220kW热负荷，反映散热能力正跟随晶片功耗快速上调。
然而，液冷并非把风扇换成水管那么简单。伺服器主板、冷板、快速接头、泵、歧管、漏液侦测、控制软件及维修流程都要共同设计；数据中心亦须重新考虑供水温度、水质、地板承重及备援。ASHRAE的数据中心指引指出，全负载液冷机架重量可超过1,800公斤，旧机房未必可以直接安装。换言之，竞争范围已由伺服器厂扩展至电源、散热、连接器、机房工程及楼宇基建供应商。
液冷同时改变数据中心的投资节奏。传统机房可以逐台添置伺服器，超高密度AI系统却往往要求机架、供电、网络与散热一次部署。这提高前期资本开支，也令客户更依赖具备整机架设计、工厂预整合及现场维护能力的供应商。伺服器的竞争优势，开始由单纯采购到高性能晶片，扩展至能否把数千个零件可靠地组成一部长期运作的「机架级电脑」。
这十年的真正转折，是伺服器设计的边界不断向外移。过去工程师优化一块主板，后来要优化一台伺服器，再后来是整个机架；现在甚至要把晶片、网络、供电、冷却和建筑视为同一系统。rack-scale追求的是每个机架可调度多少资源，liquid cooling关心的则是每瓦电力能产生多少有效运算。未来AI基建的胜负，不只取决于谁有最快的GPU，也取决于谁能以最低能源和维护成本，把整个机架长时间稳定地跑满。
义合控股投资者关系部
(芯片与算力系列之88)
$Eaton Corp PLC(ETN)$ $Hubbell(HUBB)$ $Vicor(VICR)$ $Carrier Global Corporation(CARR)$ $NVIDIA(NVDA)$
精彩评论