AI数据中心的瓶颈正从GPU转向网络
过去数年，人工智能基建的投资逻辑几乎等同「抢GPU」。只要取得更多高阶加速器，似乎便能训练更大的模型。然而，当AI集群由数百颗GPU扩展至数万甚至数十万颗，真正决定运算效率的已不再只是单颗晶片性能，而是GPU之间能否高速交换数据。若网络延迟、拥塞或封包丢失令GPU等待，即使拥有最昂贵的晶片，也可能只是把资本锁在机柜内闲置。
大型模型训练不是把工作平均分配后各自完成，而是需要不同GPU反复同步参数。All-Reduce、All-to-All等集体通讯产生大量东西向流量，任何一条链路出现挤塞，都可能拖慢整个任务。这与传统云端数据中心不同：一般应用较能容忍流量波动，但AI训练要求低延迟、高频宽及近乎无损传输，而且最慢的节点往往决定整体速度。网络因此由配套设备，升格为AI「超级电脑」的一部分。
问题在推理阶段同样存在。新一代推理模型需要处理更长的上下文及更多并行用户，运算、记忆体与储存资源亦逐步分拆部署。模型权重、KV cache和中间结果要在不同伺服器之间移动，令推理成本愈来愈取决于网络利用率。如果频宽不足，企业增加GPU未必能按比例提高输出，反而可能推高每个token的成本。
从晶片竞赛走向整套网络重估
这解释了为何市场焦点由400G、800G迅速移向1.6T网络。Arista于2026年6月推出新一代1.6T平台，单一系统频宽达102.4Tbps；Broadcom的Tomahawk 6交换晶片亦提供102.4Tbps容量，反映交换器升级速度正追赶加速器迭代。
受惠者不只交换器厂商，还包括网络晶片、NIC及DPU、光模组、DSP、连接器、光纤和网络管理软件。当速度升至800G及1.6T，电讯号可以稳定传输的距离缩短，光互连比例上升；但光模组数量、耗电量及故障率也随之增加。这使矽光子、线性可插拔光学，以及把光学元件与交换晶片整合的CPO成为下一轮竞争焦点。英伟达规划于2026年下半年推出的Spectrum-X光子交换器，最高频宽达409.6Tbps，正是试图突破电气互连功耗和讯号完整性的限制。
另一条主线是InfiniBand与Ethernet之争。InfiniBand凭低延迟和成熟的无损传输，在大型AI集群具先发优势；Ethernet则拥有开放、生态广泛和多供应商互通等好处。Ultra Ethernet Consortium已推出1.0规范，从网卡、交换器、传输协议到拥塞控制重新优化Ethernet，希望把传统网络改造成适合AI与高效能运算的架构。UEC 这意味未来未必由单一技术通吃，而可能是机柜内采用专用高速互连、机柜之间则由强化版Ethernet扩展规模。
不过，「networking接棒GPU」不能简化成所有光通讯股份均会长期受惠。网络设备仍有价格竞争，光模组亦具明显产品周期；1.6T放量时间、良率、散热和客户认证都可能低于预期。CPO虽可节能，却带来维修困难、供应链重组及标准未统一等问题。真正有护城河的企业，不只是能生产更高速零件，而是能控制功耗、提高可靠性，并在交换晶片、光学硬件与网络软件之间形成协同。
GPU仍然是AI数据中心的核心，但核心不等于唯一瓶颈。当晶片供应逐步增加，投资回报将愈来愈取决于整个集群能否被有效利用。下一阶段的AI基建竞赛，不再只是谁拥有最多GPU，而是谁能让数万颗GPU像一台电脑般运作。资本市场对AI的估值主线，也正由单点算力扩散至连接算力的整条网络。
义合控股投资者关系部
(芯片与算力系列之86)
$NVIDIA(NVDA)$ $Alphabet(GOOG)$ $Dell Technologies Inc.(DELL)$ $Oracle(ORCL)$ $Taiwan Semiconductor Manufacturing(TSM)$
免责声明：上述内容仅代表发帖人个人观点，不构成本平台的任何投资建议。
