很多人对算力的想象停留在显卡上，但真正走进一个 AI 数据中心，你会发现最壮观的其实是配线架——成百上千根光纤整齐地排在机柜侧面，像瀑布一样。网络才是训练集群的命脉，这篇文章聊聊卡之外的那一半工程。
为什么网络决定训练效率
大模型训练是典型的同步计算：几千张卡每一步都要互相交换梯度，最慢的那张卡决定整体速度。如果网络带宽不够或者拥塞严重，再多的卡也只是在一起等彼此。行业里常用”线性度”来衡量集群质量——一千张卡能不能跑出一千张卡的效率，很大程度取决于网络设计。
光互连：机柜里的光纤瀑布
现代 GPU 服务器之间普遍用光模块或 AOC 有源光缆连接，单条链路 400G 起步，最新的已到 800G。这些链路并不会直接从一张卡拉到另一张卡，而是先汇聚到机柜顶部或侧面的光纤配线架，再通过 Spine 层交换机连接整个集群。
配线架看起来只是”接线板”，实际上承担了拓扑重构的关键角色：想要调整网络结构，换配线架上的跳线即可，不用动服务器里的线缆。这也是为什么大机房愿意在布线工程上花重金——前期规划每多花一分钱，后期扩容就少踩一个坑。
拓扑设计：Fat-Tree 与轨道优化
经典的 Fat-Tree 拓扑保证任意两台服务器之间都有充足的无阻塞带宽；而轨道优化（Rail-optimized）设计则把同一组 GPU 尽量放在”离彼此近”的位置，让高频通信的流量走更短的路径。两者结合，才是训练集群网络的标准答案。
散热与功耗：绕不开的配套
单机柜功率密度从传统的十几千瓦飙升到上百千瓦，风冷已经接近极限，冷板式液冷正在成为 AI 机房的标配。下一次看到”数据中心”四个字，不妨想象一下：那是一个供电、散热、网络三条命脉精密咬合的系统工程，显卡只是其中最显眼的一环。
延伸阅读：H100 与 H200 怎么选：租用价格与性能对比 · 2026 年 AI 算力市场观察：从一卡难求到按 Token 计价