多年来，关于人工智能(AI)基础设施的讨论始终围绕着一个核心问题：“我们如何获得更多的算力?”然而，当系统达到一定规模后，一个更为关键的问题随之浮现：“我们现有的算力中，究竟有多少得到了有效利用?”
在分布式AI系统中，单纯增加GPU数量并不总能带来性能的提升。事实上，问题往往并不出在芯片本身，而在于支撑数据在日益复杂的AI环境中进行传输与协调的底层基础设施。企业所面临的挑战已从“我们能提供多少算力？”转变为“我们的数据通信能力是否跟得上算力的需求？”
通信已成为分布式人工智能(AI)的瓶颈
在较小规模的系统中，通信开销相对容易管理；但在云端或“AI工厂”规模下，通信便成了决定性能的关键变量——它决定了系统能否达到预期表现，还是会在日益增长的工作负载下陷入困境。
训练分布式模型时，加速器之间必须进行持续通信。节点间的交互与节点内部的计算同样重要。无论是 KV 缓存(KV-cache)传输、模型同步，还是其他协调任务，都依赖于数据在整个集群中的高效流动。部署规模越大，保持各部分同步所需的工作量也就越大。
这意味着通信不再仅仅是计算的“附属环节”，而已成为计算路径本身的一部分。这一转变促使企业必须重新审视基础设施的效率问题。
多重行业趋势正在推动这一演变。随着企业部署更大规模的模型、对推理流水线进行解耦，并将集群规模从数十个加速器扩展至数千个，AI 基础设施正变得日益分布式。与此同时，企业正在构建异构环境，将来自不同厂商的 GPU、CPU、AI 加速器及专用硬件整合在一起。网络已成为连接这些资源的核心架构;它不再仅仅负责数据传输，其性能更直接决定了整个系统的运行效率。
传统上，网络被视为一种辅助手段——虽然重要，但其地位次于计算。如今，这种观念已不再适用。现代人工智能(AI)工作负载对延迟极其敏感，且通信密集程度远超以往;这意味着单纯的每秒浮点运算次数(FLOPS)已不足以全面衡量性能。系统能否高效地同步并传输数据，从而确保计算资源始终处于高产出状态，才是决定成功的关键。
为什么更快的 GPU 反而可能加剧系统效率低下?
令人反直觉的是，加速器性能的提升反而可能使这一问题雪上加霜。
尽管 GPU 性能不断进步，但网络架构和通信层的发展往往未能同步跟上。随着计算能力的增强，通信开销在总运行时间中所占的比例也随之增大。对于某些工作负载而言，当前的通信开销或许尚在可控范围内，但随着加速器吞吐量的提升，这些工作负载可能会变得愈发受限于通信能力。
如果缺乏更快、更高效的数据传输与同步机制，即便硬件性能再强大，也无法得到充分利用。其结果是：AI 环境的理论性能潜力与企业实际实现的性能表现之间，差距正日益扩大。
对于企业和超大规模云服务商而言，这种差距会带来实实在在的经济损失。这些 AI 部署项目的维护成本往往高达数百万美元。一旦资源利用率出现哪怕轻微的偏差，由此产生的额外成本便会悄然累积，最终达到一个不容忽视的惊人数字。
推理过程揭示了基础设施的新瓶颈
尽管在过去，模型训练往往最受关注，但如今推理任务所带来的挑战也正变得日益严峻。
与训练工作负载不同，生产环境中的推理系统必须在应对不可预测的需求波动的同时，确保延迟的稳定性。现代人工智能应用正将推理的不同阶段拆分至专门的系统中，并针对提示词(prompt)处理、Token 生成以及内存管理分配不同的资源。这种做法虽然提升了资源利用率，却也增加了网络中的数据传输量。
诸如扩大上下文窗口(context window)和共享 KV 缓存(KV-cache)等技术，在减少冗余计算的同时，也对系统间的高速内存传输提出了更高要求。因此，网络性能已成为决定用户体验指标(如响应速度、吞吐量)以及整体基础设施效率的关键因素。
大规模推理环境高度依赖内存传输与低延迟的协同机制。随着模型规模不断扩大，KV 缓存传输、专家路由(expert routing)以及分布式模型协同等操作，对延迟的影响愈发显著。即便只是多出几毫秒的延迟，也可能对“首个 Token 生成时间”(time-to-first-token)和“每秒生成 Token 数”(tokens-per-second)等指标产生重大影响——而这些指标正逐渐成为衡量生产环境 AI 性能的标准尺度。
这些变化促使许多基础设施团队重新审视在互连架构、通信卸载以及分布式运行时设计方面长期以来所持有的假设。几年前还行之有效的架构方案，如今已无法满足大规模人工智能(AI)工作负载的需求。
IT 领导者应采取的行动
对于负责基础设施的领导者而言，这一转变改变了评估人工智能(AI)环境的方式。
过去，AI 规划的重点在于选择最快的加速器，并追求理论计算性能的最大化。如今，企业必须从评估单个组件转向评估整个系统的性能。
网络架构、通信效率、工作负载编排、延迟一致性以及资源利用率，其重要性已与 GPU 规格不相上下。一个加速器闲置较少的集群，往往比那种因频繁等待数据传输或同步而浪费大量时间的更大规模部署，能创造出更高的商业价值。
随着企业从试点项目转向生产级的 AI 服务(例如支持内部 AI 助手、面向客户的应用程序以及自主智能体)，这种“系统视角”变得愈发重要。在生产规模下，即便利用率仅有小幅提升，也能有效降低成本、改善响应速度，并提高现有投资的回报率。
企业不应仅仅关注如何增加更多的计算资源，而应审视其技术栈中的各个组件协同工作的效率究竟如何。
AI 基础设施现已演变为一个“系统优化”问题
行业正进入一个新阶段：单纯增加 GPU 数量，已无法确保性能获得实质性的提升。
要从 AI 部署中挖掘更多价值，就需要计算、内存、网络、运行时软件和通信层之间实现高效协同，确保各环节同步运行。若仅孤立地优化其中某一层，在规模化应用中是行不通的。
能否释放更大的价值，取决于环境的运行效率，而非仅仅取决于集群的数量。
数据中心内已部署了大量的计算资源，但问题在于，并非所有资源都能转化为有效的产出。随着分布式 AI 系统规模的不断扩大，利用效率正成为行业最重要的竞争指标之一。
AI 基础设施的下一个发展阶段，其核心衡量标准将不再是峰值计算能力的可用性，而是系统在多大程度上能确保这些计算资源真正处于高效运行状态。
本文转自：千家网，转载此文目的在于传递更多信息，版权归原作者所有。如不支持转载，请联系小编demi@eetrend.com删除。
