作者：Ed Plowman，CTO，Imagination Technologies
数据中心行业正在接近一个硬性极限：历史上推动计算性能呈指数级增长的机制已经不再奏效。
几十年来，半导体技术的进步一直以登纳德缩放定律为基础，即晶体管尺寸缩小能够同时提升性能并保持功耗密度不变。这支撑起一个简单而强有力的假设：每一代新硅片都能在大致相同的能耗成本下提供更强的计算能力。
然而，这一假设已不再成立。自2000年代中期以来，功耗密度的限制打破了这种关系，迫使业界从频率提升转向多核设计，并最终导致越来越多的硅片区域处于闲置状态。最初只是器件层面的约束，如今已演变为系统层面的局限：增加硅片面积不再等同于可用的性能提升。
登纳德缩放定律失效的后果是“暗硅”的出现：即芯片上只有一小部分晶体管能够同时处于活跃状态，而不会超出热功耗限制。晶体管的数量增加不再线性转化为可用的性能，因为功耗，而非面积，已成为主要的制约因素。
通过多核扩展来恢复性能的尝试仅部分缓解了这一问题。虽然增加核心数量会提高理论吞吐量，但同时也会增加总功耗，导致整体功耗上升，直至达到热功耗极限。其结果是，系统中很大一部分可用计算资源无法同时使用。
这些约束会直接传导到数据中心。如果额外的硅片无法完全供电或无法有效利用，那么仅仅部署更先进的芯片并不能带来成比例的能力提升。与此同时，横向扩展基础设施，即建设更大的数据中心，会遇到另一个相关但独立的限制：能源的可用性和成本。曾经是一个器件层面的优化问题，如今已定义了系统层面计算的经济极限。
对数据中心的影响
如果企业不能再指望芯片每年自然变得更快、更强大，那么数据中心将首当其冲。
它们首先受到性能扩展失效的制约：在功耗限制范围内，从相同的硅片面积中提取更多可用性能变得越来越困难，因此部署新一代芯片不再带来成比例的性能提升。
其次，它们受到多核扩展局限性的制约：构建更大或更密集的芯片会提高理论吞吐量，但由于功耗和利用率限制，并不能保证系统层面的可用性能。
最后，向更大规模设施扩展会遇到另一个独立的制约因素：能源可用性。业界试图通过扩大系统规模来弥补芯片层面效率的下降，但这种方法在电力供应和成本方面遇到了根本性限制。
AI工作负载需求的加速增长，进一步加剧了这些压力。 AI工作负载不断推高基础设施需求，即便规模扩展的效率正在下降。综合来看，这构成了一个结构性问题：按照业界历史上惯用的方式扩展计算能力，在经济上已不再可行。
而让上述每一个问题雪上加霜的，是AI领域永不满足的需求。 Gartner预测，用于AI的半导体收入将从2022年的440亿美元增长到2027年的1200亿美元。
AI所暴露的转变
这些制约因素如今在AI工作负载中表现得最为明显，因为AI工作负载既要求规模，也要求效率。该领域近期的思路曾假设，增加模型规模——更多参数、更多计算——会持续带来成比例的能力提升。然而，越来越多的证据表明，这些回报正在递减，仅仅扩大模型规模已不足以推动有意义的进步。
这改变了优化问题的本质：重点不再仅仅是增加总计算量，而是转向如何从固定的计算预算中提取更多能力。
为此，一类以效率为导向的技术已经开始涌现。例如，模型蒸馏允许较小的模型继承较大的“教师”系统的行为，在接近其准确性的同时，显著降低部署时的计算成本。同样，在内存效率方面的工作，例如优化键值缓存的处理，已经证明可以在不降低输出质量的情况下大幅减少资源需求。
麻省理工学院的Frankle和Carbin提出的“彩票假说”表明，大型语言模型内部包含更小、更高效的表示形式。关于模型压缩和剪枝的研究已经表明，较小的子网络可以保留原始模型的大部分能力，同时只需消耗极少的资源。这一现象强化了一个更广泛的观点：限制因素不再是获取更多参数，而是识别和利用现有参数中高效结构的能力。
为此，一类以效率为导向的技术已经开始涌现。其核心观点是，在一个大型LLM的实体内部，存在一个完美的子网络形式，其规模仅为原始模型的一小部分。
模型蒸馏是另一个例子，它允许较小的模型继承较大的“教师”系统的行为，在接近其准确性的同时，显著降低部署时的计算成本。同样，在内存效率方面的工作，例如优化键值缓存的处理，已经证明可以在不降低输出质量的情况下大幅减少资源需求。
最近，谷歌的TurboQuant论文展示了键值对缓存的高效压缩技术。该论文发布时，被媒体引用来解释几家关键内存供应商股价的急剧下跌。该论文探讨了对KV缓存的调优，KV缓存用于保留LLM当前处理任务所涉及的上下文。问题在于，体量适中的上下文就会占用大量RAM。通过调整LLM编码KV缓存信息的方式，可以在仅使用一小部分RAM的情况下获得相同的结果。
综合来看，这些发展表明，业界正在从蛮力扩展转向算法和架构层面的效率提升。能力不再与模型规模或原始计算量线性相关，而是越来越取决于这些计算资源的使用效率。
效率是实证，而非愿景
DeepSeek V3等近期模型清晰地说明了这一转变。尽管在多项基准测试中取得了与领先闭源模型相当的性能，但DeepSeek V3的训练成本据报约为500-600万美元，比GPT-4级别系统的预估成本低一个数量级。这种效率得益于架构选择（包括混合专家稀疏设计，其中每个词元只激活部分参数）和训练技术（提高了可用硬件的利用率）的结合。
其含义不仅仅是一个模型比另一个模型更高效，而是AI的底层经济模式正在发生变化。在不按比例扩展计算能力的情况下，越来越有可能实现高水平的能力，这动摇了“进步依赖于不断加大硬件部署”的假设。它表明，能力的提升正日益与计算量的等比例增加脱钩。
架构层面的影响
这些转变具有架构层面的影响。随着模型变得越来越高效，推理不再局限于大规模集中式数据中心。相反，计算可以越来越多地移至使用点附近，移至延迟、能效和数据隐私成为关键制约因素的边缘环境。
这并未消除数据中心的作用，但改变了其功能：从推理的主要场所转变为训练、协调和尚未能有效分布的高端工作负载的中心。
结论
这些趋势的累积效应是明确的：“挥舞更大锤子”的计算扩展模式正接近其极限。简单地增加晶体管、核心或服务器数量，不再能带来成比例的能力提升，因为功耗、效率和利用率这些底层约束，如今主导着系统行为。
替代方案不是渐进式改进，而是重心的转移。未来的系统将需要优先考虑高效的数据移动、计算资源的选择性激活，以及围绕功耗和内存限制（而非峰值吞吐量）明确设计的架构。这要求我们重新思考硬件和算法，不是将其视为独立层，而是作为一个协同设计的系统。
业界已经花了二十年时间优化扩展能力。下一阶段的定义，将不再取决于能部署多少计算能力，而取决于能以多高的效率使用这些计算能力。
原文链接：https://www.electronicspecifier.com/industries/data-centres/the-scaling-collapse-facing-the-data-centre-industry
声明：本文为原创文章，转载需注明作者、出处及原文链接。
