本文编译自semiengineering，作者：LIZ ALLAN
神经网络负责图形渲染，AI智能体指导玩法，而‘幻觉’则用于填补缺失的细节，让游戏世界更加完整。
随着处理性能和内存的大幅提升，以及数据传输速度的显著加快，电子游戏正在借助人工智能创造出越来越逼真的场景和交互体验。
GPU 不再仅仅局限于图形渲染，如今已广泛应用于多种 AI 任务，包括生成更真实的非玩家角色（NPC）、动态世界、个性化玩法，以及关卡设计、内容生成和更精细的游戏机制。同时，系统也在利用机器学习工具，以更低的功耗执行诸如环境光遮蔽（ambient occlusion）之类的任务。
“过去玩家与游戏角色的互动主要是基于脚本的，” Imagination产品管理副总裁 Kristof Beets 表示。“你说一句，他们回一句，整个流程非常线性。现在借助 AI 的智能化，你可以和角色进行真正的对话。动画也因 AI 而有了显著提升。比如新的人形机器人是如何行走的？这是神经网络的功劳。同样的技术可以应用到游戏的物理和体验中。通过 AI 可以带来更多动态效果和更高的真实感。但这在很大程度上仍需要时间，因为越多的功能依赖 AI，就意味着需要更多的计算资源。这始终是一种平衡。可以说正在出现一种持续的趋势：把过去依赖蛮力和高昂成本的方式，转化为借助神经网络实现的模糊近似解——效果足够好，而且非常有说服力。”
这种转变在很大程度上得益于 GPU 不再需要每次都逐像素计算。“多数游戏会进行预测性分析，基本上是预先计算接下来的处理步骤，” Arteris 首席营销官 Michal Siwinski 表示。“这带来了巨大的功耗开销。”
为了抵消光线追踪等特效带来的高功耗（它能在游戏中生成逼真的阴影），业界引入了类似超分辨率（super resolution）的工具，其原理类似于 AI 网络的“幻觉”机制。“你问它一个问题，它会给出一个看似合理但并非真实的答案，” Beets 解释道。“在 AI 助手中，你不希望出现幻觉，它不能凭空捏造。但在图形渲染中情况几乎相反。如果你想到图形渲染和细节补全，这正是你希望神经网络去做的。它能补全一些合理的细节。这是关键所在——通过低分辨率渲染，避免做全部光线追踪和高成本的计算，再用 AI 来填补空白。”
当然，AI 也可能会出错，比如生成条纹图案，而真实图像中并不存在。“但如果它看起来合理，并且在时间上保持稳定，那么就是合格的，” Beets 说道。“图形渲染中最难的就是时间稳定性。你不希望 AI 在每一帧都编造不同的内容，否则画面会闪烁和抖动。AI 图形超分辨率其实早于我们今天看到的 AI 搜索引擎和助手的爆发式发展。”
帧生成（Frame Generation）是另一项正在快速发展的功能。“玩家玩游戏时，我们希望它能运行在 60 帧/秒（FPS），” Imagination 产品与战略合作总监 Tyrran Ferguson 表示。“如果只有 30 帧/秒，虽然肉眼勉强能接受，但感觉像在拖泥带水。达到 60 帧或更高时，画面才会流畅和美观。帧生成的做法是在真实帧之间插入新帧，也就是‘伪造’画面，从 30 帧提升到 60 帧。这里同样会涉及幻觉问题。帧生成最早出现在桌面端，这是新兴技术。业界正在探索如何优化它，让玩家在帧与帧之间不会看到奇怪的画面，就像光线追踪最初也从桌面端开始一样。一旦玩家习惯了这种功能，就会希望在移动端或 GPU 资源极其有限的场景中也能使用。未来在移动设备上做帧生成只是时间问题。”
“过去很多效果，比如景深或环境光遮蔽，都是通过非常复杂的着色器程序来实现的，” Beets 表示。“现在我们可以训练一个小得多的神经网络，以近似相同的质量完成任务，而且在数据流方面的开销要低得多。这就是 NVIDIA 所称的‘神经着色器（neural shaders）’，即开始让神经网络接手这类工作。”
为游戏任务设计芯片
要设计适用于游戏的 GPU，工程师必须在架构阶段就深入理解存储器的吞吐需求。
“设计人员需要明确他们将使用何种存储器，以及该存储器的吞吐能力，”Cadence验证软件产品管理高级总监 Matthew Graham 表示。“我们必须确保系统设计能够充分利用这种吞吐。消费者花钱买了显卡或游戏主机上最快的存储器，我们就要确保芯片架构能发挥其最大效用。设计工具能够分析复杂算法，从 PCI Express 获取数据到图形核心，再到存储器——无论是用于图形的 DDR，还是用于 AI 的 HBM——然后回到核心进行处理，再回传到存储器，最后到接口等一系列过程。”
关键在于确保数据端到端的功能正确性和一致性，同时传输速度要恰到好处。Graham 形象地比喻道：“这不像是把一枚硬币放进一个桶里，再把它取出来。而更像是把硬币切成 50 片，放进 10 个不同的桶，再取出来，还要保证能把硬币重新拼回去。这就是复杂系统的真实工作方式。比如一个 4K 视频帧，玩家希望以 120Hz（每秒 120 次）刷新率运行，这就是海量的数据。你不可能一次处理完所有数据，而是要切分处理，同时确保一致性和数据完整性。”
光线追踪这类任务甚至可以在 GPU 内单独设置计算核心。Imagination产品与战略合作总监 Tyrran Ferguson 指出：“这样能把任务分开处理，当运行光线追踪工作负载时，就能通过 GPU 的独立部分更高效地完成。”
GPU 工作负载的分配方式取决于具体应用场景。Imagination 产品管理副总裁 Kristof Beets 解释说：“以游戏为例，一般先进行经典的图形渲染，再用 AI 进行超分辨率放大。这意味着 GPU 的算力分配会从 100% 用于经典渲染，转变为 100% 用于 AI 放大。这是一种基于时间的切片方式，能够自然适配更高级的用例——也就是把传统和 AI 技术深度融合。我们的重点是如何让这种方式更高效，如何在芯片内部共享和留存数据。任务交错是最有前景的方向。理论上你可以把 GPU 分成多个子单元，但最有效的方式还是给予客户完全的灵活性：想 100% 做 AI，就可以这么用；想 100% 做经典渲染，也能这么用。”
Synaptics 技术与创新副总裁 Dave Garrett 补充说，GPU 完全有能力应对这两类任务。“一台手机 SoC 可以先快速浏览相册做人脸识别，然后立即切换到运行 AI 游戏或光线追踪。‘暗硅’（dark silicon）的概念在其中发挥重要作用。过去我们常为不同任务专门设计硬件，后来 AI 提供了一种可编程框架，数据变化就能带来不同结果，但底层引擎是相同的。”
ChipAgents 创始工程师 Daniel Rose 则强调并行化和指令优化的重要性：“我们帮助 AI 加速器公司优化单颗GPU 芯片的功耗利用率。当功耗更优化、面积更小，就能做出更强大的游戏芯片。在设计中，PPA（功耗、性能、面积）的取舍至关重要。”
未来，NPU（神经网络处理单元）也可能在游戏中承担更多 AI/ML 工作负载。Beets 指出：“GPU 的灵活性很强，现在已经能提供大量 AI 性能，但我们也在与 NPU 引擎深度协作。通常会在 GPU 和 NPU 之间加入一部分SRAM，这样它们就能在芯片内共享和交换数据，有助于降低功耗。虽然仍有大量数据需要传输，但这是两种处理单元协作的最佳方式。延迟尤为关键，你肯定不希望所有任务都绕过 CPU 和复杂的软件栈。”
不过，定制芯片在可访问性方面也面临挑战。Beets 解释道：“这个领域非常分散，每家厂商都有不同的实现方式。但游戏需要生态系统支持。最初 PC 显卡市场有十几家厂商，各自使用不同的编程模型，结果大部分都被淘汰，只剩下少数几家巨头，因为生态无法支撑。AI 也会经历类似的整合过程。尤其是 AAA 大作的开发成本极高，开发者不可能为不同平台重复投入。现在你能看到 PlayStation、Xbox、PC和移动游戏之间已经有很多交集，桌面游戏正在向移动端迁移，移动厂商也在进入桌面市场。大家都在努力扩展生态，而AI 正是关键。”
在性能方面，主机与掌机的挑战各不相同，原因在于硬件、功耗和设计上的差异。
Cadence Tensilica DSP 产品管理与营销总监Amol Borkar 表示：“主机注重原始性能，能提供 4K画质、高帧率和光线追踪等高级特性，但需要强大的散热系统，功耗也很高。相比之下，掌机如 Steam Deck 和任天堂 Switch 则要在性能与便携性之间找到平衡，受到电池续航、散热管理和屏幕尺寸的限制。它们通常使用面向移动优化的芯片，并通过动态分辨率缩放来保证流畅体验。”
无论是移动端还是主机，功耗和存储都是关键。Rambus 研究员兼首席发明家 Steven Woo 指出：“游戏的挑战在于为用户提供更加沉浸式的环境，提升真实感和情感共鸣。AI 将助力实现这一目标，但同时会显著增加性能、功耗和散热需求。存储架构对 AI 至关重要，必须演进以支持更快的访问和更高的吞吐，同时不突破功耗预算。”
总结
电子游戏产业正在快速发展，扩展到世界的每一个角落和各种类型的设备。芯片创新将继续支撑玩家所追求的最新特性——在体验中获得尽可能高的保真度和尽可能低的延迟。
Baya Systems 首席商务官 Nandan Nayampally 表示：“游戏始终与用户体验和计算效率的提升息息相关。因为你越能真实地还原物理和视觉效果，就越能避免在增强现实和虚拟现实中常见的眩晕感。这些就是正在发生的变化，而数据流动是其根本所在。真正推动这一切的，是沉浸式游戏，而这归根结底与形态有关，也就是进入各种设备的东西，而不仅仅是硅片性能。理想的情况是，任何交互都能变得更加自然和直观，而不是机械化。增强现实的第四波浪潮将是游戏找到其定位的地方。然后你再加入 agentic AI，让它成为你的伙伴或对手。所以在游戏和 agentic AI 这两个方向，都有大量创新正在发生。
作者：LIZ ALLAN
原文链接： https://semiengineering.com/ai-drives-more-realistic-gaming/
