作者：Mario Florea
这是我们关于面向GPU的边缘AI优化系列博客的一部分，该系列还包括《从原型到性能：在Volcanic GPU上优化OpenCV Resize》以及《在E-Series上使用llama.cpp和Qwen 3.5运行OpenCode》。
卷积是现代机器学习中的基础操作之一，但它也是一个更广泛工程理念的有用示例：许多看似专门的张量操作，都可以被重新组织成易于理解的计算模式，从而更容易实现、优化和扩展。
本文讲解一种实用的2D卷积实现方式——将其视为一种结构化的矩阵乘法形式。目标不是推广某个特定产品或基准结果，而是向构建GPU计算内核的工程师展示一种可复用的优化思维。
核心思想：1×1卷积实际上就是一次矩阵乘法，而更大的K×K卷积可以在仔细关注缓存行为和循环顺序的前提下，表达为一系列类矩阵的累加操作。
为什么这很重要
Conv2D在推理管线、图像模型和特征提取阶段中无处不在。然而实现上的挑战往往不在于数学定义，而在于执行策略：数据如何布局、工作如何分组、内存流量如何控制。
一种行之有效的方法是，不要将卷积视为一种完全独特的原始运算。相反，应将其理解为一种与矩阵乘法密切相关的计算模式。这可以降低实现的复杂度，并为优化提供更清晰的途径。
- 它通过复用熟悉的执行模型降低了工程投入。
- 它降低了维护成本，因为优化可以在相关内核之间迁移。
- 它提高了未来硬件和软件改进同时惠及矩阵乘法和卷积路径的可能性。
从张量形状出发
标准的 Conv2D 操作可描述为：将一个已学习的滤波器张量应用于输入张量，从而生成一个输出张量。
C = A * B
其中：
- A 是输入张量，尺寸为 N × H × W × C_in
- B 是权重张量，尺寸为 H_filter × W_filter × C_in × C_out
- C 是输出张量，尺寸为 N × H_out × W_out × C_out
在实践中，最重要的简化之一来自以匹配计算引擎而非原始数学记法的方式来审视数据。
最简单的情况：为什么1×1卷积很特殊
1×1卷积是观察矩阵乘法类比最清晰的地方。在每个空间位置上，输入贡献一个长度为C_in的特征向量。权重将该向量映射为长度为C_out的输出向量。
如果输入张量已经以NHWC顺序存储，那么每个空间特征向量天然就以一种可以解释为矩阵行的方式排列，无需显式的数据重排。
实践要点：对于NHWC输入，1×1卷积可以直接当作从C_in到C_out的矩阵乘法来处理，输出以NHWC顺序产生，无需转置步骤。
这一点很重要，因为不必要的数据移动往往是最快损失性能的方式之一。当原始布局已经匹配所需的访问模式时，实现就可以保持简单和高效。
从1×1到完整的K×K卷积
一旦滤波器超过1×1，每个输出元素就依赖于多个空间位置。例如，一个3×3卷积会组合九个独立的空间贡献。从概念上讲，这变成了一组类矩阵乘积，然后累加在一起。
这意味着问题不再只是"做矩阵乘法"，而是"在最小化内存浪费的同时做重复的类矩阵累加"。
对于一个3×3滤波器，每个输出位置有九个C_in × C_out的贡献。朴素实现可以获得良好的算术利用率，但它可能通过缓存层级反复冲刷和重新加载输入数据。这正是执行顺序变得关键的地方。
循环顺序是一个优化决策
卷积优化中最有价值的经验之一是：等效的数学表达式可能会导致截然不同的内存行为。一种直接的顺序可能把每个滤波器位置当作单独的矩阵乘法来处理并累加结果。虽然这很简单，但它可能导致同一输入区域被反复取入L1缓存，甚至可能进入L2。
重新排列循环可以改善局部性、减少重复取数流量、提高有效缓存复用。换句话说，算术不变，但内存系统看到的模式要友好得多。
优化原则：当一个内核在计算上已经正确时，最高价值的改动之一往往是在尝试底层指令调优之前，先重构循环嵌套以改善数据复用。
一种典型的内核模式
以下示例展示了卷积循环嵌套的核心结构。具体细节因实现而异，但该模式具有普遍的识别性：加载权重、计算输入坐标、读取向量化后的输入值、同步本地内存，以及累加部分乘积。
这类内核之所以值得研究，是因为它凸显了性能通常所在之处：
- 向量化读取而非标量流量
- 对可复用权重进行局部内存暂存
- 跨滤波器位置的结构化累加
- 围绕共享数据的显式同步
- 跨多个输出的线程级并行
填充、步长与边界处理
真实的卷积内核不仅由滤波器数学决定，还受填充、步长和膨胀等参数影响。这些既影响正确性，也影响性能。
填充策略
零填充是最常见的方法，也是源码实现中采用的方式。一种典型的边界安全模式会在发起读取之前，检查计算出的输入坐标是否落在有效图像边界内。
这是正确的，也容易推理，但热循环内部的分支可能代价高昂。一种替代方案是将边界处理移出最内层循环，把越界读取重定向到一条填充零的哑行或哑缓冲区。这用设置逻辑换取了分支开销，通常值得测试。
重要提示：边界检查不仅是正确性问题。它在循环嵌套中的位置会对吞吐量产生可测量的影响。
步长与滤波器尺寸
滤波器尺寸和步长也会以不那么明显的方式影响性能。
- 更大的滤波器通常增加输入复用，这可以改善缓存效率。
- 更大的步长减少相邻输出之间的复用，这可能使内存行为变得不那么有利。
这些影响往往是间接的而非绝对的。更大的滤波器不会自动让内核更快，更大的步长也不会自动让它变慢。但两者都影响算术工作与内存流量之间的平衡，而这正是许多Conv2D内核成败所在。
工程师能从这种方法中学到什么
这个Conv2D实现中最可迁移的价值不是某一个微优化，而是其背后的方法。
- 从清晰的张量解释出发。
- 识别操作何时自然地映射到矩阵乘法。
- 尽可能保持数据布局，以避免不必要的移动。
- 尽早将优化精力集中在循环顺序和缓存复用上。
- 将填充、步长和边界逻辑视为与性能相关的设计选择。
这种方法往往能产生更容易推理、更容易演进的实现。它也为未来的加速奠定了更强的基础，因为许多硬件平台已经在密集线性代数模式上投入了大量资源。
常见陷阱
在将Conv2D转化为类矩阵的GPU内核时，有几个错误反复出现：
- 假设算术成本是主要瓶颈，而实际上内存流量才是主导
- 过早引入显式数据变换，而未先检查源布局是否已经合适
- 将边界分支留在最热的循环内而不测量其影响
- 在验证缓存行为和访问顺序之前就优化指令细节
- 忽视步长如何改变数据复用模式
注意：数学上优雅的实现并不总是性能最佳的。等效的表达式在实际硬件上的表现可能大相径庭。
一个实用的思维模型
如果你在设计或审查一个GPU卷积内核，按三个层次来思考会有帮助：
| 数学层 | 布局层 | 执行层 |
| 哪些值需要相乘并累加？ | 这些值在内存中如何排列，该布局能否直接复用？ | 工作应以什么顺序运行，才能高效利用缓存、局部内存和向量单元？ |
强大的内核通常来自三个层次的对齐，而不是只对其中一个层次过度优化。
最终要点
Conv2D 通常被视为一种专用深度学习基本操作，但从实现角度来看，它往往可以理解为结构化矩阵乘法加上对空间邻域的精心累加。
这种框架非常有力，因为它简化了设计决策。它鼓励复用经过验证的计算模式，减少了不必要的数据迁移，并将优化工作集中在通常最关键的方面：局部性、循环顺序和带宽效率。
对于从事 GPU 推理和张量内核开发的工程师而言，这才是更重要的启示。良好的性能并非始于艰巨的底层调优，而是始于对问题的正确解读。
英文链接：https://blog.imaginationtech.com/turning-conv2d-into-a-practical-gpu-compute-pattern
声明：本文为原创文章，转载需注明作者、出处及原文链接。
