GPU

Android 包含一些设备上开发者选项，可帮助您直观地了解您的应用在何处出现界面渲染问题，如执行太多不必要的渲染工作，或执行长时间的线程和 GPU 操作。Profile GPU Rendering 工具以滚动直方图的形式直观地显示渲染界面窗口帧所花费的时间。在性能较低的 GPU 上，可用的填充率可能很低。 随着绘制帧所需的像素数增加，GPU 可能需要花较长时间来处理新命令......

学习数据集训练时，电脑没有GPU，所以当时训练时用的是CPU，也没有意识到两者之间在训练数据集有什么差别，直到在一次训练过程中，着重看了一下训练过程，才发现，训练时间是真的差距大。接下来就给大家讲一下，这两个具体有什么差别。

GPU加速：大多数设备的刷新频率是60次／秒，（1000 ／ 60 = 16.6ms）也就是说浏览器对每一帧的渲染工作要在16ms内完成，超出这个时间，页面的渲染就会出现卡顿现象，影响用户体验。浏览器在每一帧里面，会依次执行以下动作： js -> style -> layout ->paint -> composite。

如何对现有的程序进行并行优化，是 GPU 并行编程技术最为关注的实际问题。本文将提供几种优化的思路，为程序并行优化指明道路方向。

优化前准备

首先，要明确优化的目标 - 是要将程序提速 2 倍？还是 10 倍？100倍？也许你会不假思索的说当然是提升越高越好。

但这里存在一个优化成本的问题。在同样的技术水平硬件水平下，提升 2 倍也许只要一个下午的工作量，但提高 10 倍可能要考虑到更多的东西，也许是一周的工作量。提高 100 倍， 1000 倍需要的成本，时间就更多了。

然后，需要将这个问题进行分解。通常来说先对数据集进行分解，然后将任务进行分解。这里要从数据集这样的矩阵角度来分析数据，将输入集和输出集中各个格点的对应关系找出来，然后分派给各个块，各个线程。

策略一：识别代码中的瓶颈所在

一、Why GPU

其实GPU计算比CPU并不是“效果好”，而是“速度快”。

计算就是计算，数学上都是一样的，1+1用什么算都是2，CPU算神经网络也是可以的，算出来的神经网络放到实际应用中效果也很好，只不过速度会很慢罢了。

GPU的起源

GPU全称叫做graphics processing unit，图形处理器，顾名思义就是处理图形的。

电脑显示器上显示的图像，在显示在显示器上之前，要经过一些列处理，这个过程有个专有的名词叫“渲染”。以前的计算机上没有GPU，渲染就是CPU负责的。渲染是个什么操作呢，其实就是做了一系列图形的计算，但这些计算往往非常耗时，占用了CPU的一大部分时间。而CPU还要处理计算机器许多其他任务。因此就专门针对图形处理的这些操作设计了一种处理器，也就是GPU。这样CPU就可以从繁重的图形计算中解脱出来。

由于GPU是专门为了渲染设计的，那么他也就只能做渲染的那些事情。

GPU的渲染流水线的主要任务是完成3D模型到图像的渲染（render）工作。常用的图形学API编程模型中的渲染过程被分为几个可以并行处理的阶段，分别由GPU中渲染流水线的不同单元进行处理。GPU输入的模型是数据结构（或语言）定义的对三维物体的描述，包括几何、方向、物体表面材质以及光源所在位置等；而GPU输出的图像则是从观察点对3D场景观测到的二维图像。在GPU渲染流水线的不同阶段，需要处理的对象分别是顶点（vertex）、几何图元（primitive）、片元（fragment）、像素（pixel）。

如图1-6所示，典型的渲染过程可以分为以下几个阶段：

1．顶点生成

图形学API用简单的图元（点、线、三角形）表示物体表面。每个顶点除了(x,y,z)三维坐标属性外还有应用程序自定义属性，例如位置、颜色、标准向量等。

2．顶点处理

现代GPU提供了顶点处理器和片段处理器两个可编程并行处理部件。在利用GPU执行图像处理等通用计算任务时，要做的主要工作是把待求解的任务映射到GPU支持的图形绘制流水线上。

通常的方法是把计算任务的输入数据用顶点的位置、颜色、法向量等属性或者纹理等图形绘制要素来表达，而相应的处理算法则被分解为一系列的执行步骤，并改写为GPU的顶点处理程序或片段处理程序，然后，调用3D API执行图形绘制操作，调用片段程序进行处理；最后，保存在帧缓存中的绘制结果就是算法的输出数据。

虽然数字图像处理算法多种多样，具体实现过程也很不相同，但是在利用GPU进行并行化处理时，有一些共性的关键技术问题需要解决，如：数据的加载，计算结果的反馈、保存等。

下面对这些共性的问题进行分析，并提出相应的解决思路。

1. 数据加载