GPU vs CPU,GPU的三大优势


1、CPU是针对延迟优化的,而GPU是针对带宽优化的。

你可以将CPU想象为一辆法拉利,而GPU则是一辆大卡车。它们的任务都是从一个随机位置A取得包裹,并将这些包裹运送到另一个随机位置B。CPU(法拉利)可以快速从你的RAM中获取一些内存(包裹),而 GPU(大卡车)在这方面做得较慢(延迟更高)。然而,CPU(法拉利)需要多次往返才能完成任务(从位置A取2个包裹到位置B...重复),而GPU可以一次性获取更多的内存(从位置A取100个包裹到位置B...重复)。

换句话说,CPU擅长快速获取少量内存(例如5 * 3 * 7的运算),而GPU擅长获取大量内存(例如矩阵乘法:(A*B)*C)。最好的CPU具有大约50GB/s的内存带宽,而最好的GPU有750GB/s的内存带宽。因此,你的计算操作需要的内存越多,GPU相对于CPU的优势就越明显。


2、 隐藏线程并行下的内存访问延迟

GPU的延迟问题可能会影响性能。一辆大卡车虽然可以一次携带很多包裹,但问题在于你需要等很长时间才能收到下一批包裹。如果不解决这个问题,即使是处理大量数据,GPU也会非常慢。那么这个问题是如何解决的呢?

如果你要求一辆大卡车进行多次运输包裹,你总是需要等待很长时间,直到卡车完成下一次运输——卡车本来就慢。然而,如果你现在使用一队法拉利和大卡车(线程并行性),并且有一个包含许多包裹的大型任务(如大块内存矩阵),那么你会等待第一辆卡车一会儿,但之后就不需要再等待——所有卡车都会在位置B排队,等着卸载包裹,这样你就可以始终直接访问你的包裹(内存)。GPU在提供高带宽的同时,通过线程并行性隐藏其延迟——因此对于大块内存,GPU提供最佳的内存带宽,同时避免了高传输延迟。这是GPU在深度学习 中比CPU更快的第二个原因。顺便说一句,你也会看到为什么对CPU来说增加更多线程是没有意义的:一队法拉利在任何情景下都没有真正的好处。

想象一个快餐店正在为一大群客人同时准备不同的餐点。这个快餐店有多个厨师(线程),每个厨师负责准备一份订单。现在假设每个厨师在准备食物时,都需要从仓库(主内存)取一些原料,但这个仓库距离厨房很远,厨师去仓库的来回时间很长(高延迟)。为了解决这个问题,快餐店雇佣了足够多的厨师,以确保当一部分厨师去取原料时,其他厨师仍在厨房里继续工作。这样,虽然每趟取原料的时间很长,但店里总有厨师在制作食物,从而“隐藏”了去取原料的延迟。这就是 GPU 通过增加线程数量来隐藏内存访问延迟的方式。


3、易编程的又多又快的寄存器和 L1 缓存

通常,你希望高速的的L1缓存和寄存器内存离 Tensor  Core 非常近,并且希望这些内存保持小巧,以便快速访问。访问距离越大,其速度就越慢。如果内存变大,反过来又会使访存变慢(平均来说,在小商店找到你想买的东西比在大商场更快,即使你知道那个物品在哪里)。

GPU的优势在于它可以为每个处理单元(流处理器或SM)配备一小包寄存器,而它有许多这样的单元。因此GPU可以拥有大量非常小且非常快的寄存器内存。这使得GPU的寄存器总大小比CPU多30倍以上,速度仍然是两倍,这相当于拥有高达80TB/s的速度操作的14MB寄存器内存。作为对比,CPU的L1缓存只能达到大约5TB/s,这相当慢,大小大约为1MB;CPU寄存器通常的大小在64-128KB左右,运行速度为10-20TB/s。当然,这种数字比较有些问题,因为CPU寄存器的运作方式与GPU的寄存器略有不同(有点像比较苹果和橙子),但这里的大小差异比速度差异更关键。

继续使用快餐店的例子,假设为了提高效率,每个厨师的工作台上都配备了一些小冰箱(寄存器和 L1 缓存)。这些小冰箱里存放着他们经常需要的原料,比如切好的蔬菜、酱料等。因为这些原料就在手边,厨师们可以迅速地获取它们而无需走远到仓库去拿,大大提升了制作速度。而且,这些小冰箱是可以根据不同厨师的需求进行调整的,比如有的厨师需要更多的牛肉,有的则是鸡肉,这样的设计使得各个厨师都能最大限度地提升工作效率。

第二点和第三点两点虽然都在提高效率,但关注的侧重点不同:二是减少等待时间,三是提高数据访问速度。

版权声明:本文为CSDN博主「一只懂AI的喵」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/qq_53795212/article/details/138869446