CPU+GPU集群计算中的一种动态负载均衡设计方法

No replies
Demi
Demi 的头像
Offline
Joined: 2017-03-07

在CPU+GPU协同计算中,CPU和GPU的计算能力不同,静态地给CPU和GPU划分任务会导致CPU和GPU计算不同步,导致严重的负载不均衡,为了实现CPU和GPU的负载均衡,需要对CPU和GPU不同的划分方法。把每个节点上的所有CPU看成一个设备,每块GPU卡看成一个设备,对集群节点上的所有CPU设备和GPU设备分别编号,每个节点上有M块GPU卡,N个节点上共有N个CPU设备,编号为1,2,…,N;N个节点上共有M*N个GPU设备,编号为1,2,…,M*N。

设备编号之后就可以对设备进行分组,根据算法的要求,有些任务不能细分,一个CPU设备或GPU设备上可用的内存空间可能不能满足计算的内存要求,需要多设备数据划分、共同计算,这时需要根据CPU内存或GPU内存进行分组:

1)根据CPU内存大小和计算对内存的要求可以计算得到一组内的CPU设备数目为GC个, GC=(Mcom+MemC-1)/MemC,其中一个节点的内存大小为MemC,每个计算任务需要的内存大小为Mcom。
所有的CPU设备分为N/GC个组,每个组计算同一个任务,组内的CPU设备再进行数据划分,数据划分采用静态的划分,因为组内的CPU设备计算能力一致;

2)根据GPU内存大小和计算对内存的要求可以计算得到一组内的GPU设备数目为GG个, GG=(Mcom+MemG-1)/Mem,其中,一个GPU设备的内存大小为MemG,每个计算任务需要的内存大小为Mcom。
所有的GPU设备分为M*N/GG个组,每个组计算同一个任务,组内的GPU设备再进行数据划分,数据划分采用静态划分的方法。

CPU和GPU设备分组之后,就可以把任务动态分划分给每个CPU组或GPU组,可以采用MPI通信进行划分,由主进程进行动态的发送任务编号给各个CPU组或GPU组内的组长,组长再把任务编号广播给组内的组员,然后组内的设备同时计算,计算完毕之后即可向主进程请求下一个任务,直到所有任务计算完毕为止。

CPU+GPU集群计算中的一种动态负载均衡设计方法

来源:天山 - CDSN

--电子创新网--
粤ICP备12070055号