在多GPU系统上拆分阵列并在不同GPU之间传输数据

每个设备的内存都是独立的，因此如果您先调用cudaSetDevice(A)，然后cudaMalloc()再在设备A上分配内存。如果随后从设备B访问该内存，则访问延迟会更高，因为访问必须通过外部PCIe链接进行。

另一种策略是在GPU上划分结果并存储每个GPU上所需的所有输入数据。这意味着您有一些重复的数据，但这是GPU（以及实际上是任何并行方法，例如MPI）编程中的常见做法-您经常会听到术语“光晕”应用于需要在两次更新之间传输的数据区域。

请注意，cudaDeviceCanAccessPeer()如果您有双GPU卡，则可以使用来检查一台设备是否可以访问另一台设备的内存，这始终是正确的。