torch.cuda.comm.reduce_add

torch.cuda.comm.reduce_add(inputs, destination=None)

对来自多个 GPU 的张量求和。

所有输入应具有匹配的形状、dtype 和布局。输出张量将具有相同的形状、dtype 和布局。

参数

• inputs (Iterable[Tensor]) – 要相加的张量的可迭代对象。

• destination (int, optional) – 将放置输出的设备（默认值：当前设备）。

返回

一个包含所有输入的逐元素和的张量，放置在 destination 设备上。