torch.cuda.comm.reduce_add

torch.cuda.comm.reduce_add(inputs, destination=None)

将来自多个 GPU 的张量求和。

所有输入都应具有匹配的形状、数据类型和布局。输出张量将具有相同的形状、数据类型和布局。

参数

• inputs (Iterable[Tensor]) – 要添加的张量的可迭代对象。

• destination (int, 可选) – 输出将放置在其上的设备（默认值：当前设备）。

返回值

一个包含所有输入的逐元素和的张量，放置在 destination 设备上。