torch.cuda.memory_allocated

torch.cuda.memory_allocated(device=None)

返回给定设备的 tensors 当前占用的 GPU 内存（以字节为单位）。

参数

device (torch.device 或 int, 可选) – 选择的设备。如果 device 为 None (默认)，则返回由 current_device() 给出的当前设备的统计信息。

返回类型

int

注意

这可能小于 nvidia-smi 中显示的量，因为一些未使用的内存可能被缓存分配器持有，并且需要在 GPU 上创建一些上下文。有关 GPU 内存管理的更多详细信息，请参阅 内存管理。