快捷方式

KinetoStepTracker

class torch.autograd.profiler.KinetoStepTracker[source]

提供用于全局递增步数的抽象。

以前,我们只有一个地方可以标记程序中 step() 的发生,方法是通过 pytorch profiler step()。现在,我们将在 Optimizer 类中添加 step 钩子 https://github.com/pytorch/pytorch/issues/88446

  • 这意味着已经调用 profiler.step() 的程序可能会在每次迭代中对步数进行双重递增。

  • 如果模型使用多个优化器,我们也可能会对步数进行双重或更多次的计数。

我们通过在调用 kineto 库中的 step() 之前添加一个抽象层来解决此问题。想法是维护一个字典中每个请求者的步数。

{
   "ProfilerStep": 100,  # triggered by profiler step() call
   "Optimizer1Step": 100,   # Optimizer 1 or 2 are just examples, could be SGD, Adam etc
   "Optimizer2Step": 100,
}

要找出全局步数,只需取字典值的最大值(100)。

如果其中一个计数递增,最大值将增加。

{
   "ProfilerStep": 100,
   "Optimizer1Step": 101,   # Optimizer1 got incremented first say
   "Optimizer2Step": 100,
}

那么全局步数为 101。只有在全局计数递增时,我们才会调用 kineto step() 函数。

注意:目前,请不要在优化器之外的模块中使用 KinetoStepTracker。结果可能会导致步数的递增不正确。

classmethod current_step()[source]

获取任何请求者的最新步数

返回类型

int

classmethod erase_step_count(requester)[source]

移除给定的请求者。

返回类型

bool

classmethod increment_step(requester)[source]

递增请求者的步数。

此外,如果所有步数计数的最大值已递增,则触发 _kineto_step() 返回全局步数。

返回类型

int

classmethod init_step_count(requester)[source]

为给定的请求者初始化。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源