余弦退火学习率¶
- class torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0.0, last_epoch=-1, verbose='deprecated')[source]¶
使用余弦退火调度设置每个参数组的学习率。
将 设置为初始学习率,而 是 SGDR 中自上次重启以来经过的 epoch 数。
当 last_epoch=-1 时,将初始学习率设置为 lr。请注意,由于调度是递归定义的,因此学习率可以由其他运算符在此调度程序外部同时修改。如果学习率仅由此调度程序设置,则每个步骤的学习率变为
该公式在SGDR: Stochastic Gradient Descent with Warm Restarts中提出。请注意,这仅实现了SGDR的余弦退火部分,而不是重启部分。
- 参数
- load_state_dict(state_dict)¶
加载调度器的状态。
- 参数
state_dict (字典) – 调度器状态。应为
state_dict()
调用的返回值。
- print_lr(is_verbose, group, lr, epoch=None)¶
显示当前学习率。
自版本 2.4 起已弃用:
print_lr()
已弃用。请使用get_last_lr()
来访问学习率。
- step(epoch=None)¶
执行一步。