CosineAnnealingLR¶
- 类 torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max, eta_min=0.0, last_epoch=-1)[源码][源码]¶
使用余弦退火调度设置每个参数组的学习率。
将 设置为初始学习率,将 设置为自 SGDR 中上次重启以来的 epoch 数。
当 last_epoch=-1 时,将初始学习率设置为 lr。请注意,由于调度器是递归定义的,学习率可以同时被此调度器之外的其他操作符修改。如果学习率仅由此调度器设置,则每一步的学习率变为
这在 SGDR: Stochastic Gradient Descent with Warm Restarts 中被提出。请注意,这仅实现了 SGDR 的余弦退火部分,而不包括重启。
- 参数
- load_state_dict(state_dict)[源码]¶
加载调度器的状态。
- 参数
state_dict (dict) – 调度器的状态。应该是一个通过调用
state_dict()
返回的对象。