OneCycleLR¶
- class torch.optim.lr_scheduler.OneCycleLR(optimizer, max_lr, total_steps=None, epochs=None, steps_per_epoch=None, pct_start=0.3, anneal_strategy='cos', cycle_momentum=True, base_momentum=0.85, max_momentum=0.95, div_factor=25.0, final_div_factor=10000.0, three_phase=False, last_epoch=-1)[源代码][源代码]¶
根据 1cycle 学习率策略设置每个参数组的学习率。
1cycle 策略将学习率从初始学习率退火到某个最大学习率,然后再从该最大学习率退火到远低于初始学习率的某个最小学习率。此策略最初在论文 Super-Convergence: Very Fast Training of Neural Networks Using Large Learning Rates 中描述。
1cycle 学习率策略在每个 batch 后改变学习率。step 应该在每个 batch 用于训练后调用。
此调度器不可链式调用。
另请注意,周期的总步数可以通过以下两种方式之一确定(按优先级顺序排列):
明确提供了 total_steps 的值。
提供了 epoch 数 (epochs) 和每个 epoch 的步数 (steps_per_epoch)。在这种情况下,总步数通过 total_steps = epochs * steps_per_epoch 推断。
您必须提供 total_steps 的值,或者提供 epochs 和 steps_per_epoch 的值。
此调度器的默认行为遵循 fastai 对 1cycle 的实现,该实现声称“未发表的工作表明仅使用两个阶段效果更好”。要模仿原始论文的行为,请设置
three_phase=True
。- 参数
optimizer (Optimizer) – 包裹的优化器。
total_steps (int) – 周期中的总步数。请注意,如果此处未提供值,则必须通过提供 epochs 和 steps_per_epoch 的值来推断。默认值:None
epochs (int) – 训练的 epoch 数。如果未提供 total_steps 的值,则此参数与 steps_per_epoch 一起用于推断周期中的总步数。默认值:None
steps_per_epoch (int) – 每个 epoch 训练的步数。如果未提供 total_steps 的值,则此参数与 epochs 一起用于推断周期中的总步数。默认值:None
pct_start (float) – 周期中用于增加学习率的步数百分比。默认值:0.3
anneal_strategy (str) – {‘cos’, ‘linear’} 指定退火策略:“cos”表示余弦退火,“linear”表示线性退火。默认值:‘cos’
cycle_momentum (bool) – 如果为
True
,则动量在 ‘base_momentum’ 和 ‘max_momentum’ 之间与学习率呈反比循环。默认值:Truebase_momentum (float or list) – 周期中每个参数组的最低动量边界。请注意,动量与学习率呈反比循环;在周期的峰值,动量为 ‘base_momentum’,学习率为 ‘max_lr’。默认值:0.85
max_momentum (float or list) – 周期中每个参数组的最高动量边界。从功能上讲,它定义了周期的幅度 (max_momentum - base_momentum)。请注意,动量与学习率呈反比循环;在周期的开始,动量为 ‘max_momentum’,学习率为 ‘base_lr’。默认值:0.95
div_factor (float) – 通过 initial_lr = max_lr/div_factor 确定初始学习率。默认值:25
final_div_factor (float) – 通过 min_lr = initial_lr/final_div_factor 确定最低学习率。默认值:1e4
three_phase (bool) – 如果为
True
,则使用调度器的第三阶段根据 ‘final_div_factor’ 逐渐将学习率降至极低,而不是修改第二阶段(前两个阶段将关于 ‘pct_start’ 指示的步数对称)。last_epoch (int) – 上一个 batch 的索引。此参数在恢复训练任务时使用。由于 step() 应该在每个 batch 后调用,而不是在每个 epoch 后调用,因此此数字表示计算的总 batches 数,而不是计算的总 epoch 数。当 last_epoch=-1 时,调度器从头开始。默认值:-1
示例
>>> data_loader = torch.utils.data.DataLoader(...) >>> optimizer = torch.optim.SGD(model.parameters(), lr=1e-4, momentum=0.9) >>> scheduler = torch.optim.lr_scheduler.OneCycleLR(optimizer, max_lr=0.01, steps_per_epoch=len(data_loader), epochs=10) >>> for epoch in range(10): >>> for batch in data_loader: >>> train_batch(...) >>> optimizer.step() >>> scheduler.step()
- load_state_dict(state_dict)[源代码]¶
加载调度器的状态。
- 参数
state_dict (dict) – 调度器状态。应该是由调用
state_dict()
返回的对象。