CyclicLR¶
- class torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr, max_lr, step_size_up=2000, step_size_down=None, mode='triangular', gamma=1.0, scale_fn=None, scale_mode='cycle', cycle_momentum=True, base_momentum=0.8, max_momentum=0.9, last_epoch=-1)[source][source]¶
根据循环学习率策略(CLR)设置每个参数组的学习率。
该策略以恒定频率在两个边界之间循环调整学习率,详见论文 用于训练神经网络的循环学习率 (Cyclical Learning Rates for Training Neural Networks)。两个边界之间的距离可以按迭代或按周期的基础进行缩放。
循环学习率策略在每个批次后更改学习率。step 应该在每个批次用于训练后调用。
这个类有三种内置策略,如论文中所述:
“triangular”:基本的三角循环,不进行幅度缩放。
“triangular2”:基本的三角循环,每个周期将初始幅度减半。
“exp_range”:每个周期迭代中将初始幅度按 进行缩放的循环。
此实现改编自 GitHub 仓库:bckenstler/CLR
- 参数
optimizer (Optimizer) – 包装的优化器。
max_lr (float 或 list) – 每个参数组在周期中的学习率上边界。功能上,它定义了周期的幅度 (max_lr - base_lr)。任何周期的学习率都是 base_lr 加上幅度的某个缩放值;因此,根据缩放函数,可能实际上达不到 max_lr。
step_size_up (int) – 周期上升阶段的训练迭代次数。默认值:2000
step_size_down (int) – 周期下降阶段的训练迭代次数。如果 step_size_down 为 None,则将其设置为 step_size_up。默认值:None
mode (str) – 必须是 {triangular, triangular2, exp_range} 之一。这些值对应于上面详述的策略。如果 scale_fn 不为 None,则忽略此参数。默认值:‘triangular’
gamma (float) – ‘exp_range’ 缩放函数中的常数:gamma**(周期迭代次数) 默认值:1.0
scale_fn (function) – 自定义缩放策略,由一个单参数 lambda 函数定义,其中对于所有 x >= 0,都有 0 <= scale_fn(x) <= 1。如果指定,则忽略 ‘mode’。默认值:None
scale_mode (str) – {‘cycle’, ‘iterations’}。定义 scale_fn 是基于周期数还是周期迭代次数(从周期开始以来的训练迭代次数)进行评估。默认值:‘cycle’
cycle_momentum (bool) – 如果为
True
,动量将与学习率成反比地在 ‘base_momentum’ 和 ‘max_momentum’ 之间循环。默认值:Truebase_momentum (float 或 list) – 每个参数组在周期中的动量下边界。注意,动量与学习率成反比地循环;在周期的峰值,动量为 ‘base_momentum’,学习率为 ‘max_lr’。默认值:0.8
max_momentum (float 或 list) – 每个参数组在周期中的动量上边界。功能上,它定义了周期的幅度 (max_momentum - base_momentum)。任何周期的动量都是 max_momentum 减去幅度的某个缩放值;因此,根据缩放函数,可能实际上达不到 base_momentum。注意,动量与学习率成反比地循环;在周期的开始,动量为 ‘max_momentum’,学习率为 ‘base_lr’。默认值:0.9
last_epoch (int) – 上一个批次的索引。此参数用于恢复训练任务。由于 step() 应该在每个批次之后调用,而不是在每个 epoch 之后调用,因此此数字表示计算的总 *批次* 数,而不是计算的总 epoch 数。当 last_epoch=-1 时,调度器从头开始。默认值:-1
示例
>>> optimizer = torch.optim.SGD(model.parameters(), lr=0.1, momentum=0.9) >>> scheduler = torch.optim.lr_scheduler.CyclicLR(optimizer, base_lr=0.01, max_lr=0.1) >>> data_loader = torch.utils.data.DataLoader(...) >>> for epoch in range(10): >>> for batch in data_loader: >>> train_batch(...) >>> scheduler.step()