get_cosine_schedule_with_warmup

torchtune.modules.get_cosine_schedule_with_warmup(optimizer: Optimizer, num_warmup_steps: int, num_training_steps: int, num_cycles: float = 0.5, last_epoch: int = - 1) → LambdaLR

创建一个学习率调度，该调度在 num_warmup_steps 步内将学习率从 0.0 线性增加到 lr，然后在剩余的 num_training_steps-num_warmup_steps 步内（假设 num_cycles = 0.5）按照余弦调度降低到 0.0。

这基于 Hugging Face 的实现 https://github.com/huggingface/transformers/blob/v4.23.1/src/transformers/optimization.py#L104。

参数：

• optimizer (torch.optim.Optimizer) – 要为其调度学习率的优化器。

• num_warmup_steps (int) – 预热阶段的步数。

• num_training_steps (int) – 训练的总步数。

• num_cycles (float) – 余弦调度中的波数。默认为 0.5（按照半余弦从最大值降低到 0）。

• last_epoch (int) – 恢复训练时上一个 epoch 的索引。默认为 -1

返回值：

具有适当调度的 torch.optim.lr_scheduler.LambdaLR。