get_lr¶
- torchtune.training.get_lr(optimizer: Union[Optimizer, OptimizerInBackwardWrapper]) float[源代码]¶
full_finetune_distributed 和 full_finetune_single_device 假设所有优化器具有相同的学习率 (LR)，此处用于验证所有学习率是否相同，如果相同则返回学习率。
- 参数：
optimizer (Union[torch.optim.Optimizer, OptimizerInBackwardWrapper]) – 一个通用的优化器输入，可以是通用优化器，也可以是基于 optimizer_in_backward 的优化器包装器。
- 返回值：
输入优化器的学习率。
- 返回类型：
lr (float)
- 抛出异常：
RuntimeError – 如果输入优化器的学习率不相同。
