get_lr

torchtune.training.get_lr(optimizer: Union[Optimizer, OptimizerInBackwardWrapper]) → float

Full_finetune_distributed 和 full_finetune_single_device 假设所有优化器都具有相同的 LR，此处用于验证所有 LR 是否相同，如果为 True 则返回。

参数:

optimizer (Union[torch.optim.Optimizer, OptimizerInBackwardWrapper]) – 一个通用的优化器输入，可以是一个通用的优化器，也可以是基于 optimizer_in_backward 的优化器包装器。

返回值:

输入优化器的学习率。

返回类型:

lr (float)

引发:

RuntimeError – 如果输入优化器的学习率不相同。