create_optim_in_bwd_wrapper¶
- torchtune.training.create_optim_in_bwd_wrapper(model: Module, optim_dict: Dict[Parameter, Optimizer]) OptimizerInBackwardWrapper[source]¶
创建一个在反向传播中运行优化器步骤的包装器。
- 参数：
model (torch.nn.Module) – 包含待优化参数的模型。目前，假定所有待优化参数属于单个顶级模型。将访问
model的named_parameters属性来查找待优化参数的名称。optim_dict (Dict[torch.nn.Parameter, torch.optim.Optimizer]) – 从参数到优化器的映射。
- 返回：
在反向传播中运行的优化器状态包装器。
- 返回类型：
OptimizerInBackwardWrapper
