快捷方式

禁用适配器

torchtune.modules.peft.disable_adapter(model: Module) Generator[None, None, None][源代码]

暂时禁用模型中的适配器。例如,这可以在 DPO 中使用,将 LoRA 适配器视为策略模型,并禁用它以将基本模型视为参考模型。

此上下文管理器遍历提供的神经网络模型中的所有模块,如果某个模块具有可调用的 adapter_params 属性和 disabled 属性,它将 disabled 设置为 True。然后,控制权将交还给调用方。退出上下文管理器时,它会为所有已暂时禁用的模块将 disabled 设置回 False。

参数:

model (nn.Module) – 要暂时禁用其适配器的模型。

产量:

None – 此函数将控制权交还给调用方,并禁用适配器。

示例

>>> with disable_adapter(model):
...     # Perform operations with adapters disabled
...     pass

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源