AdapterModule¶
- class torchtune.modules.peft.AdapterModule(*args, **kwargs)[source]¶
包含适配器权重的
nn.Module
的接口。请注意,适配器模块不必显式实现此协议,但必须定义adapter_params(self)
方法。- adapter_params() List[str] [source]¶
返回一个字符串列表,对应于模型中来自适配器的
nn.Parameter
的名称。例如,如果一个 nn.Module 有适配器self.proj = nn.Linear(in_dim, out_dim)
,则 adapter_params 应返回['proj.weight', 'proj.bias']
。请参阅 LoRALinear 的
adapter_params()
以了解示例。