AdapterModule¶
- class torchtune.modules.peft.AdapterModule(*args, **kwargs)[source]¶
包含 Adapter 权重的
nn.Module
接口。请注意,Adapter 模块无需显式实现此协议,但必须定义adapter_params(self)
方法。- adapter_params() List[str] [source]¶
返回一个字符串列表,对应于模型中来自 Adapter 的
nn.Parameter
的名称。例如,如果一个 nn.Module 有 adapterself.proj = nn.Linear(in_dim, out_dim)
,则 adapter_params 应返回['proj.weight', 'proj.bias']
。参阅 LoRALinear 的
adapter_params()
获取示例。