validate_missing_and_unexpected_for_lora

torchtune.modules.peft.validate_missing_and_unexpected_for_lora(lora_attn_modules: List[Literal['q_proj', 'k_proj', 'v_proj', 'output_proj']], apply_lora_to_mlp: bool, apply_lora_to_output: bool, base_missing: Optional[List[str]] = None, base_unexpected: Optional[List[str]] = None, lora_missing: Optional[List[str]] = None, lora_unexpected: Optional[List[str]] = None) → None

一种更节省内存的方式来验证 LoRA 状态字典是否已正确加载。

此函数使用模型的 LoRA 配置来检查 LoRA 和/或基础模型权重是否正确加载到完整模型中。此函数仅依赖于使用 strict=False 的 load_state_dict API 返回的 missing 和 unexpected 值。这使我们无需额外调用 .state_dict() 即可进行验证，从而节省内存。

参数:

• lora_attn_modules (List[LORA_ATTN_MODULES]) – 列表，指示 LoRA 应应用于每个自注意力模块中的哪些线性层。选项为 {"q_proj", "k_proj", "v_proj", "output_proj"}。

• apply_lora_to_mlp (bool) – 是否将 LoRA 应用于每个 MLP 线性层。

• apply_lora_to_output (bool) – 是否将 LoRA 应用于最终输出投影。

• base_missing (Optional[List[str]]) – 加载基础模型权重时缺少的键列表。默认值：None

• base_unexpected (Optional[List[str]]) – 加载基础模型权重时意外的键列表。默认值：None

• lora_missing (Optional[List[str]]) – 加载 LoRA 权重时缺少的键列表。默认值：None

• lora_unexpected (Optional[List[str]]) – 加载 LoRA 权重时意外的键列表。默认值：None

返回:

None

引发:

• AssertionError – 如果 base_missing 包含任何基础模型键。

• AssertionError – 如果 base_unexpected 非空。

• AssertionError – 如果 lora_missing 包含任何 LoRA 键。

• AssertionError – 如果 lora_unexpected 非空。