lora_llama3_2_vision_11b¶
- torchtune.models.llama3_2_vision.lora_llama3_2_vision_11b(lora_attn_modules: List[Literal['q_proj', 'k_proj', 'v_proj', 'output_proj']], decoder_trainable: str = 'frozen', encoder_trainable: str = 'lora', fusion_trainable: str = 'lora', apply_lora_to_mlp: bool = False, apply_lora_to_output: bool = False, lora_rank: int = 8, lora_alpha: float = 16, lora_dropout: float = 0.0, use_dora: bool = False, quantize_base: bool = False, image_size: int = 560) DeepFusionModel[source]¶
返回 Llama3.2 vision 的版本（
DeepFusionModel()的实例），应用了基于传入配置的 LoRA。- 参数:
lora_attn_modules (List[LORA_ATTN_MODULES]) – 列表中指示应将 LoRA 应用于每个自注意力模块中的哪些线性层。选项为
{"q_proj", "k_proj", "v_proj", "output_proj"}。decoder_trainable (str) – 用于将解码器参数设置为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen) 的选项。 默认值为 “frozen”。
encoder_trainable (str) – 用于将编码器参数设置为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen) 的选项。 默认值为 “lora”。
fusion_trainable (str) – 用于将融合参数设置为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen) 的选项。 默认值为 “lora”。
apply_lora_to_mlp (bool) – 是否将 LoRA 应用于每个 transformer 层中的 MLP。 默认值：False
apply_lora_to_output (bool) – 是否将 LoRA 应用于模型的最终输出投影。 默认值：False
lora_rank (int) – 每个低秩近似的秩
lora_alpha (float) – 低秩近似的缩放因子
lora_dropout (float) – LoRA dropout 概率。 默认值：0.0
quantize_base – (bool): 是否量化基础模型权重。仅应用于应用 LoRA 的线性层中的基础权重。当前不支持最终输出线性投影的量化。
image_size (int) – 图像将被平铺和调整大小的基础图像大小。Instruct 权重的默认值为 560，预训练权重的默认值为 448。
- 返回:
应用 LoRA 到每层注意力投影子集的 Llama3.2 vision 模型的实例化。
- 返回类型:
