lora_llama3_2_vision_11b¶
- torchtune.models.llama3_2_vision.lora_llama3_2_vision_11b(lora_attn_modules: List[Literal['q_proj', 'k_proj', 'v_proj', 'output_proj']], decoder_trainable: str = 'frozen', encoder_trainable: str = 'lora', fusion_trainable: str = 'lora', apply_lora_to_mlp: bool = False, apply_lora_to_output: bool = False, lora_rank: int = 8, lora_alpha: float = 16, lora_dropout: float = 0.0, use_dora: bool = False, quantize_base: bool = False, image_size: int = 560) DeepFusionModel[source]¶
返回一个应用了 LoRA 的 Llama3.2 vision 模型版本（它是
DeepFusionModel()的一个实例），基于传入的配置。- 参数:
lora_attn_modules (List[LORA_ATTN_MODULES]) – 在每个自注意力块中应应用 LoRA 的线性层列表。选项包括
{"q_proj", "k_proj", "v_proj", "output_proj"}。decoder_trainable (str) – 用于设置解码器参数为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen) 的选项。默认为 "frozen"。
encoder_trainable (str) – 用于设置编码器参数为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen) 的选项。默认为 "lora"。
fusion_trainable (str) – 用于设置融合参数为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen) 的选项。默认为 "lora"。
apply_lora_to_mlp (bool) – 是否在每个 transformer 层中的 MLP 上应用 LoRA。默认值：False
apply_lora_to_output (bool) – 是否在模型的最终输出投影上应用 LoRA。默认值：False
lora_rank (int) – 每个低秩近似的秩
lora_alpha (float) – 低秩近似的缩放因子
lora_dropout (float) – LoRA dropout 概率。默认值：0.0
quantize_base – (bool)：是否量化基础模型权重。仅应用于 LoRA 所应用的线性层中的基础权重。目前不支持量化最终输出线性投影。
image_size (int) – 图像将被切分和调整大小到此基础图像尺寸。Instruct 权重的默认值为 560，预训练模型请使用 448。
- 返回值:
Llama3.2 vision 模型实例，其中 LoRA 应用于每一层中的一部分注意力投影。
- 返回类型:
