lora_llama3_2_vision_11b¶
- torchtune.models.llama3_2_vision.lora_llama3_2_vision_11b(lora_attn_modules: List[Literal['q_proj', 'k_proj', 'v_proj', 'output_proj']], decoder_trainable: str = 'frozen', encoder_trainable: str = 'lora', fusion_trainable: str = 'lora', apply_lora_to_mlp: bool = False, apply_lora_to_output: bool = False, lora_rank: int = 8, lora_alpha: float = 16, lora_dropout: float = 0.0, use_dora: bool = False, quantize_base: bool = False, image_size: int = 560) DeepFusionModel[source]¶
返回 Llama3.2 vision 的一个版本（
DeepFusionModel()的实例），其中应用了 LoRA，具体取决于传入的配置。- 参数：:
lora_attn_modules (List[LORA_ATTN_MODULES]) – 在每个自注意力块中应应用 LoRA 的线性层列表。选项是
{"q_proj", "k_proj", "v_proj", "output_proj"}。decoder_trainable (str) – 选项用于将解码器参数设置为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen)。默认值为“frozen”。
encoder_trainable (str) – 选项用于将编码器参数设置为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen)。默认值为“lora”。
fusion_trainable (str) – 选项用于将融合参数设置为完全可训练 (full)、lora 可训练 (lora) 或冻结 (frozen)。默认值为“lora”。
apply_lora_to_mlp (bool) – 是否将 LoRA 应用于每个 Transformer 层中的 MLP。默认值：False
apply_lora_to_output (bool) – 是否将 LoRA 应用于模型的最终输出投影。默认值：False
lora_rank (int) – 每个低秩近似的秩
lora_alpha (float) – 低秩近似的缩放因子
lora_dropout (float) – LoRA dropout 概率。默认值：0.0
quantize_base – (bool): 是否量化基本模型权重。仅应用于 LoRA 应用到的线性层内的基本权重。目前不支持对最终输出线性投影进行量化。
image_size (int) – 图像将被平铺和调整大小到的基本图像大小。默认值为 560（针对指令权重），对于预训练的权重，使用 448。
- 返回值：:
使用 LoRA 对每一层注意力投影的子集进行微调，实例化 Llama3.2 视觉模型。
- 返回类型:
