qlora_llama3_3_70b

torchtune.models.llama3_3.qlora_llama3_3_70b(lora_attn_modules: List[Literal['q_proj', 'k_proj', 'v_proj','output_proj']], apply_lora_to_mlp: bool = False, apply_lora_to_output: bool = False, lora_rank: int = 8, lora_alpha: float = 16, lora_dropout: float = 0.0, use_dora: bool = False, *, quantize_base: bool = True) → TransformerDecoder

构建器，用于创建启用 QLoRA 的 Llama3.3 70B 模型。QLoRA 应用于线性层的基础模型权重已根据 QLoRA 论文进行量化：https://arxiv.org/abs/2305.14314。完整的 API 参数请参阅 lora_llama3_1_70b。