qlora_gemma2_27b

torchtune.models.gemma2.qlora_gemma2_27b(lora_attn_modules: List[Literal['q_proj', 'k_proj', 'v_proj', 'output_proj']], apply_lora_to_mlp: bool = False, lora_rank: int = 8, lora_alpha: float = 16, lora_dropout: float = 0.0, use_dora: bool = False, *, quantize_base: bool = True) → TransformerDecoder

用于创建一个启用 QLoRA 的 Gemma 模型。根据 QLoRA 论文 (https://arxiv.org/abs/2305.14314)，应用 LoRA 的线性层的基础模型权重会被量化。有关完整的 API 参数，请参阅 lora_gemma2_27b。