qwen2_5_0_5b¶
- torchtune.models.qwen2_5.qwen2_5_0_5b() TransformerDecoder [源代码]¶
用于创建 Qwen2.5 模型(基础模型或指令模型)的构建器,使用来自 https://hugging-face.cn/Qwen/Qwen2.5-0.5B-Instruct 的默认 0.5B 参数值初始化
- 返回:
Qwen2.5 0.5B 模型的实例化
- 返回类型:
注意
Qwen2.5 0.5B-3B 模型构建器默认启用
tie_word_embeddings
(参见qwen2()
)