qwen2_0_5b

torchtune.models.qwen2.qwen2_0_5b() → TransformerDecoder

用于创建 Qwen2 模型的构建器，使用来自 https://hugging-face.cn/Qwen/Qwen2-0.5B-Instruct 的默认 0.5B 参数值进行初始化

返回值:

Qwen2 0.5B 模型的实例化

返回类型:

TransformerDecoder

注意

Qwen2 0.5B 和 Qwen2 1.5B 模型构建器默认启用 tie_word_embeddings，并返回 TransformerDecoder 的实例。