torchtune.models¶

llama3¶

来自 Llama3 家族的所有模型。

tune download meta-llama/Meta-Llama-3-8B --hf-token <ACCESS_TOKEN>

`llama3.llama3_8b`	用于创建使用默认 8b 参数值初始化的 Llama3 模型的构建器。
`llama3.lora_llama3_8b`	用于创建启用 LoRA 的 Llama3 8B 模型的构建器。
`llama3.qlora_llama3_8b`	用于创建启用 QLoRA 的 Llama3 模型的构建器。

来自 Llama2 家族的所有模型。

可以使用以下命令从 Hugging Face Hub 下载预训练模型

tune download meta-llama/Llama-2-7b-hf --hf-token <ACCESS_TOKEN>

`llama2.llama2_7b`	用于创建使用来自 https://arxiv.org/abs/2307.09288 的默认 7b 参数值初始化的 Llama2 模型的构建器。
`llama2.lora_llama2_7b`	用于创建启用 LoRA 的 Llama2 7B 模型的构建器。
`llama2.qlora_llama2_7b`	用于创建启用 QLoRA 的 Llama2 模型的构建器。
`llama2.llama2_13b`	用于创建使用来自 https://arxiv.org/abs/2307.09288 的默认 13b 参数值初始化的 Llama2 模型的构建器。
`llama2.lora_llama2_13b`	用于创建启用 LoRA 的 Llama2 13B 模型的构建器。
`llama2.qlora_llama2_13b`	用于创建启用 LoRA 的 Llama2 13B 模型的构建器。
`llama2.llama2_70b`	用于创建使用来自 https://arxiv.org/abs/2307.09288 的默认 70b 参数值初始化的 Llama2 模型的构建器。
`llama2.lora_llama2_70b`	用于创建启用 LoRA 的 Llama2 70B 模型的构建器。

来自 Mistral AI 家族的所有模型。

可以使用以下命令从 Hugging Face Hub 下载预训练模型

tune download mistralai/Mistral-7B-v0.1

`mistral.mistral_7b`	用于创建使用来自 https://mistral.org.cn/news/announcing-mistral-7b/ 的默认 7b 参数值初始化的 Mistral 7B 模型的构建器。
`mistral.lora_mistral_7b`	用于创建启用 LoRA 的 Mistral 7B 模型的构建器。
`mistral.qlora_mistral_7b`	用于创建启用 QLoRA 的 Mistral 模型的构建器。

来自 Gemma 家族的所有模型。

可以使用以下命令从 Hugging Face Hub 下载预训练模型

tune download google/gemma-2b --hf-token <ACCESS_TOKEN> --ignore-patterns ""

用于创建使用来自：https://blog.google/technology/developers/gemma-open-models/ 的默认 2b 参数值初始化的 Gemma 2B 模型的构建器。