torchtune.models

llama3 和 llama3.1

来自 Llama3 家族 的所有模型。

要下载 Llama3-8B-Instruct 模型

tune download meta-llama/Meta-Llama-3-8B-Instruct --hf-token <HF_TOKEN>

要下载 Llama3-70B-Instruct 模型

tune download meta-llama/Meta-Llama-3-70B-Instruct --hf-token <HF_TOKEN> --ignore-patterns "original/consolidated*"

要下载上述模型的 Llama3.1 权重，你可以改为从 Meta-Llama-3.1-8B-Instruct 或 Meta-Llama-3.1-70B-Instruct 下载。

llama3.llama3	构建与 Llama3 模型关联的解码器。
llama3.lora_llama3	返回 Llama3 的一个版本（TransformerDecoder() 的实例），它应用了 LoRA，并基于传入的配置。
llama3.llama3_8b	用于创建使用默认 8b 参数值初始化的 Llama3 模型的构建器。
llama3.lora_llama3_8b	用于创建启用 LoRA 的 Llama3 8B 模型的构建器。
llama3.qlora_llama3_8b	用于创建启用 QLoRA 的 Llama3 8B 模型的构建器。
llama3.llama3_70b	用于创建使用默认 70B 参数值初始化的 Llama3 模型的构建器。
llama3.lora_llama3_70b	用于创建启用 LoRA 的 Llama3 70B 模型的构建器。
llama3.qlora_llama3_70b	用于创建启用 QLoRA 的 Llama3 70B 模型的构建器。
llama3.llama3_tokenizer	Llama3 的分词器。
llama3.Llama3Tokenizer	使用 Llama3 Instruct 的特殊标记配置的 tiktoken 分词器，如 https://llama.meta.com/docs/model-cards-and-prompt-formats/meta-llama-3 中所述
llama3_1.llama3_1	构建与 Llama3.1 模型关联的解码器。
llama3_1.lora_llama3_1	返回 Llama3.1 的一个版本（TransformerDecoder() 的实例），它应用了 LoRA，并基于传入的配置。
llama3_1.llama3_1_8b	用于创建使用默认 8b 参数值初始化的 Llama3.1 模型的构建器。
llama3_1.lora_llama3_1_8b	用于创建启用 LoRA 的 Llama3.1 8B 模型的构建器。
llama3_1.qlora_llama3_1_8b	用于创建启用 QLoRA 的 Llama3.1 8B 模型的构建器。
llama3_1.llama3_1_70b	用于创建使用默认 70B 参数值初始化的 Llama3.1 模型的构建器。
llama3_1.lora_llama3_1_70b	用于创建启用 LoRA 的 Llama3.1 70B 模型的构建器。
llama3_1.qlora_llama3_1_70b	用于创建启用 QLoRA 的 Llama3.1 70B 模型的构建器。

注意

Llama3.1 分词器重复使用 llama3.llama3_tokenizer 构建器类。

llama2

来自 Llama2 家族 的所有模型。

要下载 Llama2-7B 模型

tune download meta-llama/Llama-2-7b-hf --hf-token <HF_TOKEN>

要下载 Llama2-13B 模型

tune download meta-llama/Llama-2-13b-hf --hf-token <HF_TOKEN>

要下载 Llama2-70B 模型

tune download meta-llama/Llama-2-70b-hf --hf-token <HF_TOKEN>

llama2.llama2	构建与 Llama2 模型关联的解码器。
llama2.lora_llama2	返回 Llama2 的一个版本（TransformerDecoder() 的实例），它应用了 LoRA，并基于传入的配置。
llama2.llama2_7b	用于从 https://arxiv.org/abs/2307.09288 创建使用默认 7B 参数值初始化的 Llama2 模型的构建器
llama2.lora_llama2_7b	用于创建启用 LoRA 的 Llama2 7B 模型的构建器。
llama2.qlora_llama2_7b	用于创建启用 QLoRA 的 Llama2 7B 模型的构建器。
llama2.llama2_13b	用于从 https://arxiv.org/abs/2307.09288 创建使用默认 13B 参数值初始化的 Llama2 模型的构建器
llama2.lora_llama2_13b	用于创建启用 LoRA 的 Llama2 13B 模型的构建器。
llama2.qlora_llama2_13b	用于创建启用 QLoRA 的 Llama2 13B 模型的构建器。
llama2.llama2_70b	用于从 https://arxiv.org/abs/2307.09288 创建使用默认 70B 参数值初始化的 Llama2 模型的构建器
llama2.lora_llama2_70b	用于创建启用 LoRA 的 Llama2 70B 模型的构建器。
llama2.qlora_llama2_70b	用于创建启用 QLoRA 的 Llama2 70B 模型的构建器。
llama2.llama2_tokenizer	Llama2 的分词器。
llama2.Llama2Tokenizer	Llama2 的 SentencePiece 分词器实现。

code llama

来自 Code Llama 家族 的模型。

要下载 CodeLlama-7B 模型

tune download codellama/CodeLlama-7b-hf --hf-token <HF_TOKEN>

code_llama2.code_llama2_7b	用于从 https://arxiv.org/pdf/2308.12950.pdf 创建使用默认 7B 参数值初始化的 Code-Llama2 模型的构建器
code_llama2.lora_code_llama2_7b	用于创建启用 LoRA 的 Code-Llama2 7B 模型的构建器。
code_llama2.qlora_code_llama2_7b	用于创建启用 QLoRA 的 Code-Llama2 7B 模型的构建器。
code_llama2.code_llama2_13b	用于从 https://arxiv.org/pdf/2308.12950.pdf 创建使用默认 13B 参数值初始化的 Code-Llama2 模型的构建器
code_llama2.lora_code_llama2_13b	用于创建启用 LoRA 的 Code-Llama2 13B 模型的构建器。
code_llama2.qlora_code_llama2_13b	用于创建启用 QLoRA 的 Code-Llama2 13B 模型的构建器。
code_llama2.code_llama2_70b	用于从 https://arxiv.org/pdf/2308.12950.pdf 创建使用默认 70B 参数值初始化的 Code-Llama2 模型的构建器
code_llama2.lora_code_llama2_70b	用于创建启用 LoRA 的 Code-Llama2 70B 模型的构建器。
code_llama2.qlora_code_llama2_70b	用于创建启用 QLoRA 的 Code-Llama2 70B 模型的构建器。

phi-3

来自 Phi-3 mini 家族 的模型。

要下载 Phi-3 Mini 4k instruct 模型

tune download microsoft/Phi-3-mini-4k-instruct --hf-token <HF_TOKEN> --ignore-patterns ""

phi3.phi3	param vocab_size: 词汇表中的标记数。
phi3.lora_phi3	返回 Phi3 的一个版本（TransformerDecoder() 的实例），它应用了 LoRA，并基于传入的配置。
phi3.phi3_mini	用于创建 Phi3 Mini 4K Instruct 模型的构建器。
phi3.lora_phi3_mini	用于创建启用 LoRA 的 Phi3 Mini（3.8b）模型的构建器。
phi3.qlora_phi3_mini	用于创建启用 QLoRA 的 Phi3 mini 模型的构建器。
phi3.phi3_mini_tokenizer	Phi-3 Mini 分词器。
phi3.Phi3MiniTokenizer	使用 Phi3 Mini 的特殊标记配置的 SentencePiece 分词器。

mistral

来自 Mistral AI 家族 的所有模型。

要下载 Mistral 7B v0.1 模型

tune download mistralai/Mistral-7B-v0.1 --hf-token <HF_TOKEN>

mistral.mistral	构建与 mistral 模型关联的解码器。
mistral.lora_mistral	返回 Mistral 的一个版本（TransformerDecoder() 的实例），它应用了 LoRA，并基于传入的配置。
mistral.mistral_classifier	构建一个带有附加分类层的基 mistral 模型。
mistral.lora_mistral_classifier	返回 Mistral 分类器（TransformerDecoder() 的实例）的版本，其中 LoRA 应用于其自注意力模块中的一些线性层。
mistral.mistral_7b	用于创建 Mistral 7B 模型的构建器，该模型使用来自 https://mistral.org.cn/news/announcing-mistral-7b/ 的默认 7b 参数值进行初始化。
mistral.lora_mistral_7b	用于创建启用 LoRA 的 Mistral 7B 模型的构建器。
mistral.qlora_mistral_7b	用于创建启用 QLoRA 的 Mistral 模型的构建器。
mistral.mistral_classifier_7b	用于创建 Mistral 7B 分类器模型的构建器，该模型使用来自：https://hugging-face.cn/Ray2333/reward-model-Mistral-7B-instruct-Unified-Feedback 的默认 7b 参数值进行初始化。
mistral.lora_mistral_classifier_7b	用于创建启用 LoRA 的 Mistral 分类器 7B 模型的构建器。
mistral.qlora_mistral_classifier_7b	用于创建启用 QLoRA 的 Mistral 分类器模型的构建器。
mistral.mistral_tokenizer	Mistral 模型的词法分析器。
mistral.MistralTokenizer	Mistral 对 SentencePiece 词法分析器的实现。

gemma

来自 Gemma 家族 的大小为 2B 和 7B 的模型。

要下载 Gemma 2B 模型

tune download google/gemma-2b --hf-token <HF_TOKEN> --ignore-patterns ""

要下载 Gemma 7B 模型

tune download google/gemma-7b --hf-token <HF_TOKEN> --ignore-patterns "gemma-7b.gguf"

gemma.gemma	构建与 gemma 模型关联的解码器。
gemma.lora_gemma	返回 Gemma 的版本，其中 LoRA 应用于传入的配置。
gemma.gemma_2b	用于创建 Gemma 2B 模型的构建器，该模型使用来自：https://blog.google/technology/developers/gemma-open-models/ 的默认 2b 参数值进行初始化。
gemma.lora_gemma_2b	用于创建启用 LoRA 的 Gemma 2B 模型的构建器。
gemma.qlora_gemma_2b	用于创建启用 QLoRA 的 Gemma 模型的构建器。
gemma.gemma_7b	用于创建 Gemma 7B 模型的构建器，该模型使用来自：https://blog.google/technology/developers/gemma-open-models/ 的默认 7b 参数值进行初始化。
gemma.lora_gemma_7b	用于创建启用 LoRA 的 Gemma 7B 模型的构建器。
gemma.qlora_gemma_7b	用于创建启用 QLoRA 的 Gemma 模型的构建器。
gemma.gemma_tokenizer	Gemma 的词法分析器。
gemma.GemmaTokenizer	Gemma 对 SentencePiece 词法分析器的实现。