ModelType

class torchtune.training.ModelType(value, names=None, *, module=None, qualname=None, type=None, start=1, boundary=None)

ModelType 用于检查点器区分不同的模型架构。

如果您正在添加一个与存储库中已有的模型格式不同的新模型，您可以添加一个新的 ModelType 来控制特定于该模型的权重转换逻辑。

变量：

• GEMMA (str) – Gemma 系列模型。请参阅 gemma()

• LLAMA2 (str) – Llama2 系列模型。请参阅 llama2()

• LLAMA3 (str) – Llama3 系列模型。请参阅 llama3()

• LLAMA3_2 (str) – Llama3.2 系列模型。请参阅 llama3_2()

• LLAMA3_VISION (str) – LLama3 视觉系列模型。请参阅 llama3_2_vision_decoder()

• MISTRAL (str) – Mistral 系列模型。请参阅 mistral()

• PHI3_MINI (str) – Phi-3 系列模型。请参阅 phi3()

• REWARD (str) – 带有分类头的 Llama2、Llama3 或 Mistral 模型，该分类头投影到单个类别以进行奖励建模。请参阅 mistral_reward_7b() 或 llama2_reward_7b()

• QWEN2 (str) – Qwen2 系列模型。请参阅 qwen2()

示例

>>> # Usage in a checkpointer class
>>> def load_checkpoint(self, ...):
>>>     ...
>>>     if self._model_type == MY_NEW_MODEL:
>>>         state_dict = my_custom_state_dict_mapping(state_dict)