mistral_tokenizer¶
- torchtune.models.mistral.mistral_tokenizer(path: str, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user','assistant', 'ipython'], Tuple[str, str]]]] = 'torchtune.models.mistral.MistralChatTemplate') MistralTokenizer[source]¶
用于 Mistral 模型的 tokenizer。
- 参数:
path (str) – tokenizer 的路径
max_seq_len (Optional[int]) – 对单个消息列表进行分词的最大序列长度，超出此长度输入将被截断。默认为 None。
prompt_template (Optional[_TemplateType]) – 可选指定的提示模板。如果为字符串，则假定为
PromptTemplateInterface类的点路径。如果为字典，则假定为将角色映射到前置/后置标签的自定义提示模板。默认为MistralChatTemplate。
- 返回值:
Mistral tokenizer 的实例化
- 返回类型:
MistralTokenizer
