phi3_mini_tokenizer¶
- torchtune.models.phi3.phi3_mini_tokenizer(path: str, special_tokens_path: Optional[str] = None, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]]] = None) Phi3MiniTokenizer[源代码]¶
Phi-3 Mini 分词器。参考：https://hugging-face.cn/microsoft/Phi-3-mini-4k-instruct/blob/main/tokenizer_config.json
- 参数：:
path (str) – SPM 分词器模型的路径。
special_tokens_path (Optional[str]) – 来自 Hugging Face 模型文件的
tokenizer.json的路径，其中包含所有注册的特殊标记，或者结构类似的本地 json 文件。默认值为 None，使用规范的 Phi3 特殊标记。max_seq_len (Optional[int]) – 在对单个消息列表进行分词时的最大序列长度，超过该长度，输入将被截断。默认值为 None。
prompt_template (Optional[_TemplateType]) – 可选的指定提示模板。如果为字符串，则假定它为
PromptTemplateInterface类的点路径。如果为字典，则假定它为自定义提示模板，将角色映射到预置/追加标签。
注意
此分词器包含典型的 LM EOS 和 BOS 标记，如 <s>、</s> 和 <unk>。但是，为了支持聊天完成，它还通过特殊标记进行了增强，例如 <endoftext> 和 <assistant>。
- 返回值：:
SPM 分词器的实例化。
- 返回值类型：:
Phi3MiniSentencePieceBaseTokenizer
