phi4_tokenizer

torchtune.models.phi4.phi4_tokenizer(vocab_path: str = None, merges_path: str = None, special_tokens_path: Optional[str] = None, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user','assistant', 'ipython'], Tuple[str, str]]]] = None) → Phi4Tokenizer

Phi4 分词器。

参数：

• vocab_path (str) – vocab.json 的路径。

• merges_path (str) – merges.txt 的路径。

• special_tokens_path (Optional[str]) – 指向 Hugging Face 模型文件中包含所有已注册特殊标记的 tokenizer.json 的路径，或结构相似的本地 json 文件。默认为 None，表示使用规范的 Phi4 特殊标记。

• max_seq_len (Optional[int]) – 对单个消息列表进行分词的最大序列长度，超过此长度的输入将被截断。默认为 None。

• prompt_template (Optional[_TemplateType]) – 可选的指定提示模板。如果为字符串，则假定它是 PromptTemplateInterface 类的点路径。如果为字典，则假定它是将角色映射到前置/后置标记的自定义提示模板。

返回值：

Phi-4 (14B) 分词器的实例化。

返回类型：

Phi4Tokenizer