qwen2_5_tokenizer

torchtune.models.qwen2_5.qwen2_5_tokenizer(path: str, merges_file: str, special_tokens_path: Optional[str] = None, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]]]] = None, **kwargs) → Qwen2_5Tokenizer

Qwen2.5 的分词器。

参数：

• path (str) – vocab.json 文件的路径。

• merges_file (str) – merges.txt 文件的路径。

• special_tokens_path (Optional[str]) – Hugging Face 模型文件中包含所有已注册特殊 token 的 tokenizer.json 文件路径，或结构类似的本地 json 文件。默认为 None，使用规范的 Qwen2.5 特殊 token。

• max_seq_len (Optional[int]) – 截断 token 的最大序列长度。默认值：None

• prompt_template (Optional[_TemplateType]) – 可选指定的提示模板。如果是字符串，则假定是 PromptTemplateInterface 类的点路径。如果是字典，则假定是自定义提示模板，将角色映射到前置/后置标签。默认值：None。

返回值：

Qwen2.5 分词器的实例

返回类型：

Qwen2_5Tokenizer