llama3_tokenizer

torchtune.models.llama3.llama3_tokenizer(path: str, special_tokens_path: Optional[str] = None, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]]] = None) → Llama3Tokenizer

Llama3 的分词器。

参数：

• path (str) – 分词器的路径

• special_tokens_path (Optional[str]) – Hugging Face 模型文件中的 tokenizer.json 路径，其中包含所有已注册的特殊标记，或结构类似的本地 json 文件。默认为 None，使用规范的 Llama3 特殊标记。

• max_seq_len (Optional[int]) – 对单个消息列表进行分词时的最大序列长度，超过此长度后输入将被截断。默认为 None。

• prompt_template (Optional[_TemplateType]) – 可选指定的提示模板。如果为字符串，则假定为 PromptTemplateInterface 类的点路径。如果为字典，则假定为自定义提示模板，将角色映射到前缀/后缀标记。

返回值：

Llama3 分词器的实例化

返回类型：

Llama3Tokenizer