llama3_tokenizer¶
- torchtune.models.llama3.llama3_tokenizer(path: str, special_tokens_path: Optional[str] = None, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant','ipython'], Tuple[str, str]]]] = None) Llama3Tokenizer[source]¶
Llama3 的分词器。
- 参数：
path (str) – 分词器的路径
special_tokens_path (Optional[str]) – 指向 Hugging Face 模型文件中
tokenizer.json的路径，该文件包含所有注册的特殊分词，或结构相似的本地 json 文件。默认值为 None，表示使用规范的 Llama3 特殊分词。max_seq_len (Optional[int]) – 对单个消息列表进行分词的最大序列长度，超过此长度输入将被截断。默认值为 None。
prompt_template (Optional[_TemplateType]) – 可选指定的提示模板。如果是一个字符串，则假定它是
PromptTemplateInterface类的一个点路径。如果是一个字典，则假定它是一个将角色映射到 prepend/append 标签的自定义提示模板。
- 返回值：
Llama3 分词器的实例
- 返回类型：
Llama3Tokenizer
