gemma_tokenizer¶
- torchtune.models.gemma.gemma_tokenizer(path: str, max_seq_len: Optional[int] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]]] = None) GemmaTokenizer[source]¶
Gemma 的分词器。
- 参数：
path (str) – 分词器路径
max_seq_len (Optional[int]) – 对单个消息列表进行分词时的最大序列长度，超过此长度，输入将被截断。默认值为 None。
prompt_template (Optional[_TemplateType]) – 指定的可选提示模板。如果为字符串，则假定它是
PromptTemplateInterface类的点路径。如果为字典，则假定它是一个自定义提示模板，将角色映射到前缀/后缀标记。
- 返回值：
Gemma 分词器的实例化
- 返回类型：
GemmaTokenizer
