llama3_2_vision_transform¶
- torchtune.models.llama3_2_vision.llama3_2_vision_transform(path: str, max_seq_len: int = 8192, image_size: int = 560, special_tokens_path: Optional[str] = None, prompt_template: Optional[Union[str, Dict[Literal['system', 'user', 'assistant', 'ipython'], Tuple[str, str]]]] = None) Llama3VisionTransform [source]¶
Llama3 Vision 的数据变换(包括分词器)。
- 参数:
path (str) – 分词器的路径
max_seq_len (int) – 对单个消息列表进行分词的最大序列长度,超过此长度后输入将被截断。
image_size (int) – 图像将进行平铺和缩放的基础图像尺寸。对于 Instruct 权重,默认值为 560;对于预训练权重,请使用 448。
special_tokens_path (Optional[str]) – Hugging Face 模型文件中包含所有已注册特殊标记的
tokenizer.json
路径,或结构类似的本地 json 文件。默认值为 None,表示使用标准的 Llama3 特殊标记。prompt_template (Optional[_TemplateType]) – 可选的指定提示模板。如果是一个字符串,则假定它是
PromptTemplateInterface
类的一个点路径。如果是一个字典,则假定它是一个自定义提示模板,将角色映射到前置/后置标签。
- 返回值:
Llama 3.2 vision transform 的实例化对象
- 返回类型: