torchtune.data

文本模板

指令提示和聊天提示的模板。包括一些针对不同数据集和模型的特定格式。

GrammarErrorCorrectionTemplate	用于语法错误纠正任务的提示模板。
SummarizeTemplate	用于摘要任务的提示模板。
QuestionAnswerTemplate	用于问题回答任务的提示模板。
PromptTemplate	通过传入字典来快速定义自定义提示模板，该字典将角色映射到 prepend 和 append 标签。例如，要实现以下提示模板::。
PromptTemplateInterface	提示模板的接口。
ChatMLTemplate	OpenAI 的 聊天标记语言，由其聊天模型使用。

类型

消息	此类表示微调数据集中的单个消息。
角色	别名 Literal['system', 'user', 'assistant', 'ipython']

消息变换

将来自通用模式和对话 JSON 格式的数据转换为 torchtune Message 的列表。

InputOutputToMessages	消息变换类，用于将具有“input”和“output”字段（或 column_map 中指定的等效字段）的单个样本分别转换为用户和助手消息。这对于具有两列的数据集很有用，一列包含用户提示字符串，另一列包含模型响应字符串::。
ShareGPTToMessages	将符合 ShareGPT JSON 结构的单个聊天样本转换为 torchtune 的 Message 结构。
OpenAIToMessages	将符合 OpenAI 聊天完成 JSON 结构的单个聊天样本转换为 torchtune 的 Message 结构。
ChosenRejectedToMessages	用于转换来自具有“chosen”和“rejected”列的数据集的单个样本的变换，这些列包含到首选和拒绝消息列表的对话。例如::。
AlpacaToMessages	Alpaca 风格数据集的消息变换类，具有“instruction”、“input”和“output”（或 column_map 中指定的等效字段）列。

Collaters

用于将样本收集到批次中并处理任何填充的 Collaters。

padded_collate	通用填充整理函数，用于从给定的 pad_direction 中填充一批序列中的 keys_to_pad 条目，使其达到批次中每个条目的最大序列长度。
padded_collate_tiled_images_and_mask	填充一批文本序列、平铺图像张量、宽高比和交叉注意力掩码。
padded_collate_sft	将一批序列填充到批次中最长的序列长度，并将整数列表转换为张量。
padded_collate_dpo	为直接偏好优化 (DPO) 填充一批序列。
left_pad_sequence	此函数与 torch.nn.utils.rnn.pad_sequence() 相同，但会将可变长度张量列表从左侧填充到最长序列的长度。

辅助函数

用于修改数据的各种辅助函数。

validate_messages	给定消息列表，确保消息形成有效的来回对话。
truncate	将令牌列表截断为最大长度。
load_image	从本地文件路径或远程源以 PIL 格式加载图像的便捷方法。
format_content_with_images	给定原始文本字符串，按指定的 image_tag 分割，并形成字典列表，以便在 Message 内容字段中使用。