torchtune.datasets¶

有关详细的通用用法指南，请参阅数据集概述。

文本数据集¶

torchtune 支持几种广泛使用的纯文本数据集，以帮助您快速启动微调。

`alpaca_dataset`	支持来自 Hugging Face Datasets 的 Alpaca 风格数据集系列，使用数据输入格式和来自原始 alpaca 代码库的提示模板，其中 `instruction`、 `input` 和 `output` 是数据集中的字段。
`alpaca_cleaned_dataset`	用于构建 Alpaca 风格数据集变体的构建器，该变体使用了原始 Alpaca 数据集的清理版本，yahma/alpaca-cleaned。
`grammar_dataset`	支持来自 Hugging Face Datasets 的语法纠错数据集及其变体。
`hh_rlhf_helpful_dataset`	构建类似于 Anthropic 的 helpful/harmless RLHF 数据的偏好数据集。
`samsum_dataset`	支持来自 Hugging Face Datasets 的摘要数据集及其变体。
`slimorca_dataset`	支持 SlimOrca 风格的对话数据集系列。
`stack_exchange_paired_dataset`	类似于 Stack Exchange Paired 数据集的偏好数据集系列。
`cnn_dailymail_articles_dataset`	支持类似于 CNN / DailyMail 的数据集系列，这是一个新闻文章语料库。
`wikitext_dataset`	支持类似于 wikitext 的数据集系列，wikitext 是一个由维基百科全文文章组成的非结构化文本语料库。

`multimodal.llava_instruct_dataset`	支持类似于来自 Hugging Face Datasets 的 LLaVA-Instruct-150K 的图像 + 文本数据集系列。
`multimodal.the_cauldron_dataset`	支持类似于来自 Hugging Face Datasets 的 The Cauldron 的图像 + 文本数据集系列。
`multimodal.vqa_dataset`	配置自定义视觉问答数据集，其中包含用户问题、图像和模型响应的单独列。

torchtune 还支持用于常见格式（如聊天模型和指令模型）的通用数据集构建器。这些对于从 YAML 配置文件中指定尤其有用。

`instruct_dataset`	配置包含用户指令提示和模型响应的自定义数据集。
`chat_dataset`	配置包含用户和模型助手之间对话的自定义数据集。
`preference_dataset`	配置包含用户和模型助手之间交互的自定义偏好数据集。
`text_completion_dataset`	从类似于预训练中使用的数据集的自由形式、非结构化文本语料库构建可配置的数据集。

上述数据集构建器的类表示。

`TextCompletionDataset`	用于任何非结构化文本语料库的自由形式数据集。
`ConcatDataset`	用于将多个子数据集连接到单个数据集的数据集类。
`PackedDataset`	对提供的数据集执行贪婪样本打包。
`PreferenceDataset`	用于通过偏好建模技术（例如，训练用于 RLHF 的偏好模型，或通过 DPO 直接优化模型）在来自 Hugging Face Hub、本地文件或远程文件的偏好数据集上进行微调的主要类。此类要求数据集具有“chosen”（已选择）和“rejected”（已拒绝）模型响应。这些通常是用户和助手之间在单独列中的完整对话：：。
`SFTDataset`	用于从 Hugging Face Hub、本地文件或远程文件创建任何用于监督微调的数据集的主要类。