the_cauldron_dataset¶

torchtune.datasets.multimodal.the_cauldron_dataset(model_transform: Transform, *, subset: str = 'orcvqa', source: str = 'HuggingFaceM4/the_cauldron', column_map: Optional[Dict[str, str]] = None, new_system_prompt: Optional[str] = None, packed: bool = False, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) → SFTDataset[source]¶

支持类似 Hugging Face Datasets 中 The Cauldron 的图像 + 文本数据集系列。

The Cauldron 包含许多数据集。你可以使用 subset 参数指定其中一个数据集。默认值是 orcvqa 数据集。

model transform 预期是一个可调用对象，用于应用模型特定的预处理步骤。对于多模态数据集，这至少需要一个分词器和一个图像变换。数据集转换为 Message 列表后，分词器会将文本序列转换为 token ID。图像变换会加载图像并根据模型要求进行处理。

这是一个用于说明的最小示例

from torchtune.models.llama3 import llama3_tokenizer
from torchtune.models.clip import CLIPImageTransform
from torchtune.modules.transforms import Transform

class MyModelTransform(Transform):
    def __init__(
        self,
        tokenizer_path: str,
        max_seq_len: Optional[int] = None,
    ):
        self.tokenizer = llama3_tokenizer(tokenizer_path)
        self.image_transform = CLIPImageTransform()

    def __call__(self, sample: Mapping[str, Any]) -> Mapping[str, Any]:
        tokens, mask = self.tokenizer.tokenize_messages(sample["messages"])
        images = self.image_transform(sample["images"])
        return {
            "tokens": tokens,
            "mask": mask,
            "images": images,
        }

有关模型变换和消息变换的更多详细信息，请参阅 SFTDataset。

参数：

model_transform (Transform) – 模型特定的变换类，它接受一个样本字典并对其中的键应用自定义变换。它至少应包含两个组件：文本分词（在“messages”字段上调用）和图像变换（在“images”字段上调用）。模型变换返回的键应与模型的预期输入对齐。
subset (str) – 要加载的数据集子集的名称。默认值为 orcvqa，其他选项请参阅数据集卡片。
source (str) – Hugging Face 上数据集仓库的路径。对于本地数据集，将 source 定义为数据文件类型（例如“json”、“csv”、“text”），并在 data_files 中传入文件路径。更多详细信息请参阅Hugging Face 的 load_dataset。默认值为 HuggingFaceM4/the_cauldron。
column_map (Optional[Dict[str, str]]) – 一个映射，用于将预期的“images”和“texts”列名更改为数据集中实际的列名。默认值为 None，保留默认列名。
new_system_prompt (Optional[str]) – 如果指定，则预置一条系统消息。这可以用作指导模型响应的指令。设置此参数将覆盖数据集中已有的任何系统消息。默认值为 None。
packed (bool) – 在训练前是否将数据集打包到 max_seq_len。默认值为 False。
filter_fn (Optional[Callable]) – 用于在任何预处理之前过滤数据集的可调用对象。更多详细信息请参阅 Hugging Face 文档。
split (str) – datasets.load_dataset 的 split 参数。你可以使用此参数加载给定 split 的子集，例如 split="train[:10%]"。默认值为“train”。
**load_dataset_kwargs (Dict[str, Any]) – 要传递给 load_dataset 的其他关键字参数。更多详细信息请参阅 Hugging Face 的 API 参考。

返回值：

配置了源数据和变换的数据集

返回值类型：

SFTDataset

抛出：

ValueError – 如果 packed 为 True，多模态数据集尚不支持此功能。

示例

>>> cauldron_ds = the_cauldron_dataset(model_transform=model_transform, subset="ai2d")
>>> for batch in Dataloader(cauldron_ds, batch_size=8):
>>>     print(f"Batch size: {len(batch)}")
>>> Batch size: 8

the_cauldron_dataset¶

文档

教程

资源