samsum_dataset

torchtune.datasets.samsum_dataset(tokenizer: ModelTokenizer, *, source: str = 'Samsung/samsum', column_map: Optional[Dict[str, str]] = None, train_on_input: bool = False, new_system_prompt: Optional[str] = None, packed: bool = False, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) → Union[SFTDataset, PackedDataset]

支持来自 Hugging Face 数据集的摘要数据集及其变体。例如 SAMsum 数据集。

建议将分词器与 SummarizeTemplate 结合使用，以配合此数据集。

训练期间提示的掩码由 train_on_input 标志控制，默认设置为 False - 如果 train_on_input 为 True，则在训练期间使用提示并将其纳入损失计算。 - 如果 train_on_input 为 False，则提示会被屏蔽（标记替换为 -100）

参数：

• tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了 tokenize_messages 方法。

• source (str) – Hugging Face 上数据集存储库的路径。对于本地数据集，将 source 定义为数据文件类型（例如“json”、“csv”、“text”），在 data_files 中传递文件路径，并设置 split="train"。有关更多详细信息，请参阅 Hugging Face 的 load_dataset。默认为 Samsung/samsum。

• column_map (Optional[Dict[str, str]]) – 将消息转换 InputOutputToMessages 中的预期列映射到数据集中新列名。键应为“input”和“output”，值应为实际列名。如果为 None，则在 Samsung/samsum 中使用默认列名 {"input": "dialogue", "output": "summary"}。

• train_on_input (bool) – 模型是否在提示上进行训练。默认为 False。

• new_system_prompt (Optional[str]) – 如果指定，则在每个样本前添加系统消息。这可以作为指导模型响应的指令。设置此选项将覆盖数据集中已存在的任何系统消息。默认为 None。

• packed (bool) – 是否将数据集打包到分词器的 max_seq_len 中，以供训练前使用。默认为 False。

• split (str) – datasets.load_dataset 的 split 参数。您可以使用此参数加载给定分割的子集，例如 split="train[:10%]"。默认为“train”。

• **load_dataset_kwargs (Dict[str, Any]) – 传递给 load_dataset 的其他关键字参数。

返回:

配置了源数据和模板的数据集

返回类型:

Union[SFTDataset, PackedDataset]

引发:

ValueError – 如果 packed=True 且 tokenizer.max_seq_len 未设置。

示例

>>> samsum_ds = samsum_dataset(model_transform=tokenizer)
>>> for batch in Dataloader(samsum_ds, batch_size=8):
>>>     print(f"Batch size: {len(batch)}")
>>> Batch size: 8