stack_exchange_paired_dataset

torchtune.datasets.stack_exchange_paired_dataset(tokenizer: ModelTokenizer, *, source: str = 'lvwerra/stack-exchange-paired', column_map: Optional[Dict[str, str]] = None, train_on_input: bool = False, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) → PreferenceDataset

类似于 Stack Exchange Paired 数据集 的偏好数据集系列。

建议将分词器配置为与 QuestionAnswerTemplate 结合使用此数据集。

参数:

• tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了 tokenize_messages 方法。

• source (str) – Hugging Face 上数据集仓库的路径。对于本地数据集，将 source 定义为数据文件类型（例如 “json”、“csv”、“text”），并在 data_files 中传入文件路径。 请参阅 Hugging Face 的 load_dataset 以获取更多详细信息。默认为 lvwerra/stack-exchange-paired。

• column_map (Optional[Dict[str, str]]) – 用于将预期的 “prompt”、“chosen” 和 “rejected” 列名更改为数据集中实际列名的映射。 键应为 “prompt”、“chosen” 和 “rejected”，值应为实际列名。 默认为 None，保留默认列名。

• train_on_input (bool) – 模型是否在提示上进行训练。 默认为 False。

• filter_fn (Optional[Callable]) – 用于在任何预处理之前过滤数据集的可调用对象。 有关更多详细信息，请参阅 Hugging Face 文档。

• split (str) – datasets.load_dataset 的 split 参数。 您可以使用此参数加载给定拆分的子集，例如 split="train[:10%]"。 默认为 “train”。

• **load_dataset_kwargs (Dict[str, Any]) – 传递给 load_dataset 的其他关键字参数。

返回:

从源配对数据构建的偏好数据集。

返回类型:

PreferenceDataset