stack_exchange_paired_dataset
- torchtune.datasets.stack_exchange_paired_dataset(tokenizer: ModelTokenizer, *, source: str = 'lvwerra/stack-exchange-paired', column_map: Optional[Dict[str, str]] = None, train_on_input: bool = False, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) PreferenceDataset [源代码]
类似于 Stack Exchange 配对数据集 的偏好数据集系列。
建议将分词器与
QuestionAnswerTemplate
结合使用,用于此数据集。- 参数:
tokenizer (ModelTokenizer) – 模型使用的分词器,该模型实现了
tokenize_messages
方法。source (str) – Hugging Face 上数据集存储库的路径。对于本地数据集,将 source 定义为数据文件类型(例如“json”、“csv”、“text”),并在
data_files
中传入文件路径。有关更多详细信息,请参阅 Hugging Face 的load_dataset
。column_map (Optional[Dict[str, str]]) – 映射,用于将预期的“prompt”、“chosen”和“rejected”列名更改为数据集中实际的列名。键应为“prompt”、“chosen”和“rejected”,值应为实际的列名。默认值为 None,保留默认列名。
train_on_input (bool) – 模型是否在提示上进行训练。默认值为 False。
split (str) –
split
针对datasets.load_dataset
的参数。您可以使用此参数加载给定拆分的子集,例如split="train[:10%]"
。默认值为“train”。**load_dataset_kwargs (Dict[str, Any]) – 传递给
load_dataset
的其他关键字参数。
- 返回:
从源配对数据构建的偏好数据集。
- 返回类型: