快捷方式

stack_exchange_paired_dataset

torchtune.datasets.stack_exchange_paired_dataset(tokenizer: ModelTokenizer, *, source: str = 'lvwerra/stack-exchange-paired', column_map: Optional[Dict[str, str]] = None, train_on_input: bool = False, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) PreferenceDataset[源代码]

类似于 Stack Exchange 配对数据集 的偏好数据集系列。

建议将分词器与 QuestionAnswerTemplate 结合使用,用于此数据集。

参数:
  • tokenizer (ModelTokenizer) – 模型使用的分词器,该模型实现了 tokenize_messages 方法。

  • source (str) – Hugging Face 上数据集存储库的路径。对于本地数据集,将 source 定义为数据文件类型(例如“json”、“csv”、“text”),并在 data_files 中传入文件路径。有关更多详细信息,请参阅 Hugging Faceload_dataset

  • column_map (Optional[Dict[str, str]]) – 映射,用于将预期的“prompt”、“chosen”和“rejected”列名更改为数据集中实际的列名。键应为“prompt”、“chosen”和“rejected”,值应为实际的列名。默认值为 None,保留默认列名。

  • train_on_input (bool) – 模型是否在提示上进行训练。默认值为 False。

  • split (str) – split 针对 datasets.load_dataset 的参数。您可以使用此参数加载给定拆分的子集,例如 split="train[:10%]"。默认值为“train”。

  • **load_dataset_kwargs (Dict[str, Any]) – 传递给 load_dataset 的其他关键字参数。

返回:

从源配对数据构建的偏好数据集。

返回类型:

PreferenceDataset

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源