hh_rlhf_helpful_dataset¶
- torchtune.datasets.hh_rlhf_helpful_dataset(tokenizer: ModelTokenizer, *, source: str = 'RLHFlow/HH-RLHF-Helpful-standard', column_map: Optional[Dict[str, str]] = None, train_on_input: bool = False, new_system_prompt: Optional[str] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) PreferenceDataset[源代码]¶
构建类似于Anthropic 的有用/无害 RLHF 数据的偏好数据集。这是原始数据集的有用子集，经过处理并采用标准化格式。
- 参数：
tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了
tokenize_messages方法。source (str) – Hugging Face 上数据集存储库的路径。对于本地数据集，请将 source 定义为数据文件类型（例如“json”、“csv”、“text”），并在
data_files中传入文件路径。有关更多详细信息，请参阅 Hugging Face 的load_dataset(https://hugging-face.cn/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)。默认为RLHFlow/HH-RLHF-Helpful-standard。column_map (Optional[Dict[str, str]]) – 从消息转换
ChosenRejectedToMessages中预期的列“chosen”和“rejected”到数据集中新列名的映射。键应为“chosen”和“rejected”，值应为实际的列名。如果为 None，则保留默认列“chosen”和“rejected”。train_on_input (bool) – 模型是否在提示上进行训练。默认为 False。
new_system_prompt (Optional[str]) – 如果指定，则在“chosen”和“rejected”的每个样本前添加系统消息。这可以作为指导模型响应的说明。设置此选项将覆盖数据集中已存在的任何系统消息。默认为 None。
split (str) –
datasets.load_dataset的split参数。您可以使用此参数加载给定拆分的子集，例如split="train[:10%]"。默认为“train”。**load_dataset_kwargs (Dict[str, Any]) – 传递给
load_dataset的其他关键字参数。
- 返回值：
从源配对数据构建的偏好数据集。
- 返回类型：
