hh_rlhf_helpful_dataset¶
- torchtune.datasets.hh_rlhf_helpful_dataset(tokenizer: ModelTokenizer, *, source: str = 'RLHFlow/HH-RLHF-Helpful-standard', column_map: Optional[Dict[str, str]] = None, train_on_input: bool = False, new_system_prompt: Optional[str] = None, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) PreferenceDataset[source]¶
构建类似于 Anthropic 的 helpful/harmless RLHF 数据 的偏好数据集。这是原始数据集中已处理的 helpful 子集，格式已标准化。
- 参数:
tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了
tokenize_messages方法。source (str) – Hugging Face 上数据集仓库的路径。对于本地数据集，将 source 定义为数据文件类型（例如“json”、“csv”、“text”），并在
data_files中传入文件路径。有关更多详细信息，请参阅 Hugging Face 的load_dataset(https://hugging-face.cn/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)。默认为RLHFlow/HH-RLHF-Helpful-standard。column_map (Optional[Dict[str, str]]) – 从消息转换
ChosenRejectedToMessages中预期的列“chosen”和“rejected”到数据集中新列名的映射。键应为“chosen”和“rejected”，值应为实际的列名。如果为 None，则保留默认列“chosen”和“rejected”。train_on_input (bool) – 模型是否在提示上进行训练。默认为 False。
new_system_prompt (Optional[str]) – 如果指定，则为 chosen 和 rejected 的每个样本预先添加系统消息。这可以用作指导模型响应的指令。设置此项将覆盖数据集中已存在的任何系统消息。默认为 None。
filter_fn (Optional[Callable]) – 用于在任何预处理之前过滤数据集的可调用对象。有关更多详细信息，请参阅 Hugging Face 文档。
split (str) –
datasets.load_dataset的split参数。您可以使用此参数加载给定 split 的子集，例如split="train[:10%]"。默认为“train”。**load_dataset_kwargs (Dict[str, Any]) – 传递给
load_dataset的其他关键字参数。
- 返回值:
从源配对数据构建的偏好数据集。
- 返回类型:
