TextCompletionDataset

class torchtune.datasets.TextCompletionDataset(tokenizer: ModelTokenizer, source: str, column: str = 'text', add_eos: bool = True, filter_fn: Optional[Callable] = None, **load_dataset_kwargs: Dict[str, Any])

任何非结构化文本语料库的自由格式数据集。快速从 Hugging Face 或本地磁盘加载任何数据集，并为您的模型进行标记。

参数：:

• tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了 tokenize_messages 方法。

• source (str) – Hugging Face 上的数据集存储库路径。对于本地数据集，将源定义为数据文件类型（例如“json”、“csv”、“text”），并将文件路径传递到 data_files 中。有关更多详细信息，请参阅 Hugging Face 的 load_dataset (https://hugging-face.cn/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)。

• column (str) – 样本中包含文本数据的列的名称。这通常需要用于 Hugging Face 数据集或表格数据。对于包含单个列的本地数据集（例如非结构化 txt 文件），使用默认的“text”，这是 Hugging Face 数据集在加载到内存时使用的。默认值为“text”。

• add_eos (bool) – 是否在序列末尾添加 EOS 标记。默认值为 True。

• filter_fn (Optional[Callable]) – 在进行任何预处理之前用于过滤数据集的可调用函数。有关更多详细信息，请参阅 Hugging Face 文档。

• **load_dataset_kwargs (Dict[str, Any]) – 要传递给 load_dataset 的其他关键字参数，例如 data_files 或 split。