wikitext_dataset

torchtune.datasets.wikitext_dataset(tokenizer: ModelTokenizer, source: str = 'EleutherAI/wikitext_document_level', subset: str = 'wikitext-103-v1', max_seq_len: Optional[int] = None, packed: bool = False, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) → Union[TextCompletionDataset, PackedDataset]

支持类似于 wikitext 的数据集系列，这是一个由维基百科完整文章组成的非结构化文本语料库。

参数：

• tokenizer (ModelTokenizer) – 模型使用的分词器，实现了 tokenize_messages 方法。

• source (str) – Hugging Face 上数据集仓库的路径。对于本地数据集，将 source 定义为数据文件类型（例如“json”、“csv”、“text”），并在 data_files 中传递文件路径。详情请参阅 Hugging Face 的 load_dataset (https://hugging-face.cn/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)。

• subset (str) – 要使用的数据子集的名称，请参阅 wikitext 页面了解可用子集。默认值为 "wikitext-103-v1"。

• max_seq_len (Optional[int]) – 返回的输入和标签 token id 列表中的最大 token 数量。默认为 None，禁用截断。我们建议将其设置为内存中能容纳的最高值，并且模型支持该值。例如，llama2-7B 支持最高序列长度为 4096。

• packed (bool) – 是否在训练前将数据集打包到 max_seq_len。默认为 False。

• filter_fn (Optional[Callable]) – 用于在任何预处理之前过滤数据集的可调用对象。详情请参阅 Hugging Face 文档。

• split (str) – datasets.load_dataset 的 split 参数。您可以使用此参数加载给定 split 的子集，例如 split="train[:10%]"。默认为“train”。

• **load_dataset_kwargs (Dict[str, Any]) – 传递给 load_dataset 的其他关键字参数。

返回：

配置好的 TextCompletionDataset

如果 packed=True，则返回 PackedDataset

返回类型：

Union[TextCompletionDataset, PackedDataset]