wikitext_dataset

torchtune.datasets.wikitext_dataset(tokenizer: ModelTokenizer, source: str = 'EleutherAI/wikitext_document_level', subset: str = 'wikitext-103-v1', max_seq_len: Optional[int] = None, packed: bool = False, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) → Union[TextCompletionDataset, PackedDataset]

支持类似于 wikitext 的数据集系列，它是一个非结构化文本语料库，包含来自维基百科的完整文章。

参数:

• tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了 tokenize_messages 方法。

• source (str) – Hugging Face 上数据集库的路径。对于本地数据集，将 source 定义为数据文件类型（例如，“json”、“csv”、“text”），并在 data_files 中传递文件路径。有关更多详细信息，请参阅 Hugging Face 的 load_dataset (https://hugging-face.cn/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path）。

• subset (str) – 要使用的数据集子集的名称，请参阅 wikitext 页面 以了解可用的子集。默认值为 "wikitext-103-v1"。

• max_seq_len (Optional[int]) – 返回的输入和标签令牌 ID 列表中的最大令牌数。默认值为 None，禁用截断。我们建议将其设置为您可以在内存中容纳的最大值，并且模型支持它。例如，llama2-7B 支持高达 4096 的序列长度。

• packed (bool) – 是否在训练之前将数据集打包到 max_seq_len。默认值为 False。

• split (str) – split 是 datasets.load_dataset 的参数。您可以使用此参数加载给定拆分的子集，例如 split="train[:10%]"。默认值为“train”。

• **load_dataset_kwargs (Dict[str, Any]) – 要传递给 load_dataset 的其他关键字参数。

返回值:

已配置的 TextCompletionDataset

或 PackedDataset 如果 packed=True

返回类型:

Union[TextCompletionDataset, PackedDataset]