cnn_dailymail_articles_dataset¶
- torchtune.datasets.cnn_dailymail_articles_dataset(tokenizer: ModelTokenizer, source: str = 'ccdv/cnn_dailymail', max_seq_len: Optional[int] = None, filter_fn: Optional[Callable] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) TextCompletionDataset[source]¶
支持类似于 CNN / DailyMail 的数据集系列，这是一个新闻文章语料库。此构建器仅提取文章，不提取摘要，用于通用文本补全任务。
- 参数:
tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了
tokenize_messages方法。source (str) – 数据集的路径字符串，Hugging Face 的
load_dataset支持的任何内容 (https://hugging-face.cn/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)max_seq_len (Optional[int]) – 返回的输入和标签 token id 列表中的最大 token 数。默认为 None，禁用截断。我们建议将其设置为您可以放入内存并受模型支持的最大值。例如，llama2-7B 支持的最大序列长度为 4096。
filter_fn (Optional[Callable]) – 用于在任何预处理之前过滤数据集的可调用对象。有关更多详细信息，请参阅 Hugging Face 文档。
split (str) –
datasets.load_dataset的split参数。您可以使用此参数加载给定 split 的子集，例如split="train[:10%]"。默认为“train”。**load_dataset_kwargs (Dict[str, Any]) – 传递给
load_dataset的其他关键字参数。
- 返回:
配置的 TextCompletionDataset
- 返回类型:
