cnn_dailymail_articles_dataset¶
- torchtune.datasets.cnn_dailymail_articles_dataset(tokenizer: ModelTokenizer, source: str = 'ccdv/cnn_dailymail', max_seq_len: Optional[int] = None, split: str = 'train', **load_dataset_kwargs: Dict[str, Any]) TextCompletionDataset[source]¶
支持类似于 CNN/DailyMail 的数据集系列，这是一个新闻文章语料库。此构建器仅提取文章，不提取用于一般文本补全任务的要点。
- 参数：
tokenizer (ModelTokenizer) – 模型使用的分词器，该模型实现了
tokenize_messages方法。source (str) – 数据集的路径字符串，Hugging Face 的
load_dataset支持的任何内容 (https://hugging-face.cn/docs/datasets/en/package_reference/loading_methods#datasets.load_dataset.path)max_seq_len (Optional[int]) – 返回的输入和标签 token id 列表中的最大 token 数。默认为 None，禁用截断。我们建议将其设置为可以在内存中容纳的最大值，并且模型支持该值。例如，llama2-7B 支持的最大序列长度为 4096。
split (str) –
split参数用于datasets.load_dataset。您可以使用此参数加载给定拆分的子集，例如split="train[:10%]"。默认为“train”。**load_dataset_kwargs (Dict[str, Any]) – 传递给
load_dataset的其他关键字参数。
- 返回值：
已配置的 TextCompletionDataset
- 返回类型：
