HuggingFaceHubReader

class torchdata.datapipes.iter.HuggingFaceHubReader(dataset: str, **config_kwargs)

接收数据集名称并返回一个可迭代的 HuggingFace 数据集。有关每个参数的含义和类型，请参阅 https://hugging-face.cn/docs/datasets/loading。与他们的实现相反，默认行为在以下方面有所不同

• streaming 设置为 True

参数：

• dataset – 数据集的路径或名称

• **config_kwargs – datasets.load_dataset() 的其他参数

示例

huggingface_reader_dp = HuggingFaceHubReader("lhoestq/demo1", revision="main")
elem = next(iter(huggingface_reader_dp))
assert elem["package_name"] == "com.mantz_it.rfanalyzer"