FSSpecFileOpener

class torchdata.datapipes.iter.FSSpecFileOpener(source_datapipe: IterDataPipe[str], mode: str = 'r', *, kwargs_for_open: Optional[Dict] = None, **kwargs)

从包含 fsspec 路径的输入 datapipe 中打开文件，并生成路径名和打开的文件流的元组（函数名称：open_files_by_fsspec）。

参数:

• source_datapipe – 提供路径名或 URL 的可迭代 DataPipe

• mode – 一个可选字符串，指定打开文件的模式（默认情况下为 "r"）

• kwargs_for_open – 可选 Dict，用于指定打开文件的 kwargs（fs.open()）

• kwargs – 用于建立特定存储连接的额外选项，例如主机、端口、用户名、密码等。

示例

from torchdata.datapipes.iter import FSSpecFileLister

datapipe = FSSpecFileLister(root=dir_path)
file_dp = datapipe.open_files_by_fsspec()