IoPathFileOpener

class torchdata.datapipes.iter.IoPathFileOpener(source_datapipe: IterDataPipe[str], mode: str = 'r', pathmgr=None, handler=None)

打开来自输入 datapipe 的文件，该输入 datapipe 包含路径名或 URL，并生成路径名和打开的文件流的元组（函数名称：open_files_by_iopath）。

参数：

• source_datapipe – 提供路径名或 URL 的 Iterable DataPipe

• mode – 一个可选字符串，指定打开文件的方式（默认值为"r"）

• pathmgr – 自定义iopath.PathManager。如果未指定，则创建一个默认的PathManager。

注意

默认PathManager当前支持本地文件路径、普通 HTTP URL 和 OneDrive URL。仅当iopath>=0.1.9 时才支持 S3 URL。

示例

from torchdata.datapipes.iter import IoPathFileLister

datapipe = IoPathFileLister(root=s3_url)
file_dp = datapipe.open_files_by_iopath()