IoPathFileLister

class torchdata.datapipes.iter.IoPathFileLister(root: Union[str, Sequence[str], IterDataPipe], masks: Union[str, List[str]] = '', *, pathmgr=None, handler=None)

列出提供的 root 路径名或 URL 中的目录内容，并生成目录中每个文件的完整路径名或 URL（功能名称：list_files_by_iopath）。

参数：

• root – 要列出文件所在的根本地文件路径或 URL 目录，或根路径列表

• masks – 用于筛选文件名的 Unix 风格筛选字符串或字符串列表

• pathmgr – 自定义 iopath.PathManager。如果未指定，将创建默认的 PathManager。

注意

默认的 PathManager 目前支持本地文件路径、普通 HTTP URL 和 OneDrive URL。仅当 iopath>=0.1.9 时才支持 S3 URL。

示例

from torchdata.datapipes.iter import IoPathFileLister

datapipe = IoPathFileLister(root=s3_url)