FSSpecFileLister

class torchdata.datapipes.iter.FSSpecFileLister(root: Union[str, Sequence[str], IterDataPipe], masks: Union[str, List[str]] = '', **kwargs)

列出提供的 root 路径名或 URL 中目录的内容，并生成目录中每个文件的完整路径名或 URL（功能名称：list_files_by_fsspec）。

参数：

• root – 要从中列出文件的根 fsspec 路径目录或路径目录列表

• masks – 用于过滤文件名(s) 的 Unix 样式过滤器字符串或字符串列表

• kwargs – 对特定存储连接有意义的其他选项，例如主机、端口、用户名、密码等。

示例

from torchdata.datapipes.iter import FSSpecFileLister

datapipe = FSSpecFileLister(root=dir_path)