Bz2FileLoader¶
- class torchdata.datapipes.iter.Bz2FileLoader(datapipe: Iterable[Tuple[str, BufferedIOBase]], length: int = - 1)¶
从包含路径名和 bz2 二进制流元组的可迭代 DataPipe 解压缩 bz2 二进制流,并生成路径名和提取的二进制流的元组(函数名:
load_from_bz2
)。- 参数::
datapipe – 提供路径名和 bz2 二进制流元组的可迭代 DataPipe
length – DataPipe 的名义长度
注意
如果附加了默认的
DecoderDataPipe
,则打开的文件句柄将自动关闭。否则,用户应负责显式关闭文件句柄,或让 Python 的 GC 定期关闭它们。示例
>>> from torchdata.datapipes.iter import FileLister, FileOpener >>> datapipe1 = FileLister(".", "*.bz2") >>> datapipe2 = FileOpener(datapipe1, mode="b") >>> bz2_loader_dp = datapipe2.load_from_bz2() >>> for _, stream in bz2_loader_dp: >>> print(stream.read()) b'0123456789abcdef'