快捷方式

Bz2FileLoader

class torchdata.datapipes.iter.Bz2FileLoader(datapipe: Iterable[Tuple[str, BufferedIOBase]], length: int = - 1)

从包含路径名和 bz2 二进制流元组的可迭代 DataPipe 解压缩 bz2 二进制流,并生成路径名和提取的二进制流的元组(函数名:load_from_bz2)。

参数::
  • datapipe – 提供路径名和 bz2 二进制流元组的可迭代 DataPipe

  • length – DataPipe 的名义长度

注意

如果附加了默认的 DecoderDataPipe,则打开的文件句柄将自动关闭。否则,用户应负责显式关闭文件句柄,或让 Python 的 GC 定期关闭它们。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> datapipe1 = FileLister(".", "*.bz2")
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> bz2_loader_dp = datapipe2.load_from_bz2()
>>> for _, stream in bz2_loader_dp:
>>>     print(stream.read())
b'0123456789abcdef'

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源