TFRecordLoader

class torchdata.datapipes.iter.TFRecordLoader(datapipe: Iterable[Tuple[str, BufferedIOBase]], spec: Optional[Dict[str, Tuple[Tuple[int, ...], dtype]]] = None, length: int = - 1)

从一个包含路径名和 tfrecord 二进制流的元组的 Iterable DataPipe 中打开/解压缩 tfrecord 二进制流，并生成存储的记录（函数名：load_from_tfrecord）。

参数：

• datapipe – 提供路径名和 tfrecord 二进制流的元组的 Iterable DataPipe

• length – DataPipe 的名义长度

注意

如果附加了默认的 DecoderDataPipe，则打开的文件句柄将自动关闭。否则，用户应负责显式关闭文件句柄或让 Python 的 GC 定期关闭它们。

示例

>>> from torchdata.datapipes.iter import FileLister, FileOpener
>>> datapipe1 = FileLister(".", "*.tfrecord")
>>> datapipe2 = FileOpener(datapipe1, mode="b")
>>> tfrecord_loader_dp = datapipe2.load_from_tfrecord()
>>> for example in tfrecord_loader_dp:
>>>     print(example)