Batcher¶
- class torchdata.datapipes.iter.Batcher(datapipe: IterDataPipe, batch_size: int, drop_last: bool = False, wrapper_class=List)¶
创建数据的迷你批次(函数名称:
batch
)。如果
drop_last
设置为True
,则会添加一个外维度作为batch_size
,或者如果drop_last
设置为False
,则最后一个批次为length % batch_size
。- 参数:
datapipe – 正在进行批处理的可迭代 DataPipe
batch_size – 每个批次的大小
drop_last – 是否丢弃最后一个不完整的批次
wrapper_class – 应用于每个批次的包装器(类型
List
),默认为DataChunk
示例
>>> # xdoctest: +SKIP >>> from torchdata.datapipes.iter import IterableWrapper >>> dp = IterableWrapper(range(10)) >>> dp = dp.batch(batch_size=3, drop_last=True) >>> list(dp) [[0, 1, 2], [3, 4, 5], [6, 7, 8]]