分片过滤器¶

class torchdata.datapipes.iter.ShardingFilter(source_datapipe: IterDataPipe, sharding_group_filter=None)¶

允许数据管道进行分片的包装器（功能名称：sharding_filter）。

在调用 apply_sharding 后，数据管道的每个实例（在不同的工作进程上）将包含原始数据管道的每个第 n 个元素，其中 n 等于实例数。