注意
2024 年 6 月状态更新:移除 DataPipes 和 DataLoader V2
我们正在重新聚焦 torchdata 仓库,使其成为 torch.utils.data.DataLoader 的迭代增强。我们不计划继续开发或维护 [DataPipes] 和 [DataLoaderV2] 解决方案,它们将从 torchdata 仓库中移除。我们还将重新审视 pytorch/pytorch 中的 DataPipes 引用。在 torchdata==0.8.0 版本(2024 年 7 月)中,它们将被标记为已弃用,并在 0.10.0 版本(2024 年末)中删除。建议现有用户锁定到 torchdata<=0.9.0 或更旧版本,直到他们能够迁移为止。后续版本将不包含 DataPipes 或 DataLoaderV2。如果您有建议或意见,请联系我们(请使用 此 issue 进行反馈)
TorchData¶
此库是 PyTorch 项目的一部分。PyTorch 是一个开源机器学习框架。
torchdata
是一个 Beta 库,包含用于轻松构建灵活且高性能数据管道的通用模块化数据加载原语。并且,还有一些功能仍处于原型阶段。
本文档中描述的功能按发布状态分类
稳定版: 这些功能将长期维护,通常不应存在重大的性能限制或文档缺失。我们还期望保持向后兼容性(尽管可能会发生重大更改,并且会提前一个版本发布通知)。
Beta 版: 功能被标记为 Beta 版,因为 API 可能会根据用户反馈而更改,或者因为性能需要改进,或者因为跨运算符的覆盖范围尚未完整。对于 Beta 版功能,我们承诺将该功能推进到稳定版。但是,我们不承诺向后兼容性。
原型版: 这些功能通常不作为 PyPI 或 Conda 等二进制发行版的一部分提供,除非有时在运行时标志之后,并且处于早期反馈和测试阶段。
教程和示例