第 2 期

欢迎阅读 PyTorch 通讯的第二期！在本期中，了解我们如何在首届 PyTorch 生态系统日 (PTED) 上庆祝 PyTorch 社区，发现面向 PyTorch 开发者的全新播客，并了解 PyTorch 前端的重大更新。

PyTorch 生态系统日

Piotr Bialecki（英伟达高级软件工程师）讲述了使用 PyTorch 的历程，并展望了 PyTorch 的未来。Miquel Farré（迪士尼高级技术经理）谈到了使用 PyTorch 生态系统对所有迪士尼内容进行标注的 Creative Genome 项目。Ritchie Ng（Hessian Matrix 首席执行官）谈论了亚太地区人工智能的发展，以及如何使用 PyTorch 进行生产级人工智能用例。社区成员通过 71 张海报和弹出式分组会议展示了他们如何使用 PyTorch。查看所有海报，并在此收听开幕主题演讲！

PyTorch 开发者播客

Edward Yang（Facebook AI 研究工程师）讨论了内部开发概念，例如将 C++ 绑定到 Python、调度程序、PyTorch 的库结构等。查看这个新的系列，每集约 15 分钟。 收听 即可，无论您使用哪个播客平台。

前向模式 AD

基于“对偶张量”的前向模式 AD 的核心逻辑现已包含在 PyTorch 中。所有用于操作此类张量的 API、代码生成和视图处理都在master (1.9.0a0)中。Gradcheck 和第一组公式将在下个月添加；对所有 PyTorch 函数、自定义自动梯度函数和高阶梯度的全面支持将在今年晚些时候实现。详细了解此内容，或与@albanD 分享您的反馈，了解相应的RFC。

将复数共轭设为惰性

PR #54987使对复数张量执行共轭操作会返回一个视图，该视图具有特殊的is_conj()位被翻转。除了通过不创建完整的张量来节省内存外，如果后续操作可以直接处理共轭输入，则这将有可能加速。对于此类操作（如gemm），将一个标志传递给低级 API；对于其他操作，将在传递给操作之前先将共轭实例化。

torch.use_deterministic_algorithms 处于稳定状态

torch.use_deterministic_algorithms() (文档) 处于master (1.9.0a0)中的稳定状态。如果为 True，则该标志会将非确定性操作切换到其确定性实现（如果可用），否则会抛出RuntimeError。

torch.linalg 和 torch.special

torch.linalg 现在处于稳定状态；该模块与 NumPy 的 np.linalg 线性代数函数保持一致。torch.special（测试版）包含 scipy.special 中的函数。这是跟踪问题，如果您想为 torch.special 贡献函数，可以参考。如果您想要列表中尚未包含的函数，请在跟踪问题中告知您的用例以及为什么应该添加该函数。

将 AMP 推广到 CPU

@ezyang: 英特尔有兴趣将自动混合精度带到[RFC] Extend Autocast to CPU/CUDA with BF16 data type · Issue #55374 · pytorch/pytorch ·中的 CPU。一个重大问题是 CPU 上的自动广播的 API 应该是什么；我们应该提供一个单一的、通用化的 API torch.autocast（请记住，CPU 自动广播将通过 bfloat16 进行，而现有的 GPU 自动广播是通过 float16 进行的），还是为 CPU/CUDA 提供单独的 API？如果您对此主题有任何想法或意见，请在该问题中发表您的意见。

您喜欢阅读本通讯吗？您还想了解更多关于哪些内容？欢迎并感谢您提供所有反馈！若要分享您的建议，请使用此表格，或者直接回复此邮件。

第 1 期

欢迎阅读 PyTorch 贡献者通讯的第一期！跟踪 PyTorch 开发者世界中发生的所有事情是一项艰巨的任务；您将在此找到精选的新闻，包括 RFC、功能路线图、值得注意的 PR、开发人员社论等。如果您对本通讯有任何问题或建议，请直接回复此邮件。

PyTorch 1.8.0

PyTorch 1.8 于 3 月 4 日发布，支持使用torch.fx进行函数式转换，稳定了用于科学计算的前端 API（torch.fft、torch.linalg、复数张量的自动梯度）以及对分布式训练的重大改进。阅读完整的发行说明。

PyTorch 生态系统日

4 月 21 日，我们将为我们的生态系统和行业社区举办一场虚拟活动，以展示他们的工作，并发现合作的新机会。这一天将通过海报、分组会议和网络活动，围绕新发展、趋势、挑战和最佳实践展开讨论。

PyTorch 开源流程

@ezyang 描述了维护 PyTorch 规模项目的挑战，以及帮助 PyTorch 有效运行的当前开源流程（分类和 CI 值班、RFC 讨论）。

开发者论坛

我们推出了 https://dev-discuss.pytorch.org/，这是一个低流量、高信号的论坛，用于进行有关 PyTorch 内部机制的深入讨论。

[RFC] DataLoader v2

@VitalyFedyunin 提议重新设计 DataLoader，以支持延迟加载、分片、流水线数据操作（包括异步操作）以及以更模块化的方式进行混洗和采样。加入此处的讨论。

[RFC] 改进 TorchScript 的可用性

在 3 篇博客文章（1、2、3）中，@t-vi 探讨了改进 TorchScript 用户和开发者体验的想法。

[RFC] CSR 和 DM 存储格式用于稀疏张量

@pearu 提议了一个RFC，通过以下方式提高线性代数操作的性能：

• 实现 CSR 存储格式，其中二维数组由形状和压缩行索引、列索引和值（PyTorch 一维张量）的一维张量定义
• 引入维度映射存储格式，该格式使用存储和包装元素之间的双射映射将二维 CSR 泛化为多维数组。

[RFC] 前向模式 AD

@albanD 提议了一个RFC，使用基于张量的对偶数来实现前向模式自动微分，其中实部表示张量，而对偶部分存储张量的向前梯度。该功能的核心已在(PR)中落地，更多公式正在开发中。完整的向前模式 AD 预计将在 2021 年 7 月落地。