第 2 期

欢迎阅读第二期 PyTorch 简报！在本期中，我们将介绍如何在首届 PyTorch 生态系统日 (PTED) 上庆祝 PyTorch 社区，探索面向 PyTorch 开发者的全新播客，并了解 PyTorch 前端的重大更新。

PyTorch 生态系统日

Piotr Bialecki（NVIDIA 高级软件工程师）谈到了他使用 PyTorch 的历程，以及他对 PyTorch 未来发展的看法。Miquel Farré（迪士尼高级技术经理）介绍了使用 PyTorch 生态系统对所有迪士尼内容进行注释的 Creative Genome 项目。Ritchie Ng（Hessian Matrix 首席执行官）谈到了人工智能在亚太地区的增长，以及如何开始使用 PyTorch 处理生产中的人工智能用例。社区成员通过 71 张海报和弹出式分组讨论展示了他们如何使用 PyTorch。请在此处查看所有海报并收听开幕主题演讲！

PyTorch 开发者播客

Edward Yang（Facebook AI 研究工程师）讨论了内部开发概念，例如在 Python 中绑定 C++、调度器、PyTorch 的库结构等。敬请收听这个新系列；每集约 15 分钟。收听地址，无论您在哪里获取播客。

正向模式自动微分

正向模式自动微分（基于“对偶张量”）的核心逻辑现在已在 PyTorch 中。所有用于操作此类张量、代码生成和视图处理的 API 都已在 master (1.9.0a0) 中。Gradcheck 和第一组公式将在下个月添加；今年晚些时候将全面支持所有 PyTorch 函数、自定义 Autograd 函数和高阶梯度。请阅读更多相关信息，或在相应的 RFC 上与 @albanD 分享您的反馈。

使复共轭运算延迟

PR #54987 使复张量上的共轭运算返回一个视图，该视图具有一个特殊的 is_conj() 位翻转。除了通过不创建完整张量来节省内存外，如果后续运算可以直接处理共轭输入，则这还可以提高速度。对于此类运算（如 gemm），会将一个标志传递给低级 API；对于其他运算，则会在传递给运算之前实现共轭。

torch.use_deterministic_algorithms 稳定

torch.use_deterministic_algorithms() (文档) 在 master (1.9.0a0) 中稳定。如果为 True，则该标志会将非确定性运算切换到其确定性实现（如果可用），如果不可用则抛出 RuntimeError。

torch.linalg 和 torch.special

torch.linalg 现在稳定；该模块保持与 NumPy 的 np.linalg 线性代数函数的保真度。torch.special（测试版）包含 scipy.special 中的函数。如果您想为 torch.special 贡献函数，请参阅跟踪问题。如果您想要的函数不在列表中，请在跟踪问题上告诉我们您的用例以及为什么要添加它。

将 AMP 推广到 CPU 上工作

@ezyang：英特尔有意在 [RFC] Extend Autocast to CPU/CUDA with BF16 data type · Issue #55374 · pytorch/pytorch · 中为 CPU 引入自动混合精度。一个重要的问题是，用于自动转换的 API 在 CPU 上应该是什么；我们应该提供一个单一的、通用的 API torch.autocast（请记住，CPU 自动转换将通过 bfloat16，而现有的 GPU 自动转换是通过 float16），还是为 CPU/CUDA 提供单独的 API？如果您对这个问题有任何想法或意见，请在问题中发表您的意见。

您喜欢阅读这份简报吗？您想了解更多关于哪些方面的信息？欢迎您提出任何反馈！要分享您的建议，请使用此表单或直接回复此电子邮件。

第 1 期

欢迎阅读第一期 PyTorch 贡献者简报！跟踪 PyTorch 开发者世界中发生的一切是一项艰巨的任务；在这里，您将找到精选的新闻，包括 RFC、功能路线图、值得注意的 PR、开发者的社论等。如果您对简报有任何疑问或建议，请直接回复此电子邮件。

PyTorch 1.8.0

PyTorch 1.8 已于 3 月 4 日发布，支持使用 torch.fx 进行函数转换，稳定了用于科学计算的前端 API（torch.fft、torch.linalg、复张量的自动梯度）并显著改进了分布式训练。阅读完整的发行说明。

PyTorch 生态系统日

4 月 21 日，我们将为我们的生态系统和行业社区举办一场虚拟活动，展示他们的工作并发现新的合作机会。当天将通过海报、分组讨论和联谊活动，围绕新发展、趋势、挑战和最佳实践进行讨论。

PyTorch 开源流程

@ezyang 描述了维护 PyTorch 规模项目的挑战，以及当前的开源流程（分类和 CI 待命、RFC 讨论），以帮助 PyTorch 有效运作。

开发者论坛

我们推出了 https://dev-discuss.pytorch.org/，这是一个低流量、高信号的论坛，用于就 PyTorch 内部结构进行长篇讨论。

[RFC] Dataloader v2

@VitalyFedyunin 建议重新设计 DataLoader，以更模块化的方式支持延迟加载、分片、流水线数据操作（包括异步）以及混洗和采样。请在此处加入讨论。

[RFC] 改进 TorchScript 的可用性

在一系列 3 篇博文中（1、2、3），@t-vi 探讨了改进 TorchScript 的用户和开发者体验的想法。

[RFC] 稀疏张量的 CSR 和 DM 存储格式

@pearu 提出了一项 RFC，通过以下方式提高线性代数运算的性能：

• 实现 CSR 存储格式，其中二维数组由形状和一维张量定义，用于压缩行索引、列索引和值（PyTorch 一维张量）
• 引入维度映射存储格式，该格式使用存储元素和包装器元素之间的双射映射将二维 CSR 推广到多维数组。

[RFC] 正向模式自动微分

@albanD 提出了一项 RFC，使用基于张量的对偶数实现正向模式自动微分，其中实部表示张量，*对偶*部分存储张量的正向梯度。该功能的核心已登陆 (PR)，更多公式正在开发中。完整的正向模式自动微分预计将于 2021 年 7 月登陆。