博客

适用于 AMD ROCm™ 平台的 PyTorch 现已作为 Python 包提供

随着 PyTorch 1.8 版本的发布,我们很高兴地为 ROCm™ 开放软件平台上的 PyTorch 用户宣布一种新的安装选项。现在 pytorch.org 上托管了一个可安装的 Python 包,并提供了与仅支持 CPU 的配置及其他 GPU 平台相同的简便、可选择的本地安装说明。ROCm 上的 PyTorch 包含使用 AMD MIOpen 和 RCCL 库进行混合精度训练和大规模训练的全部功能。这为数据科学家、研究人员、学生及社区中的其他人提供了一个新选择,让他们能够使用 AMD GPU 轻松上手加速版 PyTorch。

ROCm 生态系统

ROCm 是 AMD 针对 GPU 加速高性能计算和机器学习的开源软件平台。自 2016 年最初发布以来,ROCm 平台不断演进,支持了更多的库和工具、更广泛的 Linux® 发行版以及一系列新的 GPU。这其中包括 AMD Instinct™ MI100,这是首款基于 AMD CDNA™ 架构的 GPU。

ROCm 生态系统在支持 PyTorch 方面有着悠久的历史。最初,它是作为 PyTorch 项目的一个分支来实现的,而最近则是通过上游 PyTorch 代码中的 ROCm 支持来实现的。PyTorch 用户可以使用 AMD 公开的 PyTorch Docker 镜像安装适用于 ROCm 的 PyTorch,当然也可以从源码构建适用于 ROCm 的 PyTorch。随着 PyTorch 1.8 的发布,这些现有的安装选项现在又增添了可安装的 Python 包这一新方式。

ROCm 的主要重点始终是规模化的高性能计算。ROCm 与 AMD Instinct 系列数据中心 GPU 的结合,特别适合数据中心规模下的高性能计算(HPC)挑战。随着 HPC 和机器学习(ML)工作流日益交织,PyTorch 自然非常契合这种环境。

上手适用于 ROCm 的 PyTorch

此版本 PyTorch 的适用范围是在 Linux 上运行且支持 ROCm 的 AMD GPU。ROCm 支持的 GPU 包括所有 AMD Instinct 系列计算专用数据中心 GPU,以及其他一些特定的 GPU。当前支持的 GPU 列表可以在 ROCm Github 仓库中找到。在确认目标系统包含支持的 GPU 和当前 4.0.1 版本的 ROCm 后,安装 PyTorch 的过程与安装其他任何 Python 包一样,使用简单的 Pip 安装命令即可。与适用于其他平台的 PyTorch 构建版一样,https://pytorch.ac.cn/get-started/locally/ 上的配置工具提供了需要运行的具体命令行。

适用于 ROCm 的 PyTorch 是基于上游 PyTorch 仓库构建的,是一个功能齐全的实现。值得注意的是,它包括对跨多个 GPU 的分布式训练的支持,并支持加速的混合精度训练。

更多信息

ROCm 支持的 GPU 和操作系统列表可在 https://github.com/RadeonOpenCompute/ROCm 查看。关于 ROCm 平台的常规文档可在 https://rocmdocs.amd.com/en/latest/ 找到。ROCm 学习中心位于 https://developer.amd.com/resources/rocm-resources/rocm-learning-center/。关于 AMD 在 HPC 和 ML 领域提供的产品信息,请访问 https://amd.com/hpc

反馈

活跃的用户群是 PyTorch 生态系统中非常重要的一部分。我们非常欢迎您在 PyTorch 讨论论坛上就适用于 ROCm 的 PyTorch 使用体验提供反馈,并在必要时通过 Github 报告任何问题。