数值精度

在现代计算机中，浮点数使用 IEEE 754 标准表示。有关浮点运算和 IEEE 754 标准的更多详细信息，请参阅 浮点运算 尤其要注意，浮点提供有限的精度（单精度浮点数约为 7 位小数，双精度浮点数约为 16 位小数），并且浮点加法和乘法不具有结合性，因此运算顺序会影响结果。因此，PyTorch 不能保证对数学上相同的浮点计算产生逐位相同的結果。同样，在 PyTorch 版本、单个提交或不同平台之间也不能保证逐位相同的結果。特别是，即使对于逐位相同的输入，即使在控制随机性来源之后，CPU 和 GPU 结果也可能不同。

批处理计算或切片计算

PyTorch 中的许多操作都支持批处理计算，其中对输入批次中的元素执行相同的操作。例如 torch.mm() 和 torch.bmm()。可以将批处理计算实现为对批次元素的循环，并将必要的数学运算应用于各个批次元素，出于效率原因，我们没有这样做，并且通常对整个批次执行计算。我们调用的数学库以及 PyTorch 对操作的内部实现，在这种情况下，与非批处理计算相比，可能会产生略微不同的结果。特别是，令 A 和 B 为适合批处理矩阵乘法的维度的 3D 张量。然后 (A@B)[0]（批处理结果的第一个元素）不能保证与 A[0]@B[0]（输入批次的第一个元素的矩阵乘积）逐位相同，即使在数学上它是一个相同的计算。

类似地，应用于张量切片的运算不能保证产生与应用于完整张量的相同运算的切片结果相同。例如，令 A 为一个二维张量。 A.sum(-1)[0] 不能保证与 A[:,0].sum() 位相等。

极值

当输入包含大值，以至于中间结果可能溢出所用数据类型的范围时，最终结果也可能溢出，即使它在原始数据类型中是可表示的。例如：

import torch
a=torch.tensor([1e20, 1e20]) # fp32 type by default
a.norm() # produces tensor(inf)
a.double().norm() # produces tensor(1.4142e+20, dtype=torch.float64), representable in fp32

线性代数 (torch.linalg)

非有限值

torch.linalg 使用的外部库（后端）在其输入具有非有限值（如 inf 或 NaN）时的行为没有保证。因此，PyTorch 也没有。这些操作可能会返回一个包含非有限值的张量，或者抛出异常，甚至会导致段错误。

在调用这些函数之前，请考虑使用 torch.isfinite() 来检测这种情况。

linalg 中的极值

torch.linalg 中的函数比其他 PyTorch 函数具有更多 极值。

求解器 和 逆矩阵 假设输入矩阵 A 是可逆的。如果它接近不可逆（例如，如果它有一个非常小的奇异值），那么这些算法可能会默默地返回不正确的结果。这些矩阵被称为 病态矩阵。如果提供病态矩阵作为输入，这些函数的结果在不同设备上使用相同输入时，或者通过关键字 driver 使用不同后端时，可能会有所不同。

当输入矩阵的奇异值非常接近时，诸如 svd、eig 和 eigh 这样的谱运算可能会返回错误的结果（并且它们的梯度可能为无穷大）。这是因为用于计算这些分解的算法难以针对这些输入收敛。

在 float64 中运行计算（如 NumPy 默认情况下所做的那样）通常会有所帮助，但在所有情况下都无法解决这些问题。通过 torch.linalg.svdvals() 分析输入的谱或通过 torch.linalg.cond() 分析其条件数可能有助于检测这些问题。

Nvidia Ampere（及更高版本）设备上的 TensorFloat-32(TF32)

在 Ampere（及更高版本）的 Nvidia GPU 上，PyTorch 可以使用 TensorFloat32 (TF32) 来加速数学密集型操作，特别是矩阵乘法和卷积。当使用 TF32 张量核心执行操作时，只读取输入尾数的前 10 位。这可能会降低精度并产生意外结果（例如，将矩阵乘以单位矩阵可能会产生与输入不同的结果）。默认情况下，TF32 张量核心在矩阵乘法中被禁用，而在卷积中被启用，尽管大多数神经网络工作负载在使用 TF32 时具有与 fp32 相同的收敛行为。如果您的网络不需要完整的 float32 精度，我们建议使用 torch.backends.cuda.matmul.allow_tf32 = True 为矩阵乘法启用 TF32 张量核心。如果您的网络在矩阵乘法和卷积中都需要完整的 float32 精度，那么也可以使用 torch.backends.cudnn.allow_tf32 = False 为卷积禁用 TF32 张量核心。

有关更多信息，请参见 TensorFloat32。

FP16 和 BF16 GEMM 的精度降低

半精度 GEMM 操作通常在单精度中进行中间累加（减少），以提高数值精度并增强溢出恢复能力。为了提高性能，某些 GPU 架构，尤其是较新的架构，允许对中间累加结果进行一些截断以降低精度（例如，半精度）。从模型收敛的角度来看，这种变化通常是良性的，尽管它可能导致意外结果（例如，当最终结果应该可以用半精度表示时，出现 inf 值）。如果降低精度减少存在问题，可以使用 torch.backends.cuda.matmul.allow_fp16_reduced_precision_reduction = False 将其关闭。

BF16 GEMM 操作也存在类似的标志，默认情况下处于打开状态。如果 BF16 降低精度减少存在问题，可以使用 torch.backends.cuda.matmul.allow_bf16_reduced_precision_reduction = False 将其关闭。

有关更多信息，请参见 allow_fp16_reduced_precision_reduction 和 allow_bf16_reduced_precision_reduction。

AMD Instinct MI200 设备上的低精度 FP16 和 BF16 GEMM 和卷积

在 AMD Instinct MI200 GPU 上，FP16 和 BF16 V_DOT2 和 MFMA 矩阵指令将输入和输出非规格化值清零。FP32 和 FP64 MFMA 矩阵指令不会将输入和输出非规格化值清零。受影响的指令仅由 rocBLAS（GEMM）和 MIOpen（卷积）内核使用；所有其他 PyTorch 操作都不会遇到此行为。所有其他受支持的 AMD GPU 不会遇到此行为。

rocBLAS 和 MIOpen 为受影响的 FP16 操作提供备用实现。不提供 BF16 操作的备用实现；BF16 数字的动态范围大于 FP16 数字，不太可能遇到非规格化值。对于 FP16 备用实现，FP16 输入值被转换为中间 BF16 值，然后在累积 FP32 操作后转换回 FP16 输出。这样，输入和输出类型保持不变。

使用 FP16 精度训练时，某些模型可能无法收敛，因为 FP16 非规格化值被清零。非规格化值更常出现在训练期间梯度计算的反向传播过程中。默认情况下，PyTorch 将在反向传播过程中使用 rocBLAS 和 MIOpen 备用实现。可以使用环境变量 ROCBLAS_INTERNAL_FP16_ALT_IMPL 和 MIOPEN_DEBUG_CONVOLUTION_ATTRIB_FP16_ALT_IMPL 覆盖默认行为。这些环境变量的行为如下

	前向	反向
环境未设置	原始	备用
环境设置为 1	备用	备用
环境设置为 0	原始	原始

以下是可能使用 rocBLAS 的操作列表

• torch.addbmm

• torch.addmm

• torch.baddbmm

• torch.bmm

• torch.mm

• torch.nn.GRUCell

• torch.nn.LSTMCell

• torch.nn.Linear

• torch.sparse.addmm

• 以下 torch._C._ConvBackend 实现

  • slowNd

  • slowNd_transposed

  • slowNd_dilated

  • slowNd_dilated_transposed

以下是可能使用 MIOpen 的操作列表

• torch.nn.Conv[Transpose]Nd

• 以下 torch._C._ConvBackend 实现

  • ConvBackend::Miopen

  • ConvBackend::MiopenDepthwise

  • ConvBackend::MiopenTranspose