数值精度

在现代计算机中，浮点数使用 IEEE 754 标准表示。有关浮点运算和 IEEE 754 标准的更多详细信息，请参阅 浮点运算。 特别注意，浮点数提供的精度有限（单精度浮点数约为 7 位十进制数字，双精度浮点数约为 16 位十进制数字），并且浮点加法和乘法不具有结合律，因此运算顺序会影响结果。 因此，PyTorch 不保证对于数学上相同的浮点计算产生按位相同的结果。 同样，不保证跨 PyTorch 版本、各个提交或不同平台按位相同的结果。 特别是，即使对于按位相同的输入，即使在控制随机性来源之后，CPU 和 GPU 的结果也可能不同。

批量计算或切片计算

PyTorch 中的许多操作都支持批量计算，其中对输入批次的元素执行相同的操作。这方面的一个例子是 torch.mm() 和 torch.bmm()。 可以将批量计算实现为循环遍历批次元素，并将必要的数学运算应用于各个批次元素，但出于效率原因，我们没有这样做，通常对整个批次执行计算。 在这种情况下，与非批量计算相比，我们调用的数学库和 PyTorch 操作的内部实现可能会产生略有不同的结果。 特别是，假设 A 和 B 是 3D 张量，其维度适合批量矩阵乘法。 那么 (A@B)[0]（批量结果的第一个元素）不保证与 A[0]@B[0]（输入批次的第一个元素的矩阵积）按位相同，即使在数学上它是相同的计算。

类似地，应用于张量切片的操作不保证产生的结果与应用于完整张量的相同操作的结果切片相同。 例如，假设 A 是一个二维张量。 A.sum(-1)[0] 不保证与 A[:,0].sum() 按位相等。

极值

当输入包含较大的值，以至于中间结果可能溢出所用数据类型的范围时，即使最终结果可以在原始数据类型中表示，最终结果也可能溢出。例如：

import torch
a=torch.tensor([1e20, 1e20]) # fp32 type by default
a.norm() # produces tensor(inf)
a.double().norm() # produces tensor(1.4142e+20, dtype=torch.float64), representable in fp32

线性代数 (torch.linalg)

非有限值

torch.linalg 使用的外部库（后端）不保证在输入具有非有限值（如 inf 或 NaN）时的行为。 因此，PyTorch 也不保证。 操作可能会返回具有非有限值的张量，或引发异常，甚至发生段错误。

考虑在使用这些函数之前使用 torch.isfinite() 来检测这种情况。

linalg 中的极值

torch.linalg 中的函数比其他 PyTorch 函数具有更多的 极值。

求解器 和 逆矩阵 假定输入矩阵 A 是可逆的。 如果它接近不可逆（例如，如果它具有非常小的奇异值），那么这些算法可能会静默地返回不正确的结果。 这些矩阵被称为 病态条件。 如果提供病态条件输入，则当在不同设备上使用相同输入或通过关键字 driver 使用不同后端时，这些函数的结果可能会有所不同。

谱运算（如 svd、eig 和 eigh）当其输入具有彼此接近的奇异值时，也可能返回不正确的结果（并且它们的梯度可能是无限的）。 这是因为用于计算这些分解的算法难以收敛于这些输入。

在 float64 中运行计算（NumPy 默认情况下这样做）通常会有所帮助，但这并不能在所有情况下解决这些问题。 通过 torch.linalg.svdvals() 分析输入的频谱或通过 torch.linalg.cond() 分析其条件数可能有助于检测这些问题。

Nvidia Ampere（及更高版本）设备上的 TensorFloat-32(TF32)

在 Ampere（及更高版本）Nvidia GPU 上，PyTorch 可以使用 TensorFloat32 (TF32) 来加速数学密集型运算，特别是矩阵乘法和卷积。 当使用 TF32 张量核心执行操作时，仅读取输入尾数的前 10 位。 这可能会降低精度并产生令人惊讶的结果（例如，将矩阵乘以单位矩阵可能会产生与输入不同的结果）。 默认情况下，对于矩阵乘法禁用 TF32 张量核心，对于卷积启用 TF32 张量核心，尽管大多数神经网络工作负载在使用 TF32 时的收敛行为与使用 fp32 时的收敛行为相同。 如果您的网络不需要完整的 float32 精度，我们建议为矩阵乘法启用 TF32 张量核心 torch.backends.cuda.matmul.allow_tf32 = True。 如果您的网络在矩阵乘法和卷积方面都需要完整的 float32 精度，那么也可以使用 torch.backends.cudnn.allow_tf32 = False 为卷积禁用 TF32 张量核心。

有关更多信息，请参阅 TensorFloat32。

FP16 和 BF16 GEMM 的降低精度归约

半精度 GEMM 运算通常在单精度中进行中间累积（归约），以提高数值精度和增强对溢出的弹性。 为了提高性能，某些 GPU 架构，尤其是较新的架构，允许将中间累积结果截断为降低的精度（例如，半精度）。 从模型收敛的角度来看，这种更改通常是良性的，尽管它可能会导致意外的结果（例如，当最终结果应该可以在半精度中表示时出现 inf 值）。 如果降低精度归约存在问题，可以使用 torch.backends.cuda.matmul.allow_fp16_reduced_precision_reduction = False 关闭它们

BF16 GEMM 运算也存在类似的标志，默认情况下处于启用状态。 如果 BF16 降低精度归约存在问题，可以使用 torch.backends.cuda.matmul.allow_bf16_reduced_precision_reduction = False 关闭它们

有关更多信息，请参阅 allow_fp16_reduced_precision_reduction 和 allow_bf16_reduced_precision_reduction

缩放点积注意力 (SDPA) 中 FP16 和 BF16 的降低精度归约

当使用 FP16/BF16 输入时，朴素的 SDPA 数学后端可能会由于使用低精度中间缓冲区而累积显著的数值误差。 为了缓解此问题，默认行为现在涉及将 FP16/BF16 输入向上转换为 FP32。 计算在 FP32/TF32 中执行，然后将最终的 FP32 结果向下转换回 FP16/BF16。 这将提高具有 FP16/BF16 输入的数学后端的最终输出的数值精度，但会增加内存使用量，并可能导致数学后端性能下降，因为计算从 FP16/BF16 BMM 转移到 FP32/TF32 BMM/Matmul。

对于速度优先于精度降低归约的场景，可以使用以下设置启用它们： torch.backends.cuda.allow_fp16_bf16_reduction_math_sdp(True)

AMD Instinct MI200 设备上的降低精度 FP16 和 BF16 GEMM 和卷积

在 AMD Instinct MI200 GPU 上，FP16 和 BF16 V_DOT2 和 MFMA 矩阵指令将输入和输出非规范化值刷新为零。 FP32 和 FP64 MFMA 矩阵指令不会将输入和输出非规范化值刷新为零。 受影响的指令仅由 rocBLAS (GEMM) 和 MIOpen (卷积) 内核使用； 所有其他 PyTorch 操作都不会遇到此行为。 所有其他受支持的 AMD GPU 都不会遇到此行为。

rocBLAS 和 MIOpen 为受影响的 FP16 操作提供备用实现。 未提供 BF16 操作的备用实现； BF16 数字比 FP16 数字具有更大的动态范围，并且不太可能遇到非规范化值。 对于 FP16 备用实现，FP16 输入值被转换为中间 BF16 值，然后在累积 FP32 操作后转换回 FP16 输出。 这样，输入和输出类型保持不变。

当使用 FP16 精度进行训练时，某些模型可能无法在 FP16 非规范化值刷新为零的情况下收敛。 非规范化值更频繁地出现在训练的反向传播过程中，在梯度计算期间。 默认情况下，PyTorch 将在反向传播期间使用 rocBLAS 和 MIOpen 备用实现。 可以使用环境变量 ROCBLAS_INTERNAL_FP16_ALT_IMPL 和 MIOPEN_DEBUG_CONVOLUTION_ATTRIB_FP16_ALT_IMPL 覆盖默认行为。 这些环境变量的行为如下

	前向	反向
Env 未设置	原始	备用
Env 设置为 1	备用	备用
Env 设置为 0	原始	原始

以下是可能使用 rocBLAS 的操作列表

• torch.addbmm

• torch.addmm

• torch.baddbmm

• torch.bmm

• torch.mm

• torch.nn.GRUCell

• torch.nn.LSTMCell

• torch.nn.Linear

• torch.sparse.addmm

• 以下 torch._C._ConvBackend 实现

  • slowNd

  • slowNd_transposed

  • slowNd_dilated

  • slowNd_dilated_transposed

以下是可能使用 MIOpen 的操作列表

• torch.nn.Conv[Transpose]Nd

• 以下 torch._C._ConvBackend 实现

  • ConvBackend::Miopen

  • ConvBackend::MiopenDepthwise

  • ConvBackend::MiopenTranspose