可重复性¶
无法保证跨 PyTorch 版本、单个提交或不同平台的结果完全可重复。此外,即使使用相同的种子,CPU 和 GPU 执行之间也可能无法重复结果。
但是,您可以采取一些步骤来限制特定平台、设备和 PyTorch 版本的非确定性行为来源数量。首先,您可以控制随机性的来源,这些来源会导致应用程序的多次执行表现不同。其次,您可以配置 PyTorch 以避免对某些操作使用非确定性算法,从而使多次调用这些操作(在相同的输入下)会产生相同的结果。
警告
确定性操作通常比非确定性操作速度慢,因此模型的单次运行性能可能会下降。但是,确定性可能会通过促进实验、调试和回归测试来节省开发时间。
控制随机性来源¶
PyTorch 随机数生成器¶
您可以使用 torch.manual_seed()
为所有设备(CPU 和 CUDA)播种 RNG
import torch
torch.manual_seed(0)
某些 PyTorch 操作可能在内部使用随机数。例如,torch.svd_lowrank()
就会这样做。因此,多次连续调用它(使用相同的输入参数)可能会产生不同的结果。但是,只要在应用程序开始时将 torch.manual_seed()
设置为一个常量,并且消除了所有其他非确定性来源,应用程序每次在相同环境中运行时,就会生成相同的随机数序列。
通过在后续调用之间将 torch.manual_seed()
设置为相同的值,也可以从使用随机数的操作获得相同的结果。
其他库中的随机数生成器¶
如果您或您使用的任何库都依赖 NumPy,则可以使用以下方法为全局 NumPy RNG 播种
import numpy as np
np.random.seed(0)
但是,某些应用程序和库可能使用 NumPy 随机数生成器对象,而不是全局 RNG (https://numpy.com.cn/doc/stable/reference/random/generator.html),这些对象也需要一致地播种。
如果您使用任何其他使用随机数生成器的库,请参阅这些库的文档,了解如何为它们设置一致的种子。
CUDA 卷积基准测试¶
CUDA 卷积操作使用的 cuDNN 库可能是导致应用程序多次执行时出现非确定性的来源。当 cuDNN 卷积被调用时,使用一组新的尺寸参数,一个可选的功能可以运行多种卷积算法,对其进行基准测试以找到最快的算法。然后,在整个过程中,将始终使用最快的算法,对应于该尺寸参数集。由于基准测试噪声和不同的硬件,基准测试可能会在后续运行中选择不同的算法,即使是在同一台机器上。
使用 torch.backends.cudnn.benchmark = False
禁用基准测试功能,会导致 cuDNN 确定性地选择一种算法,这可能会降低性能。
但是,如果您不需要应用程序多次执行之间的可重复性,则如果使用 torch.backends.cudnn.benchmark = True
启用基准测试功能,性能可能会提高。
请注意,此设置与下面讨论的 torch.backends.cudnn.deterministic
设置不同。
避免使用非确定性算法¶
torch.use_deterministic_algorithms()
允许您配置 PyTorch 以使用确定性算法,而不是在可用的情况下使用非确定性算法,并在已知操作是非确定性的情况下(并且没有确定性替代方案)抛出错误。
请查看 torch.use_deterministic_algorithms()
的文档,了解受影响的操作的完整列表。如果操作的行为不符合文档,或者您需要对没有确定性实现的操作进行确定性实现,请提交问题:https://github.com/pytorch/pytorch/issues?q=label:%22module:%20determinism%22
例如,运行 torch.Tensor.index_add_()
的非确定性 CUDA 实现将抛出错误。
>>> import torch
>>> torch.use_deterministic_algorithms(True)
>>> torch.randn(2, 2).cuda().index_add_(0, torch.tensor([0, 1]), torch.randn(2, 2))
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
RuntimeError: index_add_cuda_ does not have a deterministic implementation, but you set
'torch.use_deterministic_algorithms(True)'. ...
当 torch.bmm()
使用稀疏-稠密 CUDA 张量调用时,它通常使用非确定性算法,但当确定性标志被打开时,将使用它的备用确定性实现。
>>> import torch
>>> torch.use_deterministic_algorithms(True)
>>> torch.bmm(torch.randn(2, 2, 2).to_sparse().cuda(), torch.randn(2, 2, 2).cuda())
tensor([[[ 1.1900, -2.3409],
[ 0.4796, 0.8003]],
[[ 0.1509, 1.8027],
[ 0.0333, -1.1444]]], device='cuda:0')
此外,如果您使用的是 CUDA 张量,并且您的 CUDA 版本为 10.2 或更高版本,则应根据 CUDA 文档设置环境变量 CUBLAS_WORKSPACE_CONFIG:https://docs.nvidia.com/cuda/cublas/index.html#results-reproducibility
CUDA 卷积确定性¶
虽然禁用 CUDA 卷积基准测试(如上所述)可确保 CUDA 在每次运行应用程序时选择相同的算法,但该算法本身可能是非确定性的,除非设置了 torch.use_deterministic_algorithms(True)
或 torch.backends.cudnn.deterministic = True
。后一种设置仅控制此行为,不像 torch.use_deterministic_algorithms()
它也会使其他 PyTorch 操作具有确定性。
CUDA RNN 和 LSTM¶
在某些版本的 CUDA 中,RNN 和 LSTM 网络可能具有非确定性行为。有关详细信息和解决方法,请参阅 torch.nn.RNN()
和 torch.nn.LSTM()
。
填充未初始化的内存¶
诸如 torch.empty()
和 torch.Tensor.resize_()
的操作可能会返回包含未定义值的未初始化内存的张量。如果需要确定性,将此类张量用作另一个操作的输入是无效的,因为输出将是非确定性的。但实际上没有什么可以阻止运行此类无效代码。因此,出于安全考虑,torch.utils.deterministic.fill_uninitialized_memory
默认设置为 True
,如果设置了 torch.use_deterministic_algorithms(True)
,它将用已知值填充未初始化的内存。这将防止发生此类非确定性行为的可能性。
但是,填充未初始化的内存会损害性能。因此,如果您的程序有效且不使用未初始化的内存作为操作的输入,则可以关闭此设置以提高性能。
DataLoader¶
DataLoader 将按照 多进程数据加载中的随机性 算法重新播种 worker。使用 worker_init_fn()
和 generator 来保持可重复性。
def seed_worker(worker_id):
worker_seed = torch.initial_seed() % 2**32
numpy.random.seed(worker_seed)
random.seed(worker_seed)
g = torch.Generator()
g.manual_seed(0)
DataLoader(
train_dataset,
batch_size=batch_size,
num_workers=num_workers,
worker_init_fn=seed_worker,
generator=g,
)