常见的 PyTorch 错误和解决方案

与梯度相关的错误 [新手]

新手在从头开始编写 RL 算法时经常会遇到与梯度相关的问题。典型的训练循环通常可以概述如下

obs = env.reset()

for _ in range(n_training_steps):
    # STEP 1: data collection
    # Get a new datapoint "online"
    observations = []
    actions = []
    others = []
    for _ in range(n_data_per_training):
        with torch.no_grad():
            action = policy(obs)
        obs, *other = env.step(action)
        observations.append(obs)
        actions.append(action)
        others.append(other)
    replay_buffer.extend(observations, actions, others)

    # STEP 2: loss and optimization
    # => compute loss "offline"
    loss = loss_fn(replay_buffer.sample(batch_size))

    loss.backward()
    optim.step()
    optim.zero_grad()

一系列错误来自想要通过由 no_grad() 上下文管理器修饰的策略操作进行反向传播。实际上，此操作（在大多数情况下）不应成为任何计算图的一部分。相反，所有可微分操作应在 loss_fn(...) 抽象中执行。一般来说，RL 是一个领域，人们应该注意理解什么是不可微分的“数据”（例如，环境交互、优势和回报计算、“分母”对数概率在 PPO 中）以及什么是可微分的损失工件（例如，值误差，“分子”对数概率在 PPO 中）。

需要注意的可能与这种误解相关的错误如下

• RuntimeError: Trying to backward through the graph a second time (or directly access saved tensors after they have already been freed). 此错误通常出现在损失函数中两次使用作为计算图一部分的数据点之后。一些用户尝试通过调用 loss.backward(retain_graph=True) 来解决此问题，但这会导致列表中的下一个错误。**相关讨论的 PyTorch 错误**

  • 这里

  • 这里

• RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation 这通常发生在使用 retain_graph=True 标志修复第一个错误之后。相反，应该在 loss_fn 中重新计算要通过其进行微分的操作。另一个常见原因是两个模块使用共享的计算图进行更新（例如，策略和批评者）。在这种情况下，应该使用 retain_graph=True 标志，尽管应该谨慎，因为这可能会将一个损失的梯度累积到另一个损失上。一般来说，更好的做法是为每个损失分别重新计算每个中间值，同时从特定图中排除不必要的参数，即使某些子模块的前向调用匹配也是如此。**相关讨论的 PyTorch 错误**

  • 这里

  • 这里

• 算法没有学习 / param.grad 为 0 或 None。算法没有学习可能有多种原因。首先要查看的是参数梯度的值，其范数应严格为非负。**相关讨论的 PyTorch 错误**

  • 这里

我的训练速度太慢 [新手/中级]

• 众所周知，RL 在某些情况下是 CPU 密集型任务。即使并行运行几个环境，您也可以通过在集群中请求比您正在使用的环境数量更多的核心来看到巨大的加速（例如，两倍）。这对于渲染的环境来说尤其如此（即使它们是在 GPU 上渲染的）。

• 训练速度取决于多种因素，没有一个放之四海皆准的解决方案可以解决所有问题。常见的瓶颈是

  • **数据收集**：模拟器的速度可能会影响性能，后续的数据转换也会影响性能。环境交互的加速通常是通过向量化（如果模拟器支持，例如 Brax 和其他基于 Jax 的模拟器）或并行化（在 gym 和其他库中被称为向量化环境）来实现的。在 TorchRL 中，转换通常可以在设备上执行。

  • **回放缓冲区存储和采样**：如果底层操作需要一些繁重的内存操作或乏味的索引（例如，使用优先级回放缓冲区），那么在回放缓冲区中存储项目可能需要花费时间。如果数据不是连续存储的，或者执行了代价高昂的堆叠或串联操作，采样也可能需要相当长的时间。TorchRL 在这些情况下提供了高效的连续存储解决方案以及高效的写入和采样解决方案。

  • **优势计算**：优势函数的计算也可能构成计算瓶颈，因为这些函数通常使用普通的 for 循环编写。如果分析表明此操作花费了相当长的时间，请考虑改用我们完全向量化的解决方案。

  • **损失计算**：损失计算和优化步骤通常占计算时间的很大一部分。一些技术可以加快速度。例如，如果使用了多个目标网络，使用向量化映射和函数式编程（通过 functorch）而不是循环遍历模型配置可以显着提高速度。

常见错误

• 对于与 mujoco（包括 DeepMind Control 套件和其他库）相关的错误，请参阅MUJOCO_INSTALLATION 文件。

• ValueError: bad value(s) in fds_to_keep：这可能有多种原因。在 torchrl 中常见的一个原因是您试图在进程之间发送一个张量，该张量是另一个张量的视图。例如，当在进程之间发送张量 b = tensor.expand(new_shape) 时，对原始内容的引用将丢失（因为 expand 操作保留对原始张量的引用）。要调试此问题，请查找此类操作（view、permute、expand 等）并在调用该函数后调用 clone() 或 contiguous()。