SoftUpdate

class torchrl.objectives.SoftUpdate(loss_module: Union['DQNLoss', 'DDPGLoss', 'SACLoss', 'REDQLoss', 'TD3Loss'], *, eps: float = None, tau: Optional[float] = None)

Double DQN/DDPG 中目标网络更新的软更新类。

这在“使用深度强化学习进行连续控制”中提出，https://arxiv.org/pdf/1509.02971.pdf

必须仅指定一个衰减因子（tau 或 eps）。

参数:

• loss_module (DQNLoss 或 DDPGLoss) – 目标网络应更新的损失模块。

• eps (标量) –

  更新方程中的 epsilon：.. math

  \theta_t = \theta_{t-1} * \epsilon + \theta_t * (1-\epsilon)
  

  与 tau 互斥。

• tau (标量) – Polyak tau。它等于 1-eps，并且与之互斥。