ConsistentDropout¶
- class torchrl.modules.ConsistentDropout(p: float = 0.5)[source]¶
实现具有一致性 dropout 的
Dropout
变体。该方法在 “Consistent Dropout for Policy Gradient Reinforcement Learning” (Hausknecht & Wagener, 2022) 中提出。
该
Dropout
变体通过缓存 rollout 期间使用的 dropout 掩码并在更新阶段重用它们,试图增加训练稳定性并减少更新方差。您正在查看的此类独立于 TorchRL API 的其余部分,并且不需要 tensordict 即可运行。
ConsistentDropoutModule
是ConsistentDropout
的一个包装器,它利用TensorDict
的可扩展性,将生成的 dropout 掩码存储在 transitionTensorDict
本身中。有关详细说明和使用示例,请参阅此类。除此之外,与 PyTorch
Dropout
实现相比,概念上没有太大偏差。- ..注意:: TorchRL 的数据收集器在
no_grad()
模式下执行 rollout,但不在 eval 模式下执行, 因此除非传递给收集器的策略处于 eval 模式,否则 dropout 掩码将被应用。
注意
与其他探索模块不同,
ConsistentDropoutModule
使用train
/eval
模式以符合 PyTorch 中常规的 Dropout API。set_exploration_type()
上下文管理器对此模块无效。- 参数:
p (
float
, 可选) – Dropout 概率。默认为0.5
。
另请参阅
MultiSyncDataCollector
: 内部使用_main_async_collector()
(SyncDataCollector
)
- forward(x: torch.Tensor, mask: torch.Tensor | None = None) torch.Tensor [source]¶
在训练期间 (rollout & 更新),此调用在与输入张量相乘之前,会屏蔽一个全为 1 的张量。
在评估期间,此调用结果为无操作,仅返回输入。
- 参数:
x (torch.Tensor) – 输入张量。
mask (torch.Tensor, 可选) – 用于 dropout 的可选掩码。
返回:在训练模式下返回一个张量和对应的掩码,在评估模式下仅返回一个张量。
- ..注意:: TorchRL 的数据收集器在