在线 DT 损失

class torchrl.objectives.OnlineDTLoss(*args, **kwargs)

TorchRL 对在线决策变换损失的实现。

介绍于 “在线决策变换” <https://arxiv.org/abs/2202.05607>

参数：:

actor_network (ProbabilisticActor) – 随机演员

关键字参数：:

• alpha_init (float, 可选) – 初始熵乘数。默认值为 1.0。

• min_alpha (float, 可选) – alpha 的最小值。默认值为 None（无最小值）。

• max_alpha (float, 可选) – alpha 的最大值。默认值为 None（无最大值）。

• fixed_alpha (bool, 可选) – 如果为 True，alpha 将固定为其初始值。否则，alpha 将被优化以匹配“target_entropy”值。默认值为 False。

• target_entropy (float 或 str, 可选) – 随机策略的目标熵。默认值为“自动”，其中目标熵计算为 -prod(n_actions)。

• samples_mc_entropy (int) – 用于估计熵的样本数

• reduction (str, 可选) – 指定要应用于输出的约简："none" | "mean" | "sum"。 "none"：不应用约简，"mean"：输出的总和将除以输出中的元素数，"sum"：输出将被求和。默认值："mean"。

forward(tensordict: TensorDictBase) → TensorDictBase

计算在线决策变换的损失。