OnlineDTLoss

class torchrl.objectives.OnlineDTLoss(*args, **kwargs)

Online Decision Transformer 损失函数的 TorchRL 实现。

在 “Online Decision Transformer” <https://arxiv.org/abs/2202.05607> 中提出

参数:

actor_network (ProbabilisticActor) – 随机 actor

关键字参数:

• alpha_init (float, 可选) – 初始熵乘数。默认为 1.0。

• min_alpha (float, 可选) – alpha 的最小值。默认为 None（无最小值）。

• max_alpha (float, 可选) – alpha 的最大值。默认为 None（无最大值）。

• fixed_alpha (bool, 可选) – 如果 True，alpha 将固定为其初始值。否则，alpha 将被优化以匹配 ‘target_entropy’ 值。默认为 False。

• target_entropy (float 或 str, 可选) – 随机策略的目标熵。默认为 “auto”，其中目标熵计算为 -prod(n_actions)。

• samples_mc_entropy (int) – 用于估计熵的样本数量

• reduction (str, 可选) – 指定应用于输出的归约方式："none" | "mean" | "sum"。"none"：不应用归约，"mean"：输出的总和将除以输出中元素的数量，"sum"：输出将被求和。默认值："mean"。

forward(tensordict: TensorDictBase = None) → TensorDictBase

计算 Online Decision Transformer 的损失。