DistributionalDQNnet

class torchrl.modules.DistributionalDQNnet(*args, **kwargs)

分布深度 Q 网络 Softmax 层。

此层应位于预测动作值的常规模型与作用于 logits 值的分布之间使用。

参数:

• in_keys (str 列表或 str 元组) – log-softmax 操作的输入键。默认为 ["action_value"]。

• out_keys (str 列表或 str 元组) – log-softmax 操作的输出键。默认为 ["action_value"]。

示例

>>> import torch
>>> from tensordict import TensorDict
>>> net = DistributionalDQNnet()
>>> td = TensorDict({"action_value": torch.randn(10, 5)}, batch_size=[10])
>>> net(td)
TensorDict(
    fields={
        action_value: Tensor(shape=torch.Size([10, 5]), device=cpu, dtype=torch.float32, is_shared=False)},
    batch_size=torch.Size([10]),
    device=None,
    is_shared=False)

forward(tensordict=None)

定义每次调用时执行的计算。

应被所有子类覆盖。

注意

尽管前向传播的实现需要在该函数中定义，但之后应该调用 Module 实例而不是该函数，因为前者负责运行注册的钩子，而后者会默默地忽略它们。