DistributionalDQNnet

class torchrl.modules.DistributionalDQNnet(*args, **kwargs)

分布式的深度 Q 网络 softmax 层。

该层应在预测动作值的常规模型和作用于 logits 值的分布之间使用。

参数:

• in_keys (list of str 或 tuples of str) – log-softmax 操作的输入键。默认为 ["action_value"]。

• out_keys (list of str 或 tuples of str) – log-softmax 操作的输出键。默认为 ["action_value"]。

示例

>>> import torch
>>> from tensordict import TensorDict
>>> net = DistributionalDQNnet()
>>> td = TensorDict({"action_value": torch.randn(10, 5)}, batch_size=[10])
>>> net(td)
TensorDict(
    fields={
        action_value: Tensor(shape=torch.Size([10, 5]), device=cpu, dtype=torch.float32, is_shared=False)},
    batch_size=torch.Size([10]),
    device=None,
    is_shared=False)

forward(tensordict=None)

定义每次调用时执行的计算。

应由所有子类重写。

注意

虽然前向传递的配方需要在该函数内定义，但之后应该调用 Module 实例而不是这个，因为前者负责运行注册的钩子，而后者会默默地忽略它们。