RewardSum

class torchrl.envs.transforms.RewardSum(in_keys: Sequence[NestedKey] | None = None, out_keys: Sequence[NestedKey] | None = None, reset_keys: Sequence[NestedKey] | None = None, *, reward_spec: bool = False)

跟踪每集累积奖励。

此转换接受一个 tensordict 奖励键列表（即 ´in_keys´）并跟踪其在每个集的时间维度上的累积值。

当调用时，转换会为每个 in_key 编写一个新的 tensordict 条目，命名为 episode_{in_key}，其中写入累积值。

参数：

• in_keys (嵌套键列表, 可选) – 输入奖励键。所有 ´in_keys´ 都应该是环境 reward_spec 的一部分。如果未指定 in_keys，则此转换假定 "reward" 为输入键。但是，也可以指定多个奖励（例如 "reward1" 和 "reward2""）。

• out_keys (嵌套键列表, 可选) – 输出总和键，每个输入键应该有一个。

• reset_keys (嵌套键列表, 可选) – 要使用的 reset_keys 列表，如果找不到父环境。如果提供，此值将优先于环境 reset_keys。

关键字参数：

reward_spec (布尔值, 可选) – 如果为 True，则新奖励条目将在奖励规范中注册。默认值为 False（在 observation_specs 中注册）。

示例

>>> from torchrl.envs.transforms import RewardSum, TransformedEnv
>>> from torchrl.envs.libs.gym import GymEnv
>>> env = TransformedEnv(GymEnv("CartPole-v1"), RewardSum())
>>> env.set_seed(0)
>>> torch.manual_seed(0)
>>> td = env.reset()
>>> print(td["episode_reward"])
tensor([0.])
>>> td = env.rollout(3)
>>> print(td["next", "episode_reward"])
tensor([[1.],
        [2.],
        [3.]])

forward(tensordict: TensorDictBase) → TensorDictBase

读取输入 tensordict，并针对选定的键应用转换。

transform_input_spec(input_spec: TensorSpec) → TensorSpec

转换输入规范，以便生成的规范匹配转换映射。

参数：

input_spec (TensorSpec) – 转换前的规范

返回值：

转换后的预期规范

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

转换观测规范，添加由 RewardSum 生成的新的键。

transform_reward_spec(reward_spec: TensorSpec) → TensorSpec

转换奖励规范，以便生成的规范匹配转换映射。

参数：

reward_spec (TensorSpec) – 转换前的规范

返回值：

转换后的预期规范