ObservationNorm

class torchrl.envs.transforms.ObservationNorm(loc: Optional[float, torch.Tensor] = None, scale: Optional[float, torch.Tensor] = None, in_keys: Sequence[NestedKey] | None = None, out_keys: Sequence[NestedKey] | None = None, in_keys_inv: Sequence[NestedKey] | None = None, out_keys_inv: Sequence[NestedKey] | None = None, standard_normal: bool = False, eps: float | None = None)

观测仿射变换层。

根据以下公式规范化观测

\[obs = obs * scale + loc\]

参数:

• loc (数字 或 张量) – 仿射变换的位置

• scale (数字 或 张量) – 仿射变换的尺度

• in_keys (嵌套键的序列, 可选) – 要规范化的条目。默认值为 [“observation”, “pixels”]。所有条目将使用相同的值进行规范化：如果需要不同的行为（例如，像素和状态的规范化不同），应使用不同的 ObservationNorm 对象。

• out_keys (嵌套键的序列, 可选) – 输出条目。默认值为 in_keys 的值。

• in_keys_inv (嵌套键的序列, 可选) – ObservationNorm 还支持逆变换。这只有在向 in_keys_inv 提供键列表时才会发生。如果没有提供，则只调用前向变换。

• out_keys_inv (嵌套键的序列, 可选) – 逆变换的输出条目。默认值为 in_keys_inv 的值。

• standard_normal (布尔值, 可选) –

  如果 True，则变换将为

  \[obs = (obs-loc)/scale\]

  如标准化所做的那样。默认值为 False。

• eps (浮点数, 可选) – standard_normal 情况下尺度的 epsilon 增量。如果不能从尺度数据类型直接恢复，则默认为 1e-6。

示例

>>> torch.set_default_tensor_type(torch.DoubleTensor)
>>> r = torch.randn(100, 3)*torch.randn(3) + torch.randn(3)
>>> td = TensorDict({'obs': r}, [100])
>>> transform = ObservationNorm(
...     loc = td.get('obs').mean(0),
...     scale = td.get('obs').std(0),
...     in_keys=["obs"],
...     standard_normal=True)
>>> _ = transform(td)
>>> print(torch.isclose(td.get('obs').mean(0),
...     torch.zeros(3)).all())
tensor(True)
>>> print(torch.isclose(td.get('next_obs').std(0),
...     torch.ones(3)).all())
tensor(True)

规范化统计数据可以自动计算：.. rubric:: 示例

>>> from torchrl.envs.libs.gym import GymEnv
>>> torch.manual_seed(0)
>>> env = GymEnv("Pendulum-v1")
>>> env = TransformedEnv(env, ObservationNorm(in_keys=["observation"]))
>>> env.set_seed(0)
>>> env.transform.init_stats(100)
>>> print(env.transform.loc, env.transform.scale)
tensor([-1.3752e+01, -6.5087e-03,  2.9294e-03], dtype=torch.float32) tensor([14.9636,  2.5608,  0.6408], dtype=torch.float32)

init_stats(num_iter: int, reduce_dim: Union[int, Tuple[int]] = 0, cat_dim: Optional[int] = None, key: Optional[NestedKey] = None, keep_dims: Optional[Tuple[int]] = None) → None

初始化父环境的 loc 和 scale 统计信息。

归一化常数理想情况下应使观测统计量接近标准高斯分布的统计量。此方法计算一个位置和尺度张量，该张量将在给定步数下，通过在父环境中随机生成的随机数据上拟合高斯分布来经验性地计算该分布的均值和标准差。

参数:

• num_iter (int) – 在环境中运行的随机迭代次数。

• reduce_dim (int 或 int 元组, 可选) – 要计算均值和 std 的维度。默认为 0。

• cat_dim (int, 可选) – 收集的批次将要拼接的维度。它必须是与 reduce_dim 相等的部分（如果为整数）或 reduce_dim 元组的一部分。默认值为与 reduce_dim 相同的值。

• key (NestedKey, 可选) – 如果提供，则汇总统计信息将从结果 tensordicts 中的该键中检索。否则，将使用 ObservationNorm.in_keys 中的第一个键。

• keep_dims (int 元组, 可选) – 要在 loc 和 scale 中保留的维度。例如，在对最后两个维度（但不是第三个维度）进行归一化时，可能需要 location 和 scale 的形状为 [C, 1, 1]。默认为 None。

transform_input_spec(input_spec)

转换输入规范，以使结果规范与转换映射匹配。

参数:

input_spec (TensorSpec) – 转换前的规范

返回:

转换后的预期规范

transform_observation_spec(observation_spec: TensorSpec) → TensorSpec

转换观测规范，以使结果规范与转换映射匹配。

参数:

observation_spec (TensorSpec) – 转换前的规范

返回:

转换后的预期规范