terminated_or_truncated

torchrl.envs.utils.terminated_or_truncated(data: TensorDictBase, full_done_spec: TensorSpec | None = None, key: str = '_reset', write_full_false: bool = False) → bool

读取 tensordict 中的 done / terminated / truncated 键，并写入一个新的张量，其中两个信号的值被聚合。

修改在提供的 TensorDict 实例中就地进行。此函数可用于计算批处理或多智能体设置中的 “_reset” 信号，因此输出键的默认名称。

参数：

• data (TensorDictBase) – 输入数据，通常来自调用 step()。

• full_done_spec (TensorSpec, 可选) – 来自 env 的 done_spec，指示在何处找到 done 叶节点。如果未提供，则将在数据中搜索默认的 "done"、"terminated" 和 "truncated" 条目。

• key (NestedKey, 可选) –

  聚合结果应写入的位置。如果为 None，则该函数不会写入任何键，而只是输出任何 done 值是否为 true。.. 注意:: 如果 key 条目中已经存在值，

  将保留先前的值，不会进行更新。

• write_full_false (bool, 可选) – 如果为 True，即使输出为 False（即，提供的数据结构中没有 done 为 True），也会写入 reset 键。默认值为 False。

返回值：一个布尔值，指示数据中找到的任何 done 状态是否

包含 True。

示例

>>> from torchrl.data.tensor_specs import DiscreteTensorSpec
>>> from tensordict import TensorDict
>>> spec = CompositeSpec(
...     done=DiscreteTensorSpec(2, dtype=torch.bool),
...     truncated=DiscreteTensorSpec(2, dtype=torch.bool),
...     nested=CompositeSpec(
...         done=DiscreteTensorSpec(2, dtype=torch.bool),
...         truncated=DiscreteTensorSpec(2, dtype=torch.bool),
...     )
... )
>>> data = TensorDict({
...     "done": True, "truncated": False,
...     "nested": {"done": False, "truncated": True}},
...     batch_size=[]
... )
>>> data = _terminated_or_truncated(data, spec)
>>> print(data["_reset"])
tensor(True)
>>> print(data["nested", "_reset"])
tensor(True)