VideoRecorder¶
- torchrl.record.VideoRecorder(logger: Logger, tag: str, in_keys: Optional[Sequence[NestedKey]] = None, skip: int | None = None, center_crop: Optional[int] = None, make_grid: bool | None = None, out_keys: Optional[Sequence[NestedKey]] = None, **kwargs) None [source]¶
视频记录器转换。
将记录来自环境的一系列观察结果,并在需要时将它们写入 Logger 对象。
- 参数:
logger (Logger) – 视频应写入的 Logger 实例。 要将视频保存在 memmap 张量或 mp4 文件下,请使用
CSVLogger
类。tag (str) – 日志记录器中的视频标签。
in_keys (NestedKey 序列, 可选) – 用于生成视频的要读取的键。 默认为
"pixels"
。skip (int) – 输出视频中的帧间隔。 如果变换具有父环境,则默认为
2
,否则为1
。center_crop (int, 可选) – 正方形中心裁剪的值。
make_grid (bool, 可选) – 如果为
True
,则会创建一个网格,假设提供形状为 [B x W x H x 3] 的张量,其中 B 为批次大小。 如果变换具有父环境,则默认为True
,否则为False
。out_keys (NestedKey 序列, 可选) – 目标键。 如果未提供,则默认为
in_keys
。
示例
以下示例展示了如何在视频下保存 rollout。 首先导入一些内容
>>> from torchrl.record import VideoRecorder >>> from torchrl.record.loggers.csv import CSVLogger >>> from torchrl.envs import TransformedEnv, DMControlEnv
视频格式在 logger 中选择。 Wandb 和 tensorboard 将自行处理,CSV 接受各种视频格式。
>>> logger = CSVLogger(exp_name="cheetah", log_dir="cheetah_videos", video_format="mp4")
一些 envs(例如,Atari 游戏)原生返回图像,一些 envs 需要用户请求才能返回图像。 查看
GymEnv
或DMControlEnv
以了解如何在这些上下文中渲染图像。>>> base_env = DMControlEnv("cheetah", "run", from_pixels=True) >>> env = TransformedEnv(base_env, VideoRecorder(logger=logger, tag="run_video")) >>> env.rollout(100)
所有变换都有一个 dump 函数,除了
VideoRecorder
和Compose
之外,大多数情况下都是空操作,Compose
会将 dumps 分派给其所有成员。>>> env.transform.dump()
变换也可以在数据集内使用,以保存收集的视频。 与环境情况不同,图像将以批次形式出现。
skip
参数将允许仅在特定间隔保存图像。>>> from torchrl.data.datasets import OpenXExperienceReplay >>> from torchrl.envs import Compose >>> from torchrl.record import VideoRecorder, CSVLogger >>> # Create a logger that saves videos as mp4 >>> logger = CSVLogger("./dump", video_format="mp4") >>> # We use the VideoRecorder transform to save register the images coming from the batch. >>> t = VideoRecorder(logger=logger, tag="pixels", in_keys=[("next", "observation", "image")]) >>> # Each batch of data will have 10 consecutive videos of 200 frames each (maximum, since strict_length=False) >>> dataset = OpenXExperienceReplay("cmu_stretch", batch_size=2000, slice_len=200, ... download=True, strict_length=False, ... transform=t) >>> # Get a batch of data and visualize it >>> for data in dataset: ... t.dump() ... break
我们的视频位于
./cheetah_videos/cheetah/videos/run_video_0.mp4
!