r3d_18

torchvision.models.video.r3d_18(*, weights: Optional[R3D_18_Weights] = None, progress: bool = True, **kwargs: Any) → VideoResNet

构建 18 层 Resnet3D 模型。

警告

视频模块处于 Beta 阶段，不保证向后兼容性。

参考：A Closer Look at Spatiotemporal Convolutions for Action Recognition。

参数:

• weights (R3D_18_Weights, 可选的) – 要使用的预训练权重。请参阅下文 R3D_18_Weights 了解更多详情和可能的值。默认情况下，不使用预训练权重。

• progress (bool) – 如果为 True，则在 stderr 上显示下载进度条。默认为 True。

• **kwargs – 传递给 torchvision.models.video.resnet.VideoResNet 基类的参数。有关此类的更多详细信息，请参阅 源代码。

class torchvision.models.video.R3D_18_Weights(value)

上面的模型构建器接受以下值作为 weights 参数。R3D_18_Weights.DEFAULT 等同于 R3D_18_Weights.KINETICS400_V1。您也可以使用字符串，例如 weights='DEFAULT' 或 weights='KINETICS400_V1'。

R3D_18_Weights.KINETICS400_V1:

这些权重与论文的准确率非常接近。准确率是在视频级别估计的，参数为 frame_rate=15，clips_per_video=5 和 clip_len=16。也可作为 R3D_18_Weights.DEFAULT 使用。

acc@1 (在 Kinetics-400 上)	63.2
acc@5 (在 Kinetics-400 上)	83.479
min_size	height=1, width=1
类别	速降, 空气打鼓, 回答问题, … (省略 397 个)
配方	链接
num_params	33371472
GFLOPS	40.70
文件大小	127.4 MB

推理转换可在 R3D_18_Weights.KINETICS400_V1.transforms 中找到，并执行以下预处理操作：接受批量的 (B, T, C, H, W) 和单个 (T, C, H, W) 视频帧 torch.Tensor 对象。帧大小调整为 resize_size=[128, 171]，使用 interpolation=InterpolationMode.BILINEAR 插值方法，然后进行中心裁剪，裁剪大小为 crop_size=[112, 112]。最后，值首先被重新缩放到 [0.0, 1.0]，然后使用 mean=[0.43216, 0.394666, 0.37645] 和 std=[0.22803, 0.22145, 0.216989] 进行归一化。最后，输出维度被置换为 (..., C, T, H, W) 张量。