快捷方式

s3d

torchvision.models.video.s3d(*, weights: Optional[S3D_Weights] = None, progress: bool = True, **kwargs: Any) S3D[source]

构建可分离 3D CNN 模型。

参考:重新思考时空特征学习

警告

视频模块处于 Beta 阶段,不保证向后兼容性。

参数:
  • weights (S3D_Weights, optional) – 要使用的预训练权重。请参阅S3D_Weights下方以获取更多详细信息和可能的值。默认情况下,不使用预训练权重。

  • progress (bool) – 如果为 True,则在标准错误输出 (stderr) 中显示下载进度条。默认值为 True。

  • **kwargs – 传递给torchvision.models.video.S3D基类的参数。请参阅源代码了解此类的更多详细信息。

class torchvision.models.video.S3D_Weights(value)[source]

上述模型构建器接受以下值作为weights参数。S3D_Weights.DEFAULT等同于S3D_Weights.KINETICS400_V1。您也可以使用字符串,例如weights='DEFAULT'weights='KINETICS400_V1'

S3D_Weights.KINETICS400_V1:

此权重旨在近似达到论文中的精度。精度在片段级别进行估计,参数为frame_rate=15clips_per_video=1,以及clip_len=128。也可作为S3D_Weights.DEFAULT获得。

acc@1(在 Kinetics-400 上)

68.368

acc@5(在 Kinetics-400 上)

88.05

min_size

height=224, width=224

min_temporal_size

14

类别

下降,空气打鼓,回答问题,…(省略 397 项)

复现方法

链接

参数数量

8320048

GFLOPS

17.98

文件大小

32.0 MB

推理变换可通过S3D_Weights.KINETICS400_V1.transforms获得,并执行以下预处理操作:接受批处理的(B, T, C, H, W)和单个的(T, C, H, W)视频帧torch.Tensor对象。帧使用interpolation=InterpolationMode.BILINEAR缩放到resize_size=[256, 256],然后进行中心裁剪,大小为crop_size=[224, 224]。最后,首先将值重新缩放到[0.0, 1.0],然后使用mean=[0.43216, 0.394666, 0.37645]std=[0.22803, 0.22145, 0.216989]进行归一化。最后,输出维度被置换为(..., C, T, H, W)张量。

文档

查阅 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发者的深度教程

查看教程

资源

查找开发资源并获得问题解答

查看资源