mvit_v2_s¶
- torchvision.models.video.mvit_v2_s(*, weights: Optional[MViT_V2_S_Weights] = None, progress: bool = True, **kwargs: Any) MViT[source]¶
根据 Multiscale Vision Transformers 和 MViTv2: Improved Multiscale Vision Transformers for Classification and Detection 构建一个小型 MViTV2 架构。
警告
视频模块处于 Beta 阶段，不保证向后兼容性。
- 参数：
weights (
MViT_V2_S_Weights, optional) – 要使用的预训练权重。详见下方的MViT_V2_S_Weights以了解更多细节和可能的值。默认情况下，不使用预训练权重。progress (bool, optional) – 如果为 True，则在 stderr 中显示下载进度条。默认值为 True。
**kwargs – 传递给
torchvision.models.video.MViT基类的参数。请参考源代码以了解有关此类的更多详情。
- class torchvision.models.video.MViT_V2_S_Weights(value)[source]¶
上面的模型构建器接受以下值作为
weights参数。MViT_V2_S_Weights.DEFAULT等同于MViT_V2_S_Weights.KINETICS400_V1。您也可以使用字符串，例如weights='DEFAULT'或weights='KINETICS400_V1'。MViT_V2_S_Weights.KINETICS400_V1:
权重从论文中移植而来。准确率是基于视频层面估算的，参数为 frame_rate=7.5、clips_per_video=5 和 clip_len=16。也可使用
MViT_V2_S_Weights.DEFAULT。acc@1 (在 Kinetics-400 上)
80.757
acc@5 (在 Kinetics-400 上)
94.665
最小尺寸
高度=224, 宽度=224
最小时间尺寸
16
类别
速降、空气打鼓、回答问题等... (省略 397 个)
配方
参数数量
34537744
GFLOPS
64.22
文件大小
131.9 MB
推理转换可在
MViT_V2_S_Weights.KINETICS400_V1.transforms中获取，并执行以下预处理操作：接受批量(B, T, C, H, W)和单个(T, C, H, W)视频帧torch.Tensor对象。使用interpolation=InterpolationMode.BILINEAR将帧大小调整为resize_size=[256]，然后进行中心裁剪，裁剪尺寸为crop_size=[224, 224]。最后，将值首先缩放到[0.0, 1.0]，然后使用mean=[0.45, 0.45, 0.45]和std=[0.225, 0.225, 0.225]进行归一化。最后，输出维度会重新排列为(..., C, T, H, W)张量。
