mvit_v1_b¶
- torchvision.models.video.mvit_v1_b(*, weights: Optional[MViT_V1_B_Weights] = None, progress: bool = True, **kwargs: Any) MViT [source]¶
从 Multiscale Vision Transformers 构建基础 MViTV1 架构。
警告
视频模块处于 Beta 阶段,不保证向后兼容性。
- 参数:
weights (
MViT_V1_B_Weights
, optional) – 要使用的预训练权重。有关更多详细信息和可能的值,请参阅下方的MViT_V1_B_Weights
。默认情况下,不使用预训练权重。progress (bool, optional) – 如果为 True,则在 stderr 中显示下载进度条。默认值为 True。
**kwargs – 传递给
torchvision.models.video.MViT
基类的参数。请参阅 源代码 获取有关此类的更多详细信息。
- class torchvision.models.video.MViT_V1_B_Weights(value)[source]¶
上述模型构建器接受以下值作为
weights
参数。MViT_V1_B_Weights.DEFAULT
等同于MViT_V1_B_Weights.KINETICS400_V1
。您也可以使用字符串,例如weights='DEFAULT'
或weights='KINETICS400_V1'
。MViT_V1_B_Weights.KINETICS400_V1:
权重来自论文。准确率是在视频级别使用参数 frame_rate=7.5、clips_per_video=5 和 clip_len=16 估算的。也可通过
MViT_V1_B_Weights.DEFAULT
使用。acc@1 (在 Kinetics-400 上)
78.477
acc@5 (在 Kinetics-400 上)
93.582
最小尺寸
height=224, width=224
最小时间尺寸
16
类别
攀岩绳降, 空气击鼓, 回答问题, … (省略 397 个)
配置
参数数量
36610672
GFLOPS
70.60
文件大小
139.8 MB
推理变换可通过
MViT_V1_B_Weights.KINETICS400_V1.transforms
获得,并执行以下预处理操作:接受批处理的(B, T, C, H, W)
和单个(T, C, H, W)
视频帧torch.Tensor
对象。帧使用interpolation=InterpolationMode.BILINEAR
调整大小到resize_size=[256]
,然后进行中心裁剪crop_size=[224, 224]
。最后,值首先重新缩放到[0.0, 1.0]
,然后使用mean=[0.45, 0.45, 0.45]
和std=[0.225, 0.225, 0.225]
进行归一化。最终输出维度排列为(..., C, T, H, W)
tensors。