mvit_v1_b

torchvision.models.video.mvit_v1_b(*, weights: Optional[MViT_V1_B_Weights] = None, progress: bool = True, **kwargs: Any) → MViT

从 多尺度视觉 Transformer 构建一个基础 MViTV1 架构。

警告

视频模块正处于 Beta 阶段，不保证向后兼容性。

参数:

• weights (MViT_V1_B_Weights, optional) – 要使用的预训练权重。有关更多详细信息和可能的值，请参见下文的 MViT_V1_B_Weights。默认情况下，不使用预训练权重。

• progress (bool, optional) – 如果为 True，则在 stderr 上显示下载进度条。默认为 True。

• **kwargs – 传递给 torchvision.models.video.MViT 基类的参数。有关此类的更多详细信息，请参阅 源代码。

class torchvision.models.video.MViT_V1_B_Weights(value)

上面的模型构建器接受以下值作为 weights 参数。MViT_V1_B_Weights.DEFAULT 等效于 MViT_V1_B_Weights.KINETICS400_V1。您也可以使用字符串，例如 weights='DEFAULT' 或 weights='KINETICS400_V1'。

MViT_V1_B_Weights.KINETICS400_V1:

权重从论文中移植而来。精度是在视频级别上使用参数 frame_rate=7.5、clips_per_video=5 和 clip_len=16 估算的。也可作为 MViT_V1_B_Weights.DEFAULT 使用。

acc@1 (在 Kinetics-400 上)	78.477
acc@5 (在 Kinetics-400 上)	93.582
min_size	height=224, width=224
min_temporal_size	16
categories	攀岩速降, 空气鼓, 回答问题, … (省略 397 个)
recipe	link
num_params	36610672
GFLOPS	70.60
文件大小	139.8 MB

推理转换可在 MViT_V1_B_Weights.KINETICS400_V1.transforms 中找到，并执行以下预处理操作：接受批处理的 (B, T, C, H, W) 和单个 (T, C, H, W) 视频帧 torch.Tensor 对象。帧被调整大小为 resize_size=[256]，使用 interpolation=InterpolationMode.BILINEAR，然后进行中心裁剪，裁剪大小为 crop_size=[224, 224]。最后，值首先被重新缩放到 [0.0, 1.0]，然后使用 mean=[0.45, 0.45, 0.45] 和 std=[0.225, 0.225, 0.225] 进行归一化。最后，输出维度被置换为 (..., C, T, H, W) 张量。