raft_large¶
- torchvision.models.optical_flow.raft_large(*, weights: Optional[Raft_Large_Weights] = None, progress=True, **kwargs) RAFT[source]¶
来自 RAFT：用于光流的循环全对场变换 的 RAFT 模型。
请参阅下面的示例，了解有关如何使用此模型的教程。
- 参数：:
weights (
Raft_Large_Weights, 可选) – 要使用的预训练权重。有关更多详细信息以及可能的值，请参阅下面的Raft_Large_Weights。默认情况下，不使用任何预训练权重。progress (bool) – 如果为 True，则在 stderr 上显示下载进度条。默认值为 True。
**kwargs – 传递给
torchvision.models.optical_flow.RAFT基类的参数。有关此类的更多详细信息，请参考 源代码。
- class torchvision.models.optical_flow.Raft_Large_Weights(value)[source]¶
上面的模型构建器接受以下值作为
weights参数。Raft_Large_Weights.DEFAULT等效于Raft_Large_Weights.C_T_SKHT_V2。您也可以使用字符串，例如weights='DEFAULT'或weights='C_T_V1'。此处报告的指标如下。
epe是“端点误差”，表示预测的流与其真实值相差多远（以像素为单位）。这是所有图像的所有像素的平均值。per_image_epe类似，但平均方式不同：首先独立计算每幅图像上的 epe，然后对所有图像进行平均。这对应于原始论文中的“Fl-epe”（有时写为“F1-epe”），它仅用于 Kitti。fl-all也是 Kitti 特定的指标，由数据集作者定义，用于 Kitti 排行榜。它对应于 epe 小于 3 像素或小于流的 2 范数的 5% 的像素的平均值。Raft_Large_Weights.C_T_V1:
这些权重是从原始论文移植过来的。它们在
FlyingChairs+FlyingThings3D上训练。epe（在 Sintel-Train-Cleanpass 上）
1.4411
epe（在 Sintel-Train-Finalpass 上）
2.7894
per_image_epe（在 Kitti-Train 上）
5.0172
fl_all（在 Kitti-Train 上）
17.4506
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理变换可在
Raft_Large_Weights.C_T_V1.transforms中获得，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_V2:
这些权重是在
FlyingChairs+FlyingThings3D上从头开始训练的。epe（在 Sintel-Train-Cleanpass 上）
1.3822
epe（在 Sintel-Train-Finalpass 上）
2.7161
per_image_epe（在 Kitti-Train 上）
4.5118
fl_all（在 Kitti-Train 上）
16.0679
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理变换可在
Raft_Large_Weights.C_T_V2.transforms中获得，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V1:
这些权重是从原始论文中移植过来的。它们是在
FlyingChairs+FlyingThings3D上训练，并在 Sintel 上微调。Sintel 微调步骤是Sintel、KittiFlow、HD1K和FlyingThings3D（干净通道）的组合。epe（在 Sintel-Test-Cleanpass 上）
1.94
epe（在 Sintel-Test-Finalpass 上）
3.18
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理变换在
Raft_Large_Weights.C_T_SKHT_V1.transforms中可用，并执行以下预处理操作：接受PIL.Image、批处理(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D上预训练，然后在 Sintel 上微调。Sintel 微调步骤是Sintel、KittiFlow、HD1K和FlyingThings3D（干净通道）的组合。也称为Raft_Large_Weights.DEFAULT。epe（在 Sintel-Test-Cleanpass 上）
1.819
epe（在 Sintel-Test-Finalpass 上）
3.067
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理变换在
Raft_Large_Weights.C_T_SKHT_V2.transforms中可用，并执行以下预处理操作：接受PIL.Image、批处理(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V1:
这些权重是从原始论文中移植过来的。它们在
FlyingChairs+FlyingThings3D上预训练，在 Sintel 上微调，然后在KittiFlow上微调。Sintel 微调步骤如上所述。fl_all（在 Kitti-Test 上）
5.1
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理变换在
Raft_Large_Weights.C_T_SKHT_K_V1.transforms中可用，并执行以下预处理操作：接受PIL.Image、批处理(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D上预训练，在 Sintel 上微调，然后在KittiFlow上微调。Sintel 微调步骤如上所述。fl_all（在 Kitti-Test 上）
5.19
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理变换在
Raft_Large_Weights.C_T_SKHT_K_V2.transforms中可用，并执行以下预处理操作：接受PIL.Image、批处理(B, C, H, W)和单个(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。
使用
raft_large的示例
