raft_large¶
- torchvision.models.optical_flow.raft_large(*, weights: Optional[Raft_Large_Weights] = None, progress=True, **kwargs) RAFT[source]¶
来自 RAFT: Recurrent All Pairs Field Transforms for Optical Flow 的 RAFT 模型。
请参阅下面的示例，获取关于如何使用此模型的教程。
- 参数:
weights (
Raft_Large_Weights, optional) – 要使用的预训练权重。有关更多详细信息和可能的值，请参阅下面的Raft_Large_Weights。默认情况下，不使用预训练权重。progress (bool) – 如果为 True，则在 stderr 上显示下载进度条。默认为 True。
**kwargs – 传递给
torchvision.models.optical_flow.RAFT基类的参数。有关此类别的更多详细信息，请参阅 源代码。
- class torchvision.models.optical_flow.Raft_Large_Weights(value)[source]¶
上面的模型构建器接受以下值作为
weights参数。Raft_Large_Weights.DEFAULT等同于Raft_Large_Weights.C_T_SKHT_V2。您也可以使用字符串，例如weights='DEFAULT'或weights='C_T_V1'。此处报告的指标如下。
epe是“端点误差”，表示预测的光流与其真实值的距离（以像素为单位）。这是在所有图像的所有像素上平均计算的。per_image_epe类似，但平均值不同：epe 首先在每个图像上独立计算，然后在所有图像上平均。这对应于原始论文中的 “Fl-epe”（有时写为 “F1-epe”），并且仅在 Kitti 上使用。fl-all也是一个 Kitti 特定的指标，由数据集的作者定义，并用于 Kitti 排行榜。它对应于 epe 小于 <3px 或小于光流 2-范数的 5% 的像素的平均值。Raft_Large_Weights.C_T_V1:
这些权重从原始论文移植而来。它们在
FlyingChairs+FlyingThings3D上训练。epe（在 Sintel-Train-Cleanpass 上）
1.4411
epe（在 Sintel-Train-Finalpass 上）
2.7894
per_image_epe（在 Kitti-Train 上）
5.0172
fl_all（在 Kitti-Train 上）
17.4506
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_V1.transforms中找到，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_V2:
这些权重是从头开始在
FlyingChairs+FlyingThings3D上训练的。epe（在 Sintel-Train-Cleanpass 上）
1.3822
epe（在 Sintel-Train-Finalpass 上）
2.7161
per_image_epe（在 Kitti-Train 上）
4.5118
fl_all（在 Kitti-Train 上）
16.0679
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_V2.transforms中找到，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V1:
这些权重从原始论文移植而来。它们在
FlyingChairs+FlyingThings3D上训练，并在 Sintel 上进行了微调。Sintel 微调步骤是Sintel,KittiFlow,HD1K和FlyingThings3D(clean pass) 的组合。epe（在 Sintel-Test-Cleanpass 上）
1.94
epe（在 Sintel-Test-Finalpass 上）
3.18
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_V1.transforms中找到，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D上预训练，然后在 Sintel 上进行了微调。Sintel 微调步骤是Sintel,KittiFlow,HD1K和FlyingThings3D(clean pass) 的组合。 也可作为Raft_Large_Weights.DEFAULT。epe（在 Sintel-Test-Cleanpass 上）
1.819
epe（在 Sintel-Test-Finalpass 上）
3.067
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_V2.transforms中找到，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V1:
这些权重从原始论文移植而来。它们在
FlyingChairs+FlyingThings3D上预训练，在 Sintel 上进行了微调，然后在KittiFlow上进行了微调。上面描述了 Sintel 微调步骤。fl_all（在 Kitti-Test 上）
5.1
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_K_V1.transforms中找到，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D上预训练，在 Sintel 上进行了微调，然后在KittiFlow上进行了微调。上面描述了 Sintel 微调步骤。fl_all（在 Kitti-Test 上）
5.19
min_size
height=128, width=128
num_params
5257536
recipe
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_K_V2.transforms中找到，并执行以下预处理操作：接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。
使用
raft_large的示例
