raft_large¶
- torchvision.models.optical_flow.raft_large(*, weights: Optional[Raft_Large_Weights] = None, progress=True, **kwargs) RAFT[源代码]¶
来自 RAFT: Recurrent All Pairs Field Transforms for Optical Flow 论文的 RAFT 模型。
请参阅下方示例，了解如何使用此模型的教程。
- 参数：
weights (
Raft_Large_Weights, 可选) – 要使用的预训练权重。请参阅下方Raft_Large_Weights以了解更多详细信息和可能的值。默认情况下，不使用预训练权重。progress (bool) – 如果为 True，则向 stderr 显示下载进度条。默认为 True。
**kwargs – 传递给
torchvision.models.optical_flow.RAFT基类的参数。有关此类别的更多详细信息，请参阅 源代码。
- class torchvision.models.optical_flow.Raft_Large_Weights(value)[源代码]¶
上面的模型构建器接受以下值作为
weights参数。Raft_Large_Weights.DEFAULT等同于Raft_Large_Weights.C_T_SKHT_V2。您也可以使用字符串，例如weights='DEFAULT'或weights='C_T_V1'。此处报告的指标如下。
epe是“端点误差”，表示预测的光流与其真实值之间的像素距离。这是在所有图像的所有像素上平均计算的。per_image_epe类似，但平均方式不同：首先在每张图像上独立计算 epe，然后对所有图像取平均值。这对应于原始论文中的“Fl-epe”（有时写为“F1-epe”），仅在 Kitti 上使用。fl-all也是一个特定于 Kitti 的指标，由数据集作者定义并用于 Kitti 排行榜。它对应于像素的平均值，这些像素的 epe 小于 3 像素或小于光流 2-范数的 5%。Raft_Large_Weights.C_T_V1:
这些权重从原始论文中移植而来。它们在
FlyingChairs+FlyingThings3D数据集上训练。epe（在 Sintel-Train-Cleanpass 上）
1.4411
epe（在 Sintel-Train-Finalpass 上）
2.7894
per_image_epe（在 Kitti-Train 上）
5.0172
fl_all（在 Kitti-Train 上）
17.4506
最小尺寸
height=128, width=128
参数数量
5257536
训练方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_V1.transforms中获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个的(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_V2:
这些权重是在
FlyingChairs+FlyingThings3D数据集上从头开始训练的。epe（在 Sintel-Train-Cleanpass 上）
1.3822
epe（在 Sintel-Train-Finalpass 上）
2.7161
per_image_epe（在 Kitti-Train 上）
4.5118
fl_all（在 Kitti-Train 上）
16.0679
最小尺寸
height=128, width=128
参数数量
5257536
训练方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_V2.transforms中获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个的(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V1:
这些权重从原始论文中移植而来。它们在
FlyingChairs+FlyingThings3D数据集上训练，并在 Sintel 上微调。Sintel 微调步骤结合了Sintel、KittiFlow、HD1K和FlyingThings3D(clean pass) 数据集。epe（在 Sintel-Test-Cleanpass 上）
1.94
epe（在 Sintel-Test-Finalpass 上）
3.18
最小尺寸
height=128, width=128
参数数量
5257536
训练方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_V1.transforms中获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个的(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D数据集上预训练，然后在 Sintel 上微调。Sintel 微调步骤结合了Sintel、KittiFlow、HD1K和FlyingThings3D(clean pass) 数据集。也可作为Raft_Large_Weights.DEFAULT使用。epe（在 Sintel-Test-Cleanpass 上）
1.819
epe（在 Sintel-Test-Finalpass 上）
3.067
最小尺寸
height=128, width=128
参数数量
5257536
训练方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_V2.transforms中获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个的(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V1:
这些权重从原始论文中移植而来。它们在
FlyingChairs+FlyingThings3D数据集上预训练，在 Sintel 上微调，然后在KittiFlow上微调。Sintel 微调步骤如上所述。fl_all（在 Kitti-Test 上）
5.1
最小尺寸
height=128, width=128
参数数量
5257536
训练方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_K_V1.transforms中获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个的(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。Raft_Large_Weights.C_T_SKHT_K_V2:
这些权重是从头开始训练的。它们在
FlyingChairs+FlyingThings3D数据集上预训练，在 Sintel 上微调，然后在KittiFlow上微调。Sintel 微调步骤如上所述。fl_all（在 Kitti-Test 上）
5.19
最小尺寸
height=128, width=128
参数数量
5257536
训练方案
GFLOPS
211.01
文件大小
20.1 MB
推理转换可在
Raft_Large_Weights.C_T_SKHT_K_V2.transforms中获得，并执行以下预处理操作：接受PIL.Image、批处理的(B, C, H, W)和单个的(C, H, W)图像torch.Tensor对象。图像被重新缩放到[-1.0, 1.0]。
使用 raft_large 的示例
