fasterrcnn_resnet50_fpn

torchvision.models.detection.fasterrcnn_resnet50_fpn(*, weights: Optional[FasterRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) → FasterRCNN

Faster R-CNN 模型，使用来自 Faster R-CNN：通过区域提议网络实现实时目标检测 论文的 ResNet-50-FPN 主干网络。

警告

检测模块处于 Beta 阶段，不保证向后兼容性。

模型的输入应为张量列表，每个张量的形状为 [C, H, W]，每个图像一个，且应在 0-1 范围内。不同的图像可以具有不同的尺寸。

模型的行为取决于其是否处于训练或评估模式。

在训练期间，模型需要输入张量和目标（字典列表），其中包含

• 边界框（FloatTensor[N, 4]）：以 [x1, y1, x2, y2] 格式表示的真实边界框，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• 标签（Int64Tensor[N]）：每个真实边界框的类别标签

模型在训练期间返回一个 Dict[Tensor]，其中包含 RPN 和 R-CNN 的分类和回归损失。

在推理期间，模型仅需要输入张量，并将后处理后的预测结果作为 List[Dict[Tensor]] 返回，每个输入图像一个。 Dict 的字段如下所示，其中 N 是检测的数量

• 边界框（FloatTensor[N, 4]）：以 [x1, y1, x2, y2] 格式表示的预测边界框，其中 0 <= x1 < x2 <= W 且 0 <= y1 < y2 <= H。

• 标签（Int64Tensor[N]）：每个检测的预测标签

• 分数（Tensor[N]）：每个检测的分数

有关输出的更多详细信息，您可以参考 实例分割模型。

Faster R-CNN 可导出到 ONNX，用于具有固定尺寸输入图像的固定批次大小。

示例

>>> model = torchvision.models.detection.fasterrcnn_resnet50_fpn(weights=FasterRCNN_ResNet50_FPN_Weights.DEFAULT)
>>> # For training
>>> images, boxes = torch.rand(4, 3, 600, 1200), torch.rand(4, 11, 4)
>>> boxes[:, :, 2:4] = boxes[:, :, 0:2] + boxes[:, :, 2:4]
>>> labels = torch.randint(1, 91, (4, 11))
>>> images = list(image for image in images)
>>> targets = []
>>> for i in range(len(images)):
>>>     d = {}
>>>     d['boxes'] = boxes[i]
>>>     d['labels'] = labels[i]
>>>     targets.append(d)
>>> output = model(images, targets)
>>> # For inference
>>> model.eval()
>>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)]
>>> predictions = model(x)
>>>
>>> # optionally, if you want to export the model to ONNX:
>>> torch.onnx.export(model, x, "faster_rcnn.onnx", opset_version = 11)

参数：

• weights (FasterRCNN_ResNet50_FPN_Weights，可选) – 要使用的预训练权重。有关更多详细信息和可能的值，请参阅下面的 FasterRCNN_ResNet50_FPN_Weights。默认情况下，不使用任何预训练权重。

• progress (布尔值，可选) – 如果为 True，则在 stderr 中显示下载进度条。默认为 True。

• num_classes (整数，可选) – 模型的输出类别数（包括背景）

• weights_backbone (ResNet50_Weights，可选) – 主干网络的预训练权重。

• trainable_backbone_layers (整数，可选) – 从最后一个块开始的可训练（未冻结）层数。有效值为 0 到 5 之间，其中 5 表示所有主干层都可训练。如果传递 None（默认值），则此值将设置为 3。

• **kwargs – 传递给 torchvision.models.detection.faster_rcnn.FasterRCNN 基类的参数。有关此类的更多详细信息，请参阅 源代码。

class torchvision.models.detection.FasterRCNN_ResNet50_FPN_Weights(value)

上述模型构建器接受以下值作为 weights 参数。 FasterRCNN_ResNet50_FPN_Weights.DEFAULT 等效于 FasterRCNN_ResNet50_FPN_Weights.COCO_V1。您也可以使用字符串，例如 weights='DEFAULT' 或 weights='COCO_V1'。

FasterRCNN_ResNet50_FPN_Weights.COCO_V1:

这些权重是根据与论文中类似的训练方案生成的。也可作为 FasterRCNN_ResNet50_FPN_Weights.DEFAULT 使用。

box_map (在 COCO-val2017 上)	37.0
categories	__background__, person, bicycle, … (省略 88 个)
min_size	height=1, width=1
num_params	41755286
recipe	link
GFLOPS	134.38
文件大小	159.7 MB

推理变换可在 FasterRCNN_ResNet50_FPN_Weights.COCO_V1.transforms 中获取，并执行以下预处理操作：接受 PIL.Image、批处理的 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像被重新缩放至 [0.0, 1.0]。

使用 fasterrcnn_resnet50_fpn 的示例

将掩码重新用于边界框

将掩码重新用于边界框

可视化工具

可视化工具