快捷方式

keypointrcnn_resnet50_fpn

torchvision.models.detection.keypointrcnn_resnet50_fpn(*, weights: Optional[KeypointRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, num_keypoints: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) KeypointRCNN[源代码]

使用 ResNet-50-FPN 主干构建关键点 R-CNN 模型。

警告

检测模块处于 Beta 阶段,不保证向后兼容性。

参考:Mask R-CNN.

模型的输入应为张量列表,每个张量的形状为 [C, H, W],每个张量代表一张图像,并应在 0-1 范围内。不同的图像可以具有不同的尺寸。

模型的行为根据其处于训练模式还是评估模式而有所不同。

在训练期间,模型需要输入张量和目标(字典列表),其中包含

  • 框 (FloatTensor[N, 4]):地面实况框,格式为 [x1, y1, x2, y2],其中 0 <= x1 < x2 <= W0 <= y1 < y2 <= H

  • 标签 (Int64Tensor[N]):每个地面实况框的类别标签

  • 关键点 (FloatTensor[N, K, 3]):每个 N 个实例的 K 个关键点位置,格式为 [x, y, visibility],其中 visibility=0 表示关键点不可见。

模型在训练期间返回一个 Dict[Tensor],其中包含 RPN 和 R-CNN 的分类和回归损失,以及关键点损失。

在推理期间,模型只需要输入张量,并返回后处理后的预测结果,格式为 List[Dict[Tensor]],每个输入图像对应一个字典。Dict 的字段如下,其中 N 是检测到的实例数量

  • 框 (FloatTensor[N, 4]):预测的框,格式为 [x1, y1, x2, y2],其中 0 <= x1 < x2 <= W0 <= y1 < y2 <= H

  • 标签 (Int64Tensor[N]):每个实例的预测标签

  • 分数 (Tensor[N]):每个实例的分数

  • 关键点 (FloatTensor[N, K, 3]):预测的关键点位置,格式为 [x, y, v]

有关输出的更多详细信息,请参阅 实例分割模型.

关键点 R-CNN 可以导出到 ONNX,用于固定大小的批次,输入图像大小固定。

示例

>>> model = torchvision.models.detection.keypointrcnn_resnet50_fpn(weights=KeypointRCNN_ResNet50_FPN_Weights.DEFAULT)
>>> model.eval()
>>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)]
>>> predictions = model(x)
>>>
>>> # optionally, if you want to export the model to ONNX:
>>> torch.onnx.export(model, x, "keypoint_rcnn.onnx", opset_version = 11)
参数:
  • 权重 (KeypointRCNN_ResNet50_FPN_Weights, 可选) – 要使用的预训练权重。有关更多详细信息和可能的值,请参见KeypointRCNN_ResNet50_FPN_Weights。默认情况下,不使用任何预训练权重。

  • 进度 (bool) – 如果为 True,则向 stderr 显示下载进度条

  • 类别数 (int, 可选) – 模型的输出类别数(包括背景)

  • 关键点数量 (int, 可选) – 关键点的数量

  • 骨干权重 (ResNet50_Weights, 可选) – 骨干的预训练权重。

  • 可训练骨干层 (int, 可选) – 从最终块开始的可训练(未冻结)层的数量。有效值为 0 到 5,其中 5 表示所有骨干层都是可训练的。如果传递 None(默认值),则此值将设置为 3。

class torchvision.models.detection.KeypointRCNN_ResNet50_FPN_Weights(value)[source]

上面的模型构建器接受以下值作为 weights 参数。 KeypointRCNN_ResNet50_FPN_Weights.DEFAULT 等效于 KeypointRCNN_ResNet50_FPN_Weights.COCO_V1。您也可以使用字符串,例如 weights='DEFAULT'weights='COCO_LEGACY'

KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY:

这些权重是通过遵循与论文中类似的训练方案生成的,但使用来自早期纪元的检查点。

box_map(在 COCO-val2017 上)

50.6

kp_map(在 COCO-val2017 上)

61.1

类别

无人物,人物

关键点名称

鼻子,左眼,右眼,…(省略 14 个)

最小尺寸

高度 = 1,宽度 = 1

参数数量

59137258

配方

链接

GFLOPS

133.92

文件大小

226.1 MB

推理转换在 KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY.transforms 中可用,并执行以下预处理操作:接受 PIL.Image、批次 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像被重新缩放到 [0.0, 1.0]

KeypointRCNN_ResNet50_FPN_Weights.COCO_V1:

这些权重是通过遵循与论文中类似的训练方案生成的。也可以作为 KeypointRCNN_ResNet50_FPN_Weights.DEFAULT 使用。

box_map(在 COCO-val2017 上)

54.6

kp_map(在 COCO-val2017 上)

65.0

类别

无人物,人物

关键点名称

鼻子,左眼,右眼,…(省略 14 个)

最小尺寸

高度 = 1,宽度 = 1

参数数量

59137258

配方

链接

GFLOPS

137.42

文件大小

226.1 MB

推理转换在 KeypointRCNN_ResNet50_FPN_Weights.COCO_V1.transforms 中可用,并执行以下预处理操作:接受 PIL.Image、批次 (B, C, H, W) 和单个 (C, H, W) 图像 torch.Tensor 对象。图像被重新缩放到 [0.0, 1.0]

使用 keypointrcnn_resnet50_fpn 的示例

可视化工具

可视化工具

文档

访问 PyTorch 的全面的开发者文档

查看文档

教程

获取针对初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得答案

查看资源