keypointrcnn_resnet50_fpn¶
- torchvision.models.detection.keypointrcnn_resnet50_fpn(*, weights: Optional[KeypointRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, num_keypoints: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) KeypointRCNN[source]¶
构建具有 ResNet-50-FPN 主干网络的 Keypoint R-CNN 模型。
警告
检测模块处于 Beta 阶段，不保证向后兼容性。
参考： Mask R-CNN。
模型的输入应为张量列表，每个张量的形状为
[C, H, W]，每个图像一个张量，并且应在0-1范围内。不同图像可以具有不同的大小。模型的行为会根据其处于训练模式还是评估模式而变化。
在训练期间，模型期望同时接收输入张量和目标（字典列表），其中包含
boxes (
FloatTensor[N, 4])：[x1, y1, x2, y2]格式的真实框，其中0 <= x1 < x2 <= W且0 <= y1 < y2 <= H。labels (
Int64Tensor[N])：每个真实框的类别标签keypoints (
FloatTensor[N, K, 3])：每个N个实例的K个关键点位置，格式为[x, y, visibility]，其中visibility=0表示关键点不可见。
模型在训练期间返回
Dict[Tensor]，其中包含 RPN 和 R-CNN 的分类和回归损失，以及关键点损失。在推理期间，模型仅需要输入张量，并将后处理的预测作为
List[Dict[Tensor]]返回，每个输入图像一个字典。Dict的字段如下，其中N是检测到的实例数boxes (
FloatTensor[N, 4])：[x1, y1, x2, y2]格式的预测框，其中0 <= x1 < x2 <= W且0 <= y1 < y2 <= H。labels (
Int64Tensor[N])：每个实例的预测标签scores (
Tensor[N])：每个实例的分数keypoints (
FloatTensor[N, K, 3])：预测关键点的位置，格式为[x, y, v]。
有关输出的更多详细信息，您可以参考 实例分割模型。
Keypoint R-CNN 可以导出到 ONNX，用于固定批次大小和固定大小的输入图像。
示例
>>> model = torchvision.models.detection.keypointrcnn_resnet50_fpn(weights=KeypointRCNN_ResNet50_FPN_Weights.DEFAULT) >>> model.eval() >>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)] >>> predictions = model(x) >>> >>> # optionally, if you want to export the model to ONNX: >>> torch.onnx.export(model, x, "keypoint_rcnn.onnx", opset_version = 11)
- 参数:
weights (
KeypointRCNN_ResNet50_FPN_Weights, optional) – 要使用的预训练权重。 有关更多详细信息和可能的值，请参见下方的KeypointRCNN_ResNet50_FPN_Weights。 默认情况下，不使用预训练权重。progress (bool) – 如果为 True，则在 stderr 上显示下载进度条
num_classes (int, optional) – 模型的输出类别数（包括背景）
num_keypoints (int, optional) – 关键点数
weights_backbone (
ResNet50_Weights, optional) – 主干网络的预训练权重。trainable_backbone_layers (int, optional) – 从最后一个块开始的可训练（非冻结）层数。 有效值介于 0 到 5 之间，其中 5 表示所有主干网络层都是可训练的。 如果传递
None（默认值），则此值设置为 3。
- class torchvision.models.detection.KeypointRCNN_ResNet50_FPN_Weights(value)[source]¶
上面的模型构建器接受以下值作为
weights参数。KeypointRCNN_ResNet50_FPN_Weights.DEFAULT等同于KeypointRCNN_ResNet50_FPN_Weights.COCO_V1。 您还可以使用字符串，例如weights='DEFAULT'或weights='COCO_LEGACY'。KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY:
这些权重是通过遵循与论文中类似的训练方法生成的，但使用了早期 epoch 的检查点。
box_map (在 COCO-val2017 上)
50.6
kp_map (在 COCO-val2017 上)
61.1
类别
no person, person (非人, 人)
keypoint_names (关键点名称)
nose, left_eye, right_eye, … (省略 14 个)
min_size (最小尺寸)
height=1, width=1 (高度=1, 宽度=1)
num_params (参数数量)
59137258
recipe (配方)
GFLOPS
133.92
文件大小
226.1 MB
推理转换可在
KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY.transforms中找到，并执行以下预处理操作： 接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。 图像被重新缩放到[0.0, 1.0]。KeypointRCNN_ResNet50_FPN_Weights.COCO_V1:
这些权重是通过遵循与论文中类似的训练方法生成的。 也可用作
KeypointRCNN_ResNet50_FPN_Weights.DEFAULT。box_map (在 COCO-val2017 上)
54.6
kp_map (在 COCO-val2017 上)
65.0
类别
no person, person (非人, 人)
keypoint_names (关键点名称)
nose, left_eye, right_eye, … (省略 14 个)
min_size (最小尺寸)
height=1, width=1 (高度=1, 宽度=1)
num_params (参数数量)
59137258
recipe (配方)
GFLOPS
137.42
文件大小
226.1 MB
推理转换可在
KeypointRCNN_ResNet50_FPN_Weights.COCO_V1.transforms中找到，并执行以下预处理操作： 接受PIL.Image、批量(B, C, H, W)和单张(C, H, W)图像torch.Tensor对象。 图像被重新缩放到[0.0, 1.0]。
使用
keypointrcnn_resnet50_fpn的示例
