keypointrcnn_resnet50_fpn¶
- torchvision.models.detection.keypointrcnn_resnet50_fpn(*, weights: Optional[KeypointRCNN_ResNet50_FPN_Weights] = None, progress: bool = True, num_classes: Optional[int] = None, num_keypoints: Optional[int] = None, weights_backbone: Optional[ResNet50_Weights] = ResNet50_Weights.IMAGENET1K_V1, trainable_backbone_layers: Optional[int] = None, **kwargs: Any) KeypointRCNN [源代码]¶
使用 ResNet-50-FPN 主干构建关键点 R-CNN 模型。
警告
检测模块处于 Beta 阶段,不保证向后兼容性。
参考:Mask R-CNN.
模型的输入应为张量列表,每个张量的形状为
[C, H, W]
,每个张量代表一张图像,并应在0-1
范围内。不同的图像可以具有不同的尺寸。模型的行为根据其处于训练模式还是评估模式而有所不同。
在训练期间,模型需要输入张量和目标(字典列表),其中包含
框 (
FloatTensor[N, 4]
):地面实况框,格式为[x1, y1, x2, y2]
,其中0 <= x1 < x2 <= W
且0 <= y1 < y2 <= H
。标签 (
Int64Tensor[N]
):每个地面实况框的类别标签关键点 (
FloatTensor[N, K, 3]
):每个N
个实例的K
个关键点位置,格式为[x, y, visibility]
,其中visibility=0
表示关键点不可见。
模型在训练期间返回一个
Dict[Tensor]
,其中包含 RPN 和 R-CNN 的分类和回归损失,以及关键点损失。在推理期间,模型只需要输入张量,并返回后处理后的预测结果,格式为
List[Dict[Tensor]]
,每个输入图像对应一个字典。Dict
的字段如下,其中N
是检测到的实例数量框 (
FloatTensor[N, 4]
):预测的框,格式为[x1, y1, x2, y2]
,其中0 <= x1 < x2 <= W
且0 <= y1 < y2 <= H
。标签 (
Int64Tensor[N]
):每个实例的预测标签分数 (
Tensor[N]
):每个实例的分数关键点 (
FloatTensor[N, K, 3]
):预测的关键点位置,格式为[x, y, v]
。
有关输出的更多详细信息,请参阅 实例分割模型.
关键点 R-CNN 可以导出到 ONNX,用于固定大小的批次,输入图像大小固定。
示例
>>> model = torchvision.models.detection.keypointrcnn_resnet50_fpn(weights=KeypointRCNN_ResNet50_FPN_Weights.DEFAULT) >>> model.eval() >>> x = [torch.rand(3, 300, 400), torch.rand(3, 500, 400)] >>> predictions = model(x) >>> >>> # optionally, if you want to export the model to ONNX: >>> torch.onnx.export(model, x, "keypoint_rcnn.onnx", opset_version = 11)
- 参数:
权重 (
KeypointRCNN_ResNet50_FPN_Weights
, 可选) – 要使用的预训练权重。有关更多详细信息和可能的值,请参见KeypointRCNN_ResNet50_FPN_Weights
。默认情况下,不使用任何预训练权重。进度 (bool) – 如果为 True,则向 stderr 显示下载进度条
类别数 (int, 可选) – 模型的输出类别数(包括背景)
关键点数量 (int, 可选) – 关键点的数量
骨干权重 (
ResNet50_Weights
, 可选) – 骨干的预训练权重。可训练骨干层 (int, 可选) – 从最终块开始的可训练(未冻结)层的数量。有效值为 0 到 5,其中 5 表示所有骨干层都是可训练的。如果传递
None
(默认值),则此值将设置为 3。
- class torchvision.models.detection.KeypointRCNN_ResNet50_FPN_Weights(value)[source]¶
上面的模型构建器接受以下值作为
weights
参数。KeypointRCNN_ResNet50_FPN_Weights.DEFAULT
等效于KeypointRCNN_ResNet50_FPN_Weights.COCO_V1
。您也可以使用字符串,例如weights='DEFAULT'
或weights='COCO_LEGACY'
。KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY:
这些权重是通过遵循与论文中类似的训练方案生成的,但使用来自早期纪元的检查点。
box_map(在 COCO-val2017 上)
50.6
kp_map(在 COCO-val2017 上)
61.1
类别
无人物,人物
关键点名称
鼻子,左眼,右眼,…(省略 14 个)
最小尺寸
高度 = 1,宽度 = 1
参数数量
59137258
配方
GFLOPS
133.92
文件大小
226.1 MB
推理转换在
KeypointRCNN_ResNet50_FPN_Weights.COCO_LEGACY.transforms
中可用,并执行以下预处理操作:接受PIL.Image
、批次(B, C, H, W)
和单个(C, H, W)
图像torch.Tensor
对象。图像被重新缩放到[0.0, 1.0]
。KeypointRCNN_ResNet50_FPN_Weights.COCO_V1:
这些权重是通过遵循与论文中类似的训练方案生成的。也可以作为
KeypointRCNN_ResNet50_FPN_Weights.DEFAULT
使用。box_map(在 COCO-val2017 上)
54.6
kp_map(在 COCO-val2017 上)
65.0
类别
无人物,人物
关键点名称
鼻子,左眼,右眼,…(省略 14 个)
最小尺寸
高度 = 1,宽度 = 1
参数数量
59137258
配方
GFLOPS
137.42
文件大小
226.1 MB
推理转换在
KeypointRCNN_ResNet50_FPN_Weights.COCO_V1.transforms
中可用,并执行以下预处理操作:接受PIL.Image
、批次(B, C, H, W)
和单个(C, H, W)
图像torch.Tensor
对象。图像被重新缩放到[0.0, 1.0]
。
使用
keypointrcnn_resnet50_fpn
的示例可视化工具