TilePositionalEmbedding

class torchtune.models.clip.TilePositionalEmbedding(max_num_tiles: int, embed_dim: int)

用于图块的位置嵌入，每个图块不同，但同一图块内的每个 token 相同。

请注意，图块与补丁（token）不同。有关详细信息，请查看 torchtune.modules.vision_transformer.VisionTransformer 的文档。

参数:

• max_num_tiles (int) – 图像可以划分成的最大图块数。

• embed_dim (int) – 每个图块嵌入的维度。

forward(x: Tensor, aspect_ratio: Tensor) → Tensor

参数:

• x (torch.Tensor) – 形状为 (bsz * n_imgs, n_tiles, n_tokens_per_tile, embed_dim) 的 torch.Tensor。

• aspect_ratio (torch.Tensor) – 形状为 (bsz * n_imgs, 2) 的 torch.Tensor，表示图块裁剪前图像的宽高比，例如 (2,1)。

返回:

添加了位置嵌入的输入张量。

返回类型:

torch.Tensor