TiledTokenPositionalEmbedding

class torchtune.models.clip.TiledTokenPositionalEmbedding(max_num_tiles: int, embed_dim: int, tile_size: int, patch_size: int)

用于平铺图像的 Token 位置嵌入，每个平铺块和每个 Token 都不同。

此模块中有两个位置嵌入

• local_token_positional_embedding：每个平铺块相同，每个 Token 不同。等效于 torchtune.models.clip._position_embeddings.TokenPositionalEmbedding，但带有门控。

• global_token_positional_embedding：每个平铺块和每个 Token 都不同。

请注意，平铺块 (tile) 与补丁 (patch/token) 不同。有关详细信息，请查看 torchtune.modules.vision_transformer.VisionTransformer 的文档。

参数:

• max_num_tiles (int) – 图像可以被分割成的最大平铺块数量。

• embed_dim (int) – 每个 Token 嵌入的维度。

• tile_size (int) – 图像平铺块的大小，如果图像是预先平铺裁剪的。否则，为输入图像的大小。在这种情况下，该函数会将您的图像视为单个平铺块。

• patch_size (int) – 每个补丁的大小。用于将平铺块分割成补丁。例如，对于 patch_size=40，形状为 (400, 400) 的平铺块将具有 10x10 的补丁网格，每个补丁的形状为 (40, 40)。

forward(x: Tensor, aspect_ratio: Tensor) → Tensor

参数:

• x (torch.Tensor) – 形状为 (bsz * n_imgs, n_tiles, n_tokens_per_tile, embed_dim) 的 torch.Tensor。

• aspect_ratio (torch.Tensor) – 形状为 (bsz * n_imgs, 2) 的 torch.Tensor，其中 aspect_ratio[k] 表示第 k 个图像在平铺裁剪前的宽高比，例如 aspect_ratio[k] = (2,1)。

返回:

添加了位置嵌入的输入张量。

返回类型:

torch.Tensor