快捷方式

torch.nn.functional.embedding_bag

torch.nn.functional.embedding_bag(input, weight, offsets=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, mode='mean', sparse=False, per_sample_weights=None, include_last_offset=False, padding_idx=None)[source]

计算嵌入“包”的和、均值或最大值。

计算在不实例化中间嵌入的情况下完成。有关更多详细信息,请参阅 torch.nn.EmbeddingBag

注意

当在 CUDA 设备上给出张量时,此操作可能会产生非确定性梯度。有关更多信息,请参阅 可重复性

参数
  • input (LongTensor) – 包含嵌入矩阵索引包的张量

  • weight (Tensor) – 嵌入矩阵,行数等于最大可能的索引 + 1,列数等于嵌入尺寸

  • offsets (LongTensor, 可选) – 仅当 input 为 1D 时使用。offsets 确定 input 中每个包(序列)的起始索引位置。

  • max_norm (float, 可选) – 如果给出,则范数大于 max_norm 的每个嵌入向量都将重新归一化为范数 max_norm。注意:这将就地修改 weight

  • norm_type (float, 可选) – max_norm 选项计算的 p-范数中的 p。默认值为 2

  • scale_grad_by_freq (bool, 可选) – 如果给出,则将梯度按小批量中单词频率的倒数进行缩放。默认值为 False。注意:当 mode="max" 时,不支持此选项。

  • mode (str, 可选) – "sum""mean""max"。指定减少包的方式。默认值:"mean"

  • sparse (bool, 可选) – 如果为 True,则相对于 weight 的梯度将是一个稀疏张量。有关稀疏梯度的更多详细信息,请参阅 torch.nn.Embedding 下的注释。注意:当 mode="max" 时,不支持此选项。

  • per_sample_weights (张量, 可选) – 一个浮点/双精度权重的张量,或 None 表示所有权重都应取值为 1。如果指定,per_sample_weights 必须与输入具有完全相同的形状,并且被视为具有相同的 offsets(如果这些不为 None)。

  • include_last_offset (布尔值, 可选) – 如果为 True,则 offsets 的大小等于包的数量 + 1。最后一个元素是输入的大小,或最后一个包(序列)的结束索引位置。

  • padding_idx (整数, 可选) – 如果指定,则 padding_idx 处的条目不会对梯度做出贡献;因此,在训练期间不会更新 padding_idx 处的嵌入向量,即它保持为固定的“填充”。请注意,padding_idx 处的嵌入向量不包括在约简中。

返回类型

张量

形状
  • input (LongTensor) 和 offsets (LongTensor, 可选)

    • 如果 input 是形状为 (B, N) 的 2D 张量,它将被视为每个固定长度为 NB 个包(序列),这将返回 B 个值,这些值以取决于 mode 的方式进行聚合。在这种情况下,offsets 被忽略,并且需要为 None

    • 如果 input 是形状为 (N) 的 1D 张量,它将被视为多个包(序列)的连接。 offsets 需要是一个 1D 张量,包含 input 中每个包的起始索引位置。因此,对于形状为 (B)offsetsinput 将被视为具有 B 个包。空包(即长度为 0 的包)将返回用零填充的向量。

  • weight (张量): 模块的可学习权重,形状为 (num_embeddings, embedding_dim)

  • per_sample_weights (张量, 可选)。与 input 具有相同的形状。

  • output: 聚合后的嵌入值,形状为 (B, embedding_dim)

示例

>>> # an Embedding module containing 10 tensors of size 3
>>> embedding_matrix = torch.rand(10, 3)
>>> # a batch of 2 samples of 4 indices each
>>> input = torch.tensor([1, 2, 4, 5, 4, 3, 2, 9])
>>> offsets = torch.tensor([0, 4])
>>> F.embedding_bag(input, embedding_matrix, offsets)
tensor([[ 0.3397,  0.3552,  0.5545],
        [ 0.5893,  0.4386,  0.5882]])

>>> # example with padding_idx
>>> embedding_matrix = torch.rand(10, 3)
>>> input = torch.tensor([2, 2, 2, 2, 4, 3, 2, 9])
>>> offsets = torch.tensor([0, 4])
>>> F.embedding_bag(input, embedding_matrix, offsets, padding_idx=2, mode='sum')
tensor([[ 0.0000,  0.0000,  0.0000],
        [-0.7082,  3.2145, -2.6251]])

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源