torch.nn.functional.embedding_bag¶
- torch.nn.functional.embedding_bag(input, weight, offsets=None, max_norm=None, norm_type=2, scale_grad_by_freq=False, mode='mean', sparse=False, per_sample_weights=None, include_last_offset=False, padding_idx=None)[source]¶
计算嵌入“包”的和、均值或最大值。
计算在不实例化中间嵌入的情况下完成。有关更多详细信息,请参阅
torch.nn.EmbeddingBag
。注意
当在 CUDA 设备上给出张量时,此操作可能会产生非确定性梯度。有关更多信息,请参阅 可重复性。
- 参数
input (LongTensor) – 包含嵌入矩阵索引包的张量
weight (Tensor) – 嵌入矩阵,行数等于最大可能的索引 + 1,列数等于嵌入尺寸
offsets (LongTensor, 可选) – 仅当
input
为 1D 时使用。offsets
确定input
中每个包(序列)的起始索引位置。max_norm (float, 可选) – 如果给出,则范数大于
max_norm
的每个嵌入向量都将重新归一化为范数max_norm
。注意:这将就地修改weight
。norm_type (float, 可选) –
max_norm
选项计算的p
-范数中的p
。默认值为2
。scale_grad_by_freq (bool, 可选) – 如果给出,则将梯度按小批量中单词频率的倒数进行缩放。默认值为
False
。注意:当mode="max"
时,不支持此选项。mode (str, 可选) –
"sum"
、"mean"
或"max"
。指定减少包的方式。默认值:"mean"
sparse (bool, 可选) – 如果为
True
,则相对于weight
的梯度将是一个稀疏张量。有关稀疏梯度的更多详细信息,请参阅torch.nn.Embedding
下的注释。注意:当mode="max"
时,不支持此选项。per_sample_weights (张量, 可选) – 一个浮点/双精度权重的张量,或 None 表示所有权重都应取值为 1。如果指定,
per_sample_weights
必须与输入具有完全相同的形状,并且被视为具有相同的offsets
(如果这些不为 None)。include_last_offset (布尔值, 可选) – 如果为
True
,则 offsets 的大小等于包的数量 + 1。最后一个元素是输入的大小,或最后一个包(序列)的结束索引位置。padding_idx (整数, 可选) – 如果指定,则
padding_idx
处的条目不会对梯度做出贡献;因此,在训练期间不会更新padding_idx
处的嵌入向量,即它保持为固定的“填充”。请注意,padding_idx
处的嵌入向量不包括在约简中。
- 返回类型
- 形状
input
(LongTensor) 和offsets
(LongTensor, 可选)如果
input
是形状为 (B, N) 的 2D 张量,它将被视为每个固定长度为N
的B
个包(序列),这将返回B
个值,这些值以取决于mode
的方式进行聚合。在这种情况下,offsets
被忽略,并且需要为None
。如果
input
是形状为 (N) 的 1D 张量,它将被视为多个包(序列)的连接。offsets
需要是一个 1D 张量,包含input
中每个包的起始索引位置。因此,对于形状为 (B) 的offsets
,input
将被视为具有B
个包。空包(即长度为 0 的包)将返回用零填充的向量。
weight
(张量): 模块的可学习权重,形状为 (num_embeddings, embedding_dim)per_sample_weights
(张量, 可选)。与input
具有相同的形状。output
: 聚合后的嵌入值,形状为 (B, embedding_dim)
示例
>>> # an Embedding module containing 10 tensors of size 3 >>> embedding_matrix = torch.rand(10, 3) >>> # a batch of 2 samples of 4 indices each >>> input = torch.tensor([1, 2, 4, 5, 4, 3, 2, 9]) >>> offsets = torch.tensor([0, 4]) >>> F.embedding_bag(input, embedding_matrix, offsets) tensor([[ 0.3397, 0.3552, 0.5545], [ 0.5893, 0.4386, 0.5882]]) >>> # example with padding_idx >>> embedding_matrix = torch.rand(10, 3) >>> input = torch.tensor([2, 2, 2, 2, 4, 3, 2, 9]) >>> offsets = torch.tensor([0, 4]) >>> F.embedding_bag(input, embedding_matrix, offsets, padding_idx=2, mode='sum') tensor([[ 0.0000, 0.0000, 0.0000], [-0.7082, 3.2145, -2.6251]])