快捷方式

torch.nn.functional.embedding

torch.nn.functional.embedding(input, weight, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)[源代码]

生成一个简单的查找表,该查找表在固定字典和大小中查找嵌入。

此模块通常用于使用索引检索词嵌入。该模块的输入是索引列表和嵌入矩阵,输出是相应的词嵌入。

有关详细信息,请参阅 torch.nn.Embedding

注意

请注意,此函数相对于 weight 中条目(由 padding_idx 指定的行)的解析梯度预计与数值梯度不同。

注意

请注意,:class:`torch.nn.Embedding` 与此函数的不同之处在于它在构造时将由 padding_idx 指定的 weight 行初始化为全零。

参数
  • input (LongTensor) – 包含嵌入矩阵中索引的张量

  • weight (张量) – 嵌入矩阵,行数等于最大可能索引 + 1,列数等于嵌入大小

  • padding_idx (int, 可选) – 如果指定,则 padding_idx 处的条目不会对梯度做出贡献;因此,padding_idx 处的嵌入向量在训练期间不会更新,即它保持为固定的“填充”。

  • max_norm (float, 可选) – 如果给出,则每个范数大于 max_norm 的嵌入向量将被重新归一化,使其范数为 max_norm。注意:这将就地修改 weight

  • norm_type (float, 可选) – 为 max_norm 选项计算的 p 范数的 p。默认值为 2

  • scale_grad_by_freq (bool, 可选) – 如果给出,则将按微批次中词的频率倒数缩放梯度。默认值为 False

  • sparse (bool, 可选) – 如果为 True,则针对 weight 的梯度将是一个稀疏张量。有关稀疏梯度的更多详细信息,请参阅 torch.nn.Embedding 下的“注意”。

返回类型

张量

形状
  • 输入:包含要提取的索引的任意形状的 LongTensor

  • 权重:形状为 (V, embedding_dim) 的浮点类型嵌入矩阵,其中 V = 最大索引 + 1,embedding_dim = 嵌入大小

  • 输出:(*, embedding_dim),其中 * 是输入形状

示例

>>> # a batch of 2 samples of 4 indices each
>>> input = torch.tensor([[1, 2, 4, 5], [4, 3, 2, 9]])
>>> # an embedding matrix containing 10 tensors of size 3
>>> embedding_matrix = torch.rand(10, 3)
>>> F.embedding(input, embedding_matrix)
tensor([[[ 0.8490,  0.9625,  0.6753],
         [ 0.9666,  0.7761,  0.6108],
         [ 0.6246,  0.9751,  0.3618],
         [ 0.4161,  0.2419,  0.7383]],

        [[ 0.6246,  0.9751,  0.3618],
         [ 0.0237,  0.7794,  0.0528],
         [ 0.9666,  0.7761,  0.6108],
         [ 0.3385,  0.8612,  0.1867]]])

>>> # example with padding_idx
>>> weights = torch.rand(10, 3)
>>> weights[0, :].zero_()
>>> embedding_matrix = weights
>>> input = torch.tensor([[0, 2, 0, 5]])
>>> F.embedding(input, embedding_matrix, padding_idx=0)
tensor([[[ 0.0000,  0.0000,  0.0000],
         [ 0.5609,  0.5384,  0.8720],
         [ 0.0000,  0.0000,  0.0000],
         [ 0.6262,  0.2438,  0.7471]]])

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源