torch.nn.functional.embedding¶
- torch.nn.functional.embedding(input, weight, padding_idx=None, max_norm=None, norm_type=2.0, scale_grad_by_freq=False, sparse=False)[源代码]¶
生成一个简单的查找表,该查找表在固定字典和大小中查找嵌入。
此模块通常用于使用索引检索词嵌入。该模块的输入是索引列表和嵌入矩阵,输出是相应的词嵌入。
有关详细信息,请参阅
torch.nn.Embedding
。注意
请注意,此函数相对于
weight
中条目(由padding_idx
指定的行)的解析梯度预计与数值梯度不同。注意
请注意,:class:`torch.nn.Embedding` 与此函数的不同之处在于它在构造时将由
padding_idx
指定的weight
行初始化为全零。- 参数
input (LongTensor) – 包含嵌入矩阵中索引的张量
weight (张量) – 嵌入矩阵,行数等于最大可能索引 + 1,列数等于嵌入大小
padding_idx (int, 可选) – 如果指定,则
padding_idx
处的条目不会对梯度做出贡献;因此,padding_idx
处的嵌入向量在训练期间不会更新,即它保持为固定的“填充”。max_norm (float, 可选) – 如果给出,则每个范数大于
max_norm
的嵌入向量将被重新归一化,使其范数为max_norm
。注意:这将就地修改weight
。norm_type (float, 可选) – 为
max_norm
选项计算的 p 范数的 p。默认值为2
。scale_grad_by_freq (bool, 可选) – 如果给出,则将按微批次中词的频率倒数缩放梯度。默认值为
False
。sparse (bool, 可选) – 如果为
True
,则针对weight
的梯度将是一个稀疏张量。有关稀疏梯度的更多详细信息,请参阅torch.nn.Embedding
下的“注意”。
- 返回类型
- 形状
输入:包含要提取的索引的任意形状的 LongTensor
权重:形状为 (V, embedding_dim) 的浮点类型嵌入矩阵,其中 V = 最大索引 + 1,embedding_dim = 嵌入大小
输出:(*, embedding_dim),其中 * 是输入形状
示例
>>> # a batch of 2 samples of 4 indices each >>> input = torch.tensor([[1, 2, 4, 5], [4, 3, 2, 9]]) >>> # an embedding matrix containing 10 tensors of size 3 >>> embedding_matrix = torch.rand(10, 3) >>> F.embedding(input, embedding_matrix) tensor([[[ 0.8490, 0.9625, 0.6753], [ 0.9666, 0.7761, 0.6108], [ 0.6246, 0.9751, 0.3618], [ 0.4161, 0.2419, 0.7383]], [[ 0.6246, 0.9751, 0.3618], [ 0.0237, 0.7794, 0.0528], [ 0.9666, 0.7761, 0.6108], [ 0.3385, 0.8612, 0.1867]]]) >>> # example with padding_idx >>> weights = torch.rand(10, 3) >>> weights[0, :].zero_() >>> embedding_matrix = weights >>> input = torch.tensor([[0, 2, 0, 5]]) >>> F.embedding(input, embedding_matrix, padding_idx=0) tensor([[[ 0.0000, 0.0000, 0.0000], [ 0.5609, 0.5384, 0.8720], [ 0.0000, 0.0000, 0.0000], [ 0.6262, 0.2438, 0.7471]]])