快捷方式

torch.svd

torch.svd(input, some=True, compute_uv=True, *, out=None)

计算矩阵或矩阵批次的奇异值分解 input。奇异值分解表示为命名元组 (U, S, V),使得 input =Udiag(S)VH= U \text{diag}(S) V^{\text{H}}. 其中 VHV^{\text{H}} 是实数输入的 V 的转置,以及复数输入的 V 的共轭转置。如果 input 是一个矩阵批次,则 USV 也是批处理的,并且与 input 具有相同的批处理维度。

如果 someTrue(默认值),则该方法返回简化的奇异值分解。在这种情况下,如果 input 的最后两个维度为 mn,则返回的 UV 矩阵将仅包含 min(n, m) 个正交列。

如果 compute_uvFalse,则返回的 UV 将分别为形状为 (m, m)(n, n) 且与 input 相同设备的零填充矩阵。当 compute_uvFalse 时,参数 some 不会产生影响。

支持 float、double、cfloat 和 cdouble 数据类型的 inputUV 的数据类型与 input 的相同。 S 将始终为实数,即使 input 为复数。

警告

torch.svd() 已弃用,建议使用 torch.linalg.svd(),并在未来的 PyTorch 版本中移除。

U, S, V = torch.svd(A, some=some, compute_uv=True)(默认)应替换为

U, S, Vh = torch.linalg.svd(A, full_matrices=not some)
V = Vh.mH

_, S, _ = torch.svd(A, some=some, compute_uv=False) 应替换为

S = torch.linalg.svdvals(A)

注意

torch.linalg.svd() 的区别

注意

奇异值按降序返回。如果 input 是一个矩阵批次,则批次中每个矩阵的奇异值将按降序返回。

注意

只有当 compute_uvTrue 时,S 张量才能用于计算梯度。

注意

someFalse 时,在反向传播过程中将忽略 U[…, :, min(m, n):]V[…, :, min(m, n):] 上的梯度,因为这些向量可以是相应子空间的任意基。

注意

在 CPU 上 torch.linalg.svd() 的实现使用 LAPACK 的例程 ?gesdd(分治算法)而不是 ?gesvd 来提高速度。类似地,在 GPU 上,它在 CUDA 10.1.243 及更高版本上使用 cuSOLVER 的例程 gesvdjgesvdjBatched,在早期版本的 CUDA 上使用 MAGMA 的例程 gesdd

注意

返回的 U 将不是连续的。矩阵(或矩阵批次)将表示为列主序矩阵(即 Fortran 连续)。

警告

只有当输入没有零或重复的奇异值时,关于 UV 的梯度才是有限的。

警告

如果任何两个奇异值之间的距离接近于零,则关于 UV 的梯度在数值上是不稳定的,因为它们依赖于 1minijσi2σj2\frac{1}{\min_{i \neq j} \sigma_i^2 - \sigma_j^2}. 当矩阵具有较小的奇异值时也会发生这种情况,因为这些梯度也依赖于 S^{-1}

警告

对于复数值 input,奇异值分解不是唯一的,因为 UV 可以乘以任意相位因子 eiϕe^{i \phi} 在每一列上。当 input 具有重复的奇异值时也会发生这种情况,其中可以将 UV 中跨越子空间的列乘以旋转矩阵,结果向量将跨越相同的子空间。不同的平台,如 NumPy,或不同设备类型上的输入,可能会产生不同的 UV 张量。

参数
  • input (Tensor) – 尺寸为 (*, m, n) 的输入张量,其中 * 是零个或多个批次维度,包含 (m, n) 矩阵。

  • some (bool, optional) – 控制是否计算简化或完整分解,以及由此产生的返回 UV 的形状。默认值:True

  • compute_uv (bool, optional) – 控制是否计算 UV。默认值:True

关键字参数

out (tuple, optional) – 张量的输出元组

示例

>>> a = torch.randn(5, 3)
>>> a
tensor([[ 0.2364, -0.7752,  0.6372],
        [ 1.7201,  0.7394, -0.0504],
        [-0.3371, -1.0584,  0.5296],
        [ 0.3550, -0.4022,  1.5569],
        [ 0.2445, -0.0158,  1.1414]])
>>> u, s, v = torch.svd(a)
>>> u
tensor([[ 0.4027,  0.0287,  0.5434],
        [-0.1946,  0.8833,  0.3679],
        [ 0.4296, -0.2890,  0.5261],
        [ 0.6604,  0.2717, -0.2618],
        [ 0.4234,  0.2481, -0.4733]])
>>> s
tensor([2.3289, 2.0315, 0.7806])
>>> v
tensor([[-0.0199,  0.8766,  0.4809],
        [-0.5080,  0.4054, -0.7600],
        [ 0.8611,  0.2594, -0.4373]])
>>> torch.dist(a, torch.mm(torch.mm(u, torch.diag(s)), v.t()))
tensor(8.6531e-07)
>>> a_big = torch.randn(7, 5, 3)
>>> u, s, v = torch.svd(a_big)
>>> torch.dist(a_big, torch.matmul(torch.matmul(u, torch.diag_embed(s)), v.mT))
tensor(2.6503e-06)

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取针对初学者和高级开发人员的深度教程

查看教程

资源

查找开发资源并获得问题的解答

查看资源