torch.svd¶
- torch.svd(input, some=True, compute_uv=True, *, out=None)¶
计算矩阵或矩阵批次的奇异值分解
input
。奇异值分解表示为命名元组 (U, S, V),使得input
. 其中 是实数输入的 V 的转置,以及复数输入的 V 的共轭转置。如果input
是一个矩阵批次,则 U、S 和 V 也是批处理的,并且与input
具有相同的批处理维度。如果
some
为 True(默认值),则该方法返回简化的奇异值分解。在这种情况下,如果input
的最后两个维度为 m 和 n,则返回的 U 和 V 矩阵将仅包含 min(n, m) 个正交列。如果
compute_uv
为 False,则返回的 U 和 V 将分别为形状为 (m, m) 和 (n, n) 且与input
相同设备的零填充矩阵。当compute_uv
为 False 时,参数some
不会产生影响。支持 float、double、cfloat 和 cdouble 数据类型的
input
。 U 和 V 的数据类型与input
的相同。 S 将始终为实数,即使input
为复数。警告
torch.svd()
已弃用,建议使用torch.linalg.svd()
,并在未来的 PyTorch 版本中移除。U, S, V = torch.svd(A, some=some, compute_uv=True)
(默认)应替换为U, S, Vh = torch.linalg.svd(A, full_matrices=not some) V = Vh.mH
_, S, _ = torch.svd(A, some=some, compute_uv=False)
应替换为S = torch.linalg.svdvals(A)
注意
与
torch.linalg.svd()
的区别some
与torch.linalg.svd()
的full_matrices
相反。请注意,两者的默认值均为 True,因此默认行为实际上是相反的。torch.svd()
返回 V,而torch.linalg.svd()
返回 Vh,即 .如果
compute_uv
为 False,则torch.svd()
返回 U 和 Vh 的零填充张量,而torch.linalg.svd()
返回空张量。
注意
奇异值按降序返回。如果
input
是一个矩阵批次,则批次中每个矩阵的奇异值将按降序返回。注意
只有当
compute_uv
为 True 时,S 张量才能用于计算梯度。注意
当
some
为 False 时,在反向传播过程中将忽略 U[…, :, min(m, n):] 和 V[…, :, min(m, n):] 上的梯度,因为这些向量可以是相应子空间的任意基。注意
在 CPU 上
torch.linalg.svd()
的实现使用 LAPACK 的例程 ?gesdd(分治算法)而不是 ?gesvd 来提高速度。类似地,在 GPU 上,它在 CUDA 10.1.243 及更高版本上使用 cuSOLVER 的例程 gesvdj 和 gesvdjBatched,在早期版本的 CUDA 上使用 MAGMA 的例程 gesdd。注意
返回的 U 将不是连续的。矩阵(或矩阵批次)将表示为列主序矩阵(即 Fortran 连续)。
警告
只有当输入没有零或重复的奇异值时,关于 U 和 V 的梯度才是有限的。
警告
如果任何两个奇异值之间的距离接近于零,则关于 U 和 V 的梯度在数值上是不稳定的,因为它们依赖于 . 当矩阵具有较小的奇异值时也会发生这种情况,因为这些梯度也依赖于 S^{-1}。
警告
对于复数值
input
,奇异值分解不是唯一的,因为 U 和 V 可以乘以任意相位因子 在每一列上。当input
具有重复的奇异值时也会发生这种情况,其中可以将 U 和 V 中跨越子空间的列乘以旋转矩阵,结果向量将跨越相同的子空间。不同的平台,如 NumPy,或不同设备类型上的输入,可能会产生不同的 U 和 V 张量。- 参数
- 关键字参数
out (tuple, optional) – 张量的输出元组
示例
>>> a = torch.randn(5, 3) >>> a tensor([[ 0.2364, -0.7752, 0.6372], [ 1.7201, 0.7394, -0.0504], [-0.3371, -1.0584, 0.5296], [ 0.3550, -0.4022, 1.5569], [ 0.2445, -0.0158, 1.1414]]) >>> u, s, v = torch.svd(a) >>> u tensor([[ 0.4027, 0.0287, 0.5434], [-0.1946, 0.8833, 0.3679], [ 0.4296, -0.2890, 0.5261], [ 0.6604, 0.2717, -0.2618], [ 0.4234, 0.2481, -0.4733]]) >>> s tensor([2.3289, 2.0315, 0.7806]) >>> v tensor([[-0.0199, 0.8766, 0.4809], [-0.5080, 0.4054, -0.7600], [ 0.8611, 0.2594, -0.4373]]) >>> torch.dist(a, torch.mm(torch.mm(u, torch.diag(s)), v.t())) tensor(8.6531e-07) >>> a_big = torch.randn(7, 5, 3) >>> u, s, v = torch.svd(a_big) >>> torch.dist(a_big, torch.matmul(torch.matmul(u, torch.diag_embed(s)), v.mT)) tensor(2.6503e-06)