torch.nn.utils.parametrizations.orthogonal¶
- torch.nn.utils.parametrizations.orthogonal(module, name='weight', orthogonal_map=None, *, use_trivialization=True)[源代码]¶
将正交或酉参数化应用于矩阵或一批矩阵。
令 为 或 ,参数化矩阵 为 **正交**,因为
其中 是共轭转置,当 为复数时;是转置,当 为实数时。 是 n 维单位矩阵。简单来说, 的列向量在 时是正交的,否则是行向量是正交的。
如果张量维度超过二维,我们将其视为形状为 (…, m, n) 的矩阵批次。
矩阵 可以通过三种不同的
orthogonal_map
来参数化,这些参数化方式基于原始张量"matrix_exp"
/"cayley"
:matrix_exp()
和 Cayley 映射 应用于斜对称矩阵 以生成一个正交矩阵。"householder"
: 计算 Householder 反射器的乘积 (householder_product()
).
"matrix_exp"
/"cayley"
通常使参数化权重比"householder"
收敛更快,但对于非常瘦或非常宽的矩阵,它们的计算速度较慢。如果
use_trivialization=True
(默认),参数化将实现“动态平凡化框架”,其中一个额外的矩阵 存储在module.parametrizations.weight[0].base
下。这有助于参数化层的收敛,但会消耗一些额外的内存。请参见 Trivializations for Gradient-Based Optimization on Manifolds 。的初始值:如果原始张量没有参数化并且
use_trivialization=True
(默认),则 的初始值是原始张量的值,如果它是正交的(或在复数情况下是酉的),否则通过 QR 分解进行正交化(请参见torch.linalg.qr()
)。当它没有参数化并且orthogonal_map="householder"
即使use_trivialization=False
时也是如此。否则,初始值是应用于原始张量的所有已注册参数化的组合的结果。注意
此函数是使用
register_parametrization()
中的参数化功能实现的。- 参数
- 返回值
原始模块,其中向指定权重注册了正交参数化
- 返回类型
示例
>>> orth_linear = orthogonal(nn.Linear(20, 40)) >>> orth_linear ParametrizedLinear( in_features=20, out_features=40, bias=True (parametrizations): ModuleDict( (weight): ParametrizationList( (0): _Orthogonal() ) ) ) >>> Q = orth_linear.weight >>> torch.dist(Q.T @ Q, torch.eye(20)) tensor(4.9332e-07)