MarlinSparseLayout

类 torchao.dtypes.MarlinSparseLayout

MarlinSparseLayout 是一种布局类，用于处理专门为 Marlin 稀疏核设计的稀疏张量格式。这种布局用于优化具有 2:4 稀疏模式的仿射量化张量的存储和计算。

该布局确保张量数据经过预处理并存储在与 Marlin 稀疏核操作兼容的格式中。它提供了预处理输入张量和管理量化张量布局的方法。

pre_process(输入: 张量) → 张量

预处理输入张量，使其符合 Marlin 稀疏核所需的格式。

• 1º: 输入张量被转置，因为线性层将权重保存在转置格式中

• 2º: 张量被注入 2:4 稀疏性

• 3º: 再次转置，因为量化过程将计算 dim=-1 的尺度

参数：

input (torch.Tensor) – 要预处理的输入张量

返回：

预处理后的张量

返回类型：

torch.Tensor