torchao.dtypes

布局和张量子类

NF4Tensor	用于将权重转换为 QLoRA NF4 格式的 NF4Tensor 类
AffineQuantizedTensor	仿射量化张量子类。
Layout	Layout 类是用于定义不同张量数据布局的基类。
PlainLayout	PlainLayout 是最基本的布局类，继承自 Layout 基类。
SemiSparseLayout	SemiSparseLayout 是用于处理仿射量化张量中半结构化稀疏矩阵的布局类。
TensorCoreTiledLayout	TensorCoreTiledLayout 是用于处理仿射量化张量中张量核心平铺布局的布局类。
Float8Layout	表示 Float8 仿射量化张量的布局配置。
MarlinSparseLayout	MarlinSparseLayout 是一个布局类，用于处理专为 Marlin 稀疏核设计的稀疏张量格式。
BlockSparseLayout	BlockSparseLayout 是一个表示块稀疏矩阵布局的数据类。
UintxLayout	Uintx 张量的布局类，这些张量的元素被打包成比标准 8 位字节更小的位宽。
MarlinQQQTensor	MarlinQQQ 量化张量子类，继承自 AffineQuantizedTensor 类。
MarlinQQQLayout	MarlinQQQLayout 是用于 Marlin QQQ 量化的布局类。
Int4CPULayout	用于仿射量化张量的 int4 CPU 布局类，由 tinygemm 核 _weight_int4pack_mm_for_cpu 使用。
CutlassInt4PackedLayout	用于仿射量化张量的 int4 打包布局类，适用于 cutlass 核。

量化技术

to_affine_quantized_intx	将高精度张量转换为整数仿射量化张量。
to_affine_quantized_intx_static	使用静态参数从高精度张量创建整数 AffineQuantizedTensor。
to_affine_quantized_fpx	从高精度张量创建 floatx AffineQuantizedTensor。
to_affine_quantized_floatx	将高精度张量转换为 float8 量化张量。
to_affine_quantized_floatx_static	使用静态参数从高精度张量创建 float8 AffineQuantizedTensor。
to_marlinqqq_quantized_intx	将浮点张量转换为 Marlin QQQ 量化张量。
to_nf4	将给定张量转换为归一化浮点 4 位张量。