快捷方式

fpx_weight_only

torchao.quantization.fpx_weight_only(ebits: int, mbits: int)[源代码]

ebits(指数位)和 mbits(尾数位)定义的亚字节浮点数据类型,例如 fp6_e3_m2、fp6_e2_m3 等。打包格式和内核来自 fp6-llm 论文:https://arxiv.org/abs/2401.14112 github 仓库:https://github.com/usyd-fsalab/fp6_llm,现已重命名为 quant-llm。有关打包的更多详细信息,请参阅:FpxTensorCoreAQTTensorImpl

这是实验性的,未来将与 to_affine_quantized_floatx 合并

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源