欢迎使用 torchtune 文档

torchtune 是一个用于 LLM 微调的原生 PyTorch 库。

入门

本节中的主题将帮助您开始使用 torchtune。

什么是 torchtune？

对 torchtune 的简要介绍，以及如何在您的项目中使用该库。

overview.html

安装说明

有关如何安装 torchtune 的分步教程。

install.html

微调你的第一个模型

遵循简单的教程使用 torchtune 微调 Llama2。

tutorials/first_finetune_tutorial.html

教程

准备好尝试了吗？查看一些交互式的 torchtune 教程。

---

torchtune 中的 Llama3

主题： 微调，llama3

在 torchtune 中使用 LoRA 进行微调

主题： 微调，llama2，lora

使用 LoRA 对 Llama2 进行参数高效微调

了解 torchtune 中的 QLoRA

主题： 微调，llama2，qlora

使用 QLoRA 量化基础模型权重并最大限度地节省内存

在 torchtune 中使用 QAT 进行微调

主题： 微调，llama3，qat，量化，评估

使用 QAT 微调 Llama3

使用 torchtune 的端到端工作流程

主题： 微调，量化，推理，评估，llama2

训练、评估、量化，然后使用你的 LLM 生成。

将 Llama3 8B 蒸馏到 1B

主题： 微调，llama3，kd

使用知识蒸馏将 Llama3 8B 蒸馏到 1B