欢迎访问 torchtune 文档

torchtune 是一个用于 LLM 微调的原生 PyTorch 库。

开始入门

本节主题将帮助您开始使用 torchtune。

什么是 torchtune？

torchtune 的简要介绍以及如何在您的项目中使用该库。

overview.html

安装说明

有关如何安装 torchtune 的分步教程。

install.html

微调您的第一个模型

按照简单的教程使用 torchtune 微调 Llama2。

tutorials/first_finetune_tutorial.html

教程

准备好实验了吗？查阅一些 torchtune 交互式教程。

---

torchtune 中的 Llama3

主题：finetuning,llama3

torchtune 中使用 LoRA 进行微调

主题：finetuning,llama2,lora

使用 LoRA 对 Llama2 进行参数高效微调

了解 torchtune 中的 QLoRA

主题：finetuning,llama2,qlora

使用 QLoRA 量化基础模型权重并最大限度地节省内存

torchtune 中使用 QAT 进行微调

主题：finetuning,llama3,qat,quantization,evals

使用 QAT 微调 Llama3

使用 torchtune 实现端到端工作流

主题：finetuning,quantization,inference,evals,llama2

使用您的 LLM 进行训练、评估、量化和生成。

将 Llama3 8B 蒸馏到 1B

主题：finetuning,llama3,kd

使用知识蒸馏将 Llama3 8B 蒸馏到 1B

使用 Llama3.3 70B 进行多节点训练

主题：multinode,llama3,slurm

在 2 个或更多节点上微调大型模型