欢迎来到 torchtune 文档

torchtune 是一个用于 LLM 微调的 Native-PyTorch 库。

入门指南

本节中的主题将帮助您开始使用 torchtune。

什么是 torchtune？

torchtune 的温和介绍以及如何在您的项目中使用该库。

overview.html

安装说明

关于如何安装 torchtune 的分步教程。

install.html

微调您的第一个模型

按照简单的教程使用 torchtune 微调 Llama2。

tutorials/first_finetune_tutorial.html

教程

准备好开始实验了吗？查看一些交互式 torchtune 教程。

---

torchtune 中的 Llama3

主题： 微调,llama3

在 torchtune 中使用 LoRA 进行微调

主题： 微调,llama2,lora

使用 LoRA 对 Llama2 进行参数高效的微调

理解 torchtune 中的 QLoRA

主题： 微调,llama2,qlora

使用 QLoRA 量化基础模型权重并最大化内存节省

在 torchtune 中使用 QAT 进行微调

主题： 微调,llama3,qat,量化,评估

使用 QAT 对 Llama3 进行微调

使用 torchtune 的端到端工作流程

主题： 微调,量化,推理,评估,llama2

训练、评估、量化，然后使用您的 LLM 生成。

将 Llama3 8B 提炼为 1B

主题： 微调,llama3,kd

使用知识蒸馏将 Llama3 8B 提炼为 1B