torchtune CLI¶
本页是 torchtune CLI 的使用文档 - 一种方便的方式来下载模型，查找和复制相关食谱/配置，以及运行食谱。安装 torchtune 后，它会自动可用。
入门¶
--help 选项将显示通过 torchtune CLI 可用的所有命令，以及每个命令的简短描述。
$ tune --help
usage: tune [-h] {download,ls,cp,run,validate} ...
Welcome to the torchtune CLI!
options:
-h, --help show this help message and exit
subcommands:
{download,ls,cp,run,validate}
download Download a model from the Hugging Face Hub.
ls List all built-in recipes and configs
...
--help 选项便于获取有关任何命令的更多详细信息。您可以在任何时候使用它来列出所有可用的选项及其详细信息。例如，tune download --help 提供有关如何使用 CLI 下载文件的更多信息。
下载模型¶
tune download <path> 命令从 Hugging Face Hub 下载任何模型。
--output-dir |
保存模型的目录。 |
--output-dir-use-symlinks |
与 output-dir 一起使用。如果设置为“auto”，则将使用缓存目录，并且文件将根据其大小复制或链接到本地目录。如果设置为 True，将创建符号链接，无论文件大小如何。如果设置为 False，则文件将从缓存中复制（如果已存在）或从 Hub 下载，并且不会缓存。 |
--hf-token |
Hugging Face API 令牌。对于像 Llama 这样的受控模型来说是必需的。 |
--ignore-patterns |
如果提供，则不下载与任何模式匹配的文件。默认情况下，忽略 safetensors 文件，以避免下载重复的权重。 |
$ tune download meta-llama/Meta-Llama-3-8B-Instruct
Successfully downloaded model repo and wrote to the following locations:
./model/config.json
./model/README.md
./model/model-00001-of-00002.bin
...
下载受控模型
许多最近发布的来自 Meta 或 MistralAI 等组织的大型预训练模型要求您在允许下载其模型之前同意使用条款和条件。在这种情况下，您可以指定 Hugging Face 访问令牌。
您可以在 此处 找到访问令牌。
$ tune download meta-llama/Meta-Llama-3-8B-Instruct --hf-token <TOKEN>
Successfully downloaded model repo and wrote to the following locations:
./model/config.json
./model/README.md
./model/model-00001-of-00002.bin
...
注意
如果您愿意，也可以使用 huggingface-cli login 永久登录到您的机器上的 Hugging Face Hub。tune download 命令将从您的环境中提取访问令牌。
指定您不想下载的模型文件
某些检查点目录可能非常大，并且每次下载所有文件都会占用大量带宽和本地存储空间，即使您可能不需要很多文件。当同一个检查点以不同格式存在时，这种情况尤其常见。您可以指定要忽略的模式以防止下载与匹配名称的文件。默认情况下，我们忽略 safetensor 文件，但是如果您想包含所有文件，则可以传入空字符串。
$ tune download meta-llama/Meta-Llama-3-8B-Instruct --hf-token <TOKEN> --ignore-patterns None
Successfully downloaded model repo and wrote to the following locations:
./model/config.json
./model/README.md
./model/model-00001-of-00030.safetensors
...
注意
仅仅因为可以下载模型并不意味着它将与 torchtune 的内置食谱或配置开箱即用。有关支持的模型系列和架构的列表，请参阅 模型。
列出内置食谱和配置¶
tune ls 命令列出 torchtune 中的所有内置食谱和配置。
$ tune ls
RECIPE CONFIG
full_finetune_single_device llama2/7B_full_low_memory
code_llama2/7B_full_low_memory
llama3/8B_full_single_device
mistral/7B_full_low_memory
phi3/mini_full_low_memory
full_finetune_distributed llama2/7B_full
llama2/13B_full
llama3/8B_full
llama3/70B_full
...
复制内置食谱或配置¶
tune cp <recipe|config> <path> 命令将内置食谱和配置复制到指定的位置。这使您可以创建库食谱或配置的本地副本，以便直接为自己编辑。请参阅 此处，了解如何使用此命令的示例。
-n, --no-clobber |
如果目标文件已存在，则不要覆盖它 |
--make-parents |
如果目标文件的父目录不存在，则创建它们。如果未设置为 True，则如果父目录不存在，将引发错误 |
$ tune cp lora_finetune_distributed .
Copied file to ./lora_finetune_distributed.py
运行食谱¶
tune run <recipe> --config <config> 是 torchrun 的包装器。tune run 允许您按名称或路径指定内置食谱或配置，以使用您本地的食谱/配置。
运行 tune 食谱
tune run lora_finetune_single_device --config llama3/8B_lora_single_device
指定分布式 (torchrun) 参数
tune run 支持通过将食谱之前的参数直接传递给 torchrun 来启动分布式运行。这遵循 torchrun 使用的模式，即在脚本（食谱）之前指定分布式和主机标志。有关分布式设置可用标志的完整列表，请参阅 torchrun 文档。
一些常用标志
--nproc-per-node |
每个节点的工作进程数量；支持的值： [auto, cpu, gpu, int]。 |
--nnodes |
节点数量，或节点范围（形式为 <minimum_nodes>:<maximum_nodes>）。 |
--max-restarts |
在失败之前，工作进程组可以重启的最大次数。 |
--rdzv-backend |
Rendezvous 后端。 |
--rdzv-endpoint |
Rendezvous 后端端点；通常采用 <host>:<port> 的形式。 |
tune run --nnodes=1 --nproc-per-node=4 lora_finetune_distributed --config llama3/8B_lora
注意
如果没有在食谱之前提供任何参数，tune 将绕过 torchrun 并直接使用 python 启动。这可以简化在不需要分布式的情况下运行和调试食谱。如果您想使用 torchrun 启动，但只使用单个设备，则可以指定 tune run --nnodes=1 --nproc-per-node=1 <recipe> --config <config>。
运行自定义（本地）食谱和配置
要使用tune run 与您自己的本地配方和配置，只需将文件路径而不是名称传递给运行命令。您可以将自定义配方与 torchtune 配置混合搭配使用，反之亦然，或者您可以同时使用自定义配置和配方。
tune run my/fancy_lora.py --config my/configs/8B_fancy_lora.yaml
覆盖配置
您可以使用键=值格式从命令行覆盖现有参数。假设您想要将训练轮数设置为 1。有关配置覆盖的更多信息，请参阅此处.
tune run <RECIPE> --config <CONFIG> epochs=1
验证配置¶
命令tune validate <config> 将验证您的配置是否格式正确。
# If you've copied over a built-in config and want to validate custom changes
$ tune validate my_configs/llama3/8B_full.yaml
Config is well-formed!
