torchtune.training

检查点

torchtune 提供检查点来允许在训练检查点格式之间无缝转换，以及与生态系统的其他部分的互操作性。有关检查点的全面概述，请参阅检查点深入探讨。

FullModelHFCheckpointer	检查点读取和写入 HF 格式的检查点。
FullModelMetaCheckpointer	检查点读取和写入 Meta 格式的检查点。
FullModelTorchTuneCheckpointer	检查点读取和写入与 torchtune 兼容的格式的检查点。
ModelType	ModelType 用于检查点来区分不同的模型架构。
FormattedCheckpointFiles	此类提供了一种更简洁的方式来表示格式为file_{i}_of_{n_files}.pth的文件名列表。
update_state_dict_for_classifier	验证分类器模型的检查点加载的状态字典。

降低精度

用于在降低精度设置中工作的实用程序。

get_dtype	获取对应于给定精度字符串的 torch.dtype。
set_default_dtype	上下文管理器以设置 torch 的默认 dtype。
validate_expected_param_dtype	验证所有输入参数是否具有预期的 dtype。
get_quantizer_mode	给定一个量化器对象，返回一个字符串，该字符串指定量化类型。

分布式

用于启用和使用分布式训练的实用程序。

FSDPPolicyType	一种数据类型，用于可以作为 FSDP 包装策略使用的函数。
init_distributed	初始化torch.distributed所需的进程组。
is_distributed	检查是否设置了初始化 torch.distributed 所需的所有环境变量，并且分布式是否已正确安装。
get_world_size_and_rank	获取当前世界大小（即总秩数）和当前进程在默认进程组中的秩号的函数。
get_full_finetune_fsdp_wrap_policy	根据指定的标志memory_efficient_fsdp_wrap和modules_to_wrap检索 FSDP 包装策略。
lora_fsdp_wrap_policy	使用 LoRA 训练的模型使用 FSDP 包装的默认策略。

内存管理

用于减少训练期间内存消耗的实用程序。

apply_selective_activation_checkpointing	用于设置激活检查点并包装模型以进行检查点的实用程序。
set_activation_checkpointing	用于将激活检查点应用于传入模型的实用程序。
OptimizerInBackwardWrapper	一个简单的类，用于在反向运行的优化器保存和加载检查点。
create_optim_in_bwd_wrapper	创建在反向运行的优化器步骤的包装器。
register_optim_in_bwd_hooks	注册在反向运行的优化器步骤的钩子。

指标记录

各种记录实用程序。

metric_logging.CometLogger	与 Comet (https://www.comet.com/site/) 一起使用的记录器。
metric_logging.WandBLogger	与 Weights and Biases 应用程序 (https://wandb.ai/) 一起使用的记录器。
metric_logging.TensorBoardLogger	与 PyTorch 的 TensorBoard 实现 (https://pytorch.ac.cn/docs/stable/tensorboard.html) 一起使用的记录器。
metric_logging.StdoutLogger	标准输出记录器。
metric_logging.DiskLogger	磁盘记录器。

性能和分析

torchtune 提供实用程序来分析和调试微调作业的内存和性能。

get_memory_stats	计算传入设备的内存摘要。
log_memory_stats	将包含内存统计信息的字典记录到记录器。
setup_torch_profiler	设置profile并返回具有设置后更新的分析器配置。

其他

get_unmasked_sequence_lengths	返回每个批次元素的序列长度，不包括掩码标记。
set_seed	在常用库中设置伪随机数生成器的种子的函数。