torchtune.utils

检查点

TorchTune 提供检查点，以便在训练的检查点格式之间进行无缝转换，并与生态系统的其他部分实现互操作性。有关检查点的全面概述，请参阅 检查点深入探讨。

FullModelHFCheckpointer	以 HF 格式读取和写入检查点的检查点。
FullModelMetaCheckpointer	以 Meta 格式读取和写入检查点的检查点。

分布式

用于启用分布式训练并使用分布式训练的实用程序。

init_distributed	初始化 torch.distributed。
get_world_size_and_rank	获取当前世界规模（即总等级数）和当前训练器的等级数的函数。

降低精度

用于在降低精度设置中工作的实用程序。

get_dtype	获取与给定精度字符串相对应的 torch.dtype。
list_dtypes	返回一个支持的 dtypes 列表，用于微调。

内存管理

在训练期间减少内存消耗的实用程序。

set_activation_checkpointing

用于设置激活检查点并包装模型以进行检查点的实用程序。

性能和分析

TorchTune 提供了用于分析和调试微调作业性能的实用程序。

profiler

包装在 torch.profiler 周围的实用程序组件，用于分析模型的操作符。

指标记录

各种记录实用程序。

metric_logging.WandBLogger	用于与权重和偏差应用程序一起使用的记录器 (https://wandb.ai/).
metric_logging.TensorBoardLogger	用于与 PyTorch 的 TensorBoard 实现一起使用的记录器 (https://pytorch.ac.cn/docs/stable/tensorboard.html).
metric_logging.StdoutLogger	记录到标准输出的记录器。
metric_logging.DiskLogger	记录到磁盘的记录器。

数据

用于处理数据和数据集的实用程序。

padded_collate

将一批序列填充到批处理中最长的序列长度，并将整数列表转换为张量。

其他

TuneRecipeArgumentParser	添加内置参数“config”的 argparse.ArgumentParser 的一个有用的实用程序子类。
get_logger	获取带有流处理程序的记录器。
get_device	获取设备或设备字符串的函数，验证其是否正确且在给定的机器和分布式设置下可用，并返回 torch.device。
set_seed	为常用库中的伪随机数生成器设置种子的函数。