torchtune.utils¶

检查点¶

torchtune 提供了检查点功能，允许在训练的检查点格式之间无缝转换，并与生态系统中的其他部分进行互操作。有关检查点的全面概述，请参阅检查点深度探讨。

`FullModelHFCheckpointer`	以 HF 格式读取和写入检查点的检查点器。
`FullModelMetaCheckpointer`	以 Meta 格式读取和写入检查点的检查点器。
`FullModelTorchTuneCheckpointer`	以与 torchtune 兼容的格式读取和写入检查点的检查点器。
`ModelType`	检查点器使用 ModelType 来区分不同的模型架构。

用于启用和使用分布式训练的实用程序。

`FSDPPolicyType`	一种数据类型，用于表示可以用作 FSDP 包装策略的函数。
`init_distributed`	初始化 `torch.distributed` 所需的进程组。
`is_distributed`	检查是否设置了初始化 torch.distributed 所需的所有环境变量，以及是否正确安装了 distributed。
`get_world_size_and_rank`	获取当前世界大小（即进程总数）和默认进程组中当前进程的进程编号的函数。
`get_full_finetune_fsdp_wrap_policy`	根据指定的标志 `memory_efficient_fsdp_wrap` 和 `modules_to_wrap` 检索 FSDP 包装策略。
`lora_fsdp_wrap_policy`	使用 FSDP 包装使用 LoRA 训练的模型的默认策略。

用于在降低精度设置下工作的实用程序。

`get_dtype`	获取与给定精度字符串对应的 torch.dtype。
`set_default_dtype`	用于设置 torch 的默认 dtype 的上下文管理器。
`validate_expected_param_dtype`	验证所有输入参数是否具有预期的 dtype。
`get_quantizer_mode`	给定一个量化器对象，返回一个指定量化类型的字符串。

用于在训练期间减少内存消耗的实用程序。

`set_activation_checkpointing`	用于将激活检查点应用于传入模型的实用程序。
`OptimizerInBackwardWrapper`	一个用于在反向传播中运行的优化器的检查点保存和加载的精简类。
`create_optim_in_bwd_wrapper`	为在反向传播中运行的优化器步骤创建一个包装器。
`register_optim_in_bwd_hooks`	为在反向传播中运行的优化器步骤注册钩子。

torchtune 提供了用于分析和调试微调作业的内存和性能的实用程序。

`get_memory_stats`	计算传入设备的内存摘要。
`log_memory_stats`	将包含内存统计信息的字典记录到记录器。
`setup_torch_profiler`	设置 `profile` 并返回包含设置后更新的分析器配置。

各种记录实用程序。

`metric_logging.WandBLogger`	与 Weights and Biases 应用程序一起使用的记录器 (https://wandb.ai/)。
`metric_logging.TensorBoardLogger`	与 PyTorch 的 TensorBoard 实现一起使用的记录器 (https://pytorch.ac.cn/docs/stable/tensorboard.html)。
`metric_logging.StdoutLogger`	记录到标准输出。
`metric_logging.DiskLogger`	记录到磁盘。

用于处理数据和数据集的实用程序。

`padded_collate`	将一批序列填充到批次中最长序列的长度，并将整数列表转换为张量。
`padded_collate_dpo`	为直接偏好优化 (DPO) 填充一批序列。

`get_logger`	获取具有流处理程序的记录器。
`get_device`	该函数接受一个可选的设备字符串，验证它在给定机器和分布式设置下的正确性和可用性，并返回一个 torch.device。
`set_seed`	用于在常用库中设置伪随机数生成器种子的函数。
`generate`	从以提示为条件的模型生成标记。
`torch_version_ge`	检查 torch 版本是否大于或等于给定版本。
`TuneRecipeArgumentParser`	一个有用的 `argparse.ArgumentParser` 子类，它添加了一个内置参数 "config"。