get_full_finetune_fsdp_wrap_policy¶
- torchtune.training.get_full_finetune_fsdp_wrap_policy(memory_efficient_fsdp_wrap: bool, modules_to_wrap: Set[Type]) Callable[[Module, bool, int], bool][源代码]¶
根据指定的标志
memory_efficient_fsdp_wrap和modules_to_wrap检索 FSDP 包装策略。具体来说，如果memory_efficient_fsdp_wrap设置为True，则返回的策略将包装模型的词嵌入和输出投影，以及指定的模块，以最大限度地节省内存。- 参数:
memory_efficient_fsdp_wrap (bool) – 如果
True，也将使用 FSDP 包装嵌入和输出投影层。modules_to_wrap (Set[Type]) – 要包装的模块类型集。
注意
memory_efficient_fsdp_wrap内存改进目前仅在 llama3 工作负载中得到验证，它们提供了大约 15% 的内存改进（当与 AC 内存高效包装一起使用时）。其他工作负载尚未验证，可能不会看到相同的改进。- 返回值:
可以传递给
FullyShardedDataParallel作为auto_wrap_policy参数的包装策略。有关更多详细信息，请参阅FSDPPolicyType的文档。- 返回值类型:
FSDPPolicyType
