init_distributed

torchtune.training.init_distributed(**kwargs: Dict[str, Any]) → bool

初始化 torch.distributed 所需的进程组。

参数:

**kwargs (Dict[str, Any]) – 传递给 torch.distributed.init_process_group 的其他参数。

返回:

如果 torch.distributed 已初始化，则为 True。

返回类型:

bool

引发:

RuntimeError – 如果 torch.distributed 已初始化。