is_distributed

torchtune.training.is_distributed() → bool

检查是否已设置初始化 torch.distributed 所需的所有环境变量，并且是否已正确安装 distributed。这表示分布式运行。 https://pytorch.ac.cn/docs/stable/distributed.html#environment-variable-initialization

检查以下条件

• torch.distributed 可用

• 已设置主端口和主地址环境变量

• 世界大小 >1

• 已设置 rank 环境变量

返回:

如果以上所有条件都成立，则返回 True，否则返回 False。

返回类型:

bool