is_distributed¶
- torchtune.training.is_distributed() bool[源代码]¶
检查是否设置了初始化 torch.distributed 所需的所有环境变量，以及分布式是否已正确安装。这表示分布式运行。 https://pytorch.ac.cn/docs/stable/distributed.html#environment-variable-initialization
检查以下条件
torch.distributed 可用
设置了 master 端口和 master 地址环境变量
world size > 1
设置了 rank 环境变量
- 返回值：
如果满足以上所有条件，则返回 True，否则返回 False。
- 返回值类型：
