is_distributed¶
- torchtune.training.is_distributed() bool[源]¶
检查初始化 torch.distributed 所需的所有环境变量是否已设置，以及 distributed 是否已正确安装。这表明是分布式运行。https://pytorch.ac.cn/docs/stable/distributed.html#environment-variable-initialization
检查以下条件
torch.distributed 可用
master port 和 master address 环境变量已设置
world size 大于 1
rank 环境变量已设置
- 返回值：
如果以上所有条件都满足，则返回 True，否则返回 False。
- 返回类型：
