Slurm

这包含 TorchX Slurm 调度器，可用于在 Slurm 集群上运行 TorchX 组件。

class torchx.schedulers.slurm_scheduler.SlurmScheduler(session_name: str)

基类：DirWorkspaceMixin，Scheduler[SlurmOpts]

SlurmScheduler 是 TorchX 到 slurm 的调度接口。TorchX 要求本地安装了 slurm CLI 工具并启用了作业记账。

每个应用程序定义都使用 sbatch 通过异构作业进行调度。每个角色的每个副本都有一个生成的唯一 shell 脚本，其中包含其资源分配和参数，然后使用 sbatch 将它们全部一起启动。

日志可以通过 torchx log（程序化 API）以组合形式获得，也可以在作业启动目录中以 slurm-<jobid>-<role>-<replica_id>.out 的形式获得。如果 TorchX 在创建作业的目录之外的目录中运行，则将无法找到日志。

传递给它的一些配置选项将作为 SBATCH 参数添加到每个副本。有关参数的信息，请参阅 https://slurm.schedmd.com/sbatch.html#SECTION_OPTIONS。

Slurm 作业继承当前活动的 conda 或 virtualenv，并在当前工作目录中运行。这与 local_cwd 调度器的行为相匹配。

有关更多信息，请参阅

• https://slurm.schedmd.com/sbatch.html

• https://slurm.schedmd.com/heterogeneous_jobs.html

$ torchx run --scheduler slurm utils.echo --msg hello
slurm://torchx_user/1234
$ torchx status slurm://torchx_user/1234
$ less slurm-1234.out
...

配置选项

    usage:
        [partition=PARTITION],[time=TIME],[comment=COMMENT],[constraint=CONSTRAINT],[mail-user=MAIL-USER],[mail-type=MAIL-TYPE],[job_dir=JOB_DIR]

    optional arguments:
        partition=PARTITION (str, None)
            The partition to run the job in.
        time=TIME (str, None)
            The maximum time the job is allowed to run for. Formats:             "minutes", "minutes:seconds", "hours:minutes:seconds", "days-hours",             "days-hours:minutes" or "days-hours:minutes:seconds"
        comment=COMMENT (str, None)
            Comment to set on the slurm job.
        constraint=CONSTRAINT (str, None)
            Constraint to use for the slurm job.
        mail-user=MAIL-USER (str, None)
            User to mail on job end.
        mail-type=MAIL-TYPE (str, None)
            What events to mail users on.
        job_dir=JOB_DIR (str, None)
            The directory to place the job code and outputs. The
            directory must not exist and will be created. To enable log
            iteration, jobs will be tracked in ``.torchxslurmjobdirs``.
            

兼容性

功能	调度器支持
获取日志	✔️
分布式作业	✔️
取消作业	✔️
描述作业	部分支持。SlurmScheduler 将返回作业和副本状态，但不提供完整的原始 AppSpec。
工作区/修补	如果指定了 ``job_dir``，DirWorkspaceMixin 将创建一个新的隔离目录，其中包含工作区的快照。
挂载	❌
弹性	❌

如果分区的 RealMemory 配置小于 1GB，我们将禁用内存请求以解决 https://github.com/aws/aws-parallelcluster/issues/2198。

describe(app_id: str) → Optional[DescribeAppResponse]

描述指定的应用程序。

返回：

AppDef 描述，如果应用程序不存在，则返回 None。

list() → List[ListAppResponse]

对于在调度器上启动的应用程序，此 API 返回 ListAppResponse 对象列表，每个对象都有应用程序 ID 及其状态。注意：此 API 处于原型阶段，可能会发生更改。

log_iter(app_id: str, role_name: str, k: int = 0, regex: Optional[str] = None, since: Optional[datetime] = None, until: Optional[datetime] = None, should_tail: bool = False, streams: Optional[Stream] = None) → Iterable[str]

返回一个指向 ``role`` 的第 ``k`` 个副本 的日志行的迭代器。当读取完所有符合条件的日志行后，迭代器结束。

如果调度器支持基于时间的游标来获取自定义时间范围内的日志行，则会遵守 since 和 until 字段，否则将忽略它们。不指定 since 和 until 等同于获取所有可用的日志行。如果 until 为空，则迭代器的行为类似于 tail -f，会一直跟踪日志输出，直到作业到达终止状态。

日志的确切定义取决于具体的调度器。某些调度器可能将 stderr 或 stdout 视为日志，而其他调度器可能从日志文件中读取日志。

行为和假设

1. 如果对不存在的应用程序调用，则会产生未定义的行为。调用方应在调用此方法之前使用 exists(app_id) 检查应用程序是否存在。

2. 不是有状态的，使用相同的参数调用此方法两次将返回一个新的迭代器。之前的迭代进度将丢失。

3. 并不总是支持日志跟踪。并非所有调度器都支持实时日志迭代（例如，在应用程序运行时跟踪日志）。有关迭代器行为的详细信息，请参阅特定调度器的文档。

3.1 如果调度器支持日志跟踪，则应由

should_tail 参数控制。

4. 不保证日志保留。在调用此方法时，底层调度器可能已经清除了此应用程序的日志记录。如果是这样，此方法将引发任意异常。

5. 如果 should_tail 为 True，则该方法仅在可访问的日志行已完全耗尽且应用程序已达到最终状态时才会引发 StopIteration 异常。例如，如果应用程序卡住并且不产生任何日志行，则迭代器将阻塞，直到应用程序最终被终止（通过超时或手动终止），此时它将引发 StopIteration。

   如果 should_tail 为 False，则该方法在没有更多日志时引发 StopIteration。

6. 并非所有调度器都需要支持。

7. 一些调度器可以通过支持 __getitem__ 来支持行游标（例如，iter[50] 会查找第 50 行日志）。

8. 保留空格，每行都应包含 \n。为了

   支持交互式进度条，返回的行不需要包含 \n，但应在打印时不带换行符，以便正确处理 \r 回车符。

参数：

streams – 要选择的 IO 输出流。选项包括：combined、stdout、stderr。如果调度器不支持所选的流，则会引发 ValueError。

返回：

指定角色副本的日志行的 Iterator

引发：

NotImplementedError – 如果调度器不支持日志迭代

schedule(dryrun_info: AppDryRunInfo[SlurmBatchRequest]) → str

与 submit 相同，但它接受一个 AppDryRunInfo。鼓励实现者实现此方法，而不是直接实现 submit，因为可以通过以下方式轻松实现 submit：

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

torchx.schedulers.slurm_scheduler.create_scheduler(session_name: str, **kwargs: Any) → SlurmScheduler

class torchx.schedulers.slurm_scheduler.SlurmBatchRequest(cmd: List[str], replicas: Dict[str, SlurmReplicaRequest], job_dir: Optional[str], max_retries: int)

保存用于通过 sbatch 启动 slurm 作业的参数。

materialize() → str

materialize 返回可以传递给 sbatch 以运行作业的脚本内容。

class torchx.schedulers.slurm_scheduler.SlurmReplicaRequest(name: str, entrypoint: str, args: List[str], srun_opts: Dict[str, str], sbatch_opts: Dict[str, Optional[str]], env: Dict[str, str])

保存 slurm 上运行的单个副本的参数，并且可以具体化为 bash 脚本。

classmethod from_role(name: str, role: Role, cfg: SlurmOpts, nomem: bool) → SlurmReplicaRequest

from_role 为特定角色和名称创建一个 SlurmReplicaRequest。

materialize() → Tuple[List[str], List[str]]

materialize 返回此角色的 sbatch 和 srun 组。它们应该使用 : 按 slurm 异构组组合。