Docker

class torchx.schedulers.docker_scheduler.DockerScheduler(session_name: str)

基类： DockerWorkspaceMixin， Scheduler[DockerOpts]

DockerScheduler 是一个 TorchX 到 Docker 的调度接口。

这是通过调度器 local_docker 公开的。

此调度器使用 AppDef 中指定的镜像，通过本地 docker 运行时运行提供的应用程序。必须安装并运行 Docker。这提供了与 Kubernetes 等原生使用 Docker 的调度器最接近的环境。

注意

docker 不提供联合调度机制。如果作业中的一个副本失败，则只会重新启动该副本。

配置选项

    usage:
        [copy_env=COPY_ENV],[env=ENV],[privileged=PRIVILEGED],[image_repo=IMAGE_REPO],[quiet=QUIET]

    optional arguments:
        copy_env=COPY_ENV (typing.List[str], None)
            list of glob patterns of environment variables to copy if not set in AppDef. Ex: FOO_*
        env=ENV (typing.Dict[str, str], None)
            environment variables to be passed to the run. The separator sign can be eiher comma or semicolon
            (e.g. ENV1:v1,ENV2:v2,ENV3:v3 or ENV1:V1;ENV2:V2). Environment variables from env will be applied on top
            of the ones from copy_env
        privileged=PRIVILEGED (bool, False)
            If true runs the container with elevated permissions. Equivalent to running with `docker run --privileged`.
        image_repo=IMAGE_REPO (str, None)
            (remote jobs) the image repository to use when pushing patched images, must have push access. Ex: example.com/your/container
        quiet=QUIET (bool, False)
            whether to suppress verbose output for image building. Defaults to ``False``.

挂载

此类支持绑定挂载目录和命名卷。

• 绑定挂载： type=bind,src=<主机 路径>,dst=<容器 路径>[,readonly]

• 命名卷： type=volume,src=<名称>,dst=<容器 路径>[,readonly]

• 设备： type=device,src=<名称>[,dst=<容器 路径>][,permissions=rwm]

有关详细信息，请参阅 torchx.specs.parse_mounts()。

特性	调度器支持
获取日志	✔️
分布式作业	✔️
取消作业	✔️
描述作业	部分支持。DockerScheduler 将返回作业和副本状态，但不提供完整的原始 AppSpec。
工作区/修补	✔️
挂载	✔️
弹性	❌

describe(app_id: str) → Optional[DescribeAppResponse]

描述指定的应用程序。

返回值:

AppDef 描述，如果应用程序不存在，则返回 None。

list() → List[ListAppResponse]

对于在调度器上启动的应用程序，此 API 返回一个 ListAppResponse 对象列表，每个对象都包含应用程序 ID 及其状态。注意：此 API 处于原型阶段，可能会发生变化。

log_iter(app_id: str, role_name: str, k: int = 0, regex: Optional[str] = None, since: Optional[datetime] = None, until: Optional[datetime] = None, should_tail: bool = False, streams: Optional[Stream] = None) → Iterable[str]

返回一个迭代器，指向 ``role`` 的 第 ``k`` 个 副本 的日志行。当所有符合条件的日志行都被读取后，迭代器将结束。

如果调度器支持基于时间的游标来获取自定义时间范围内的日志行，那么将遵循 since 和 until 字段，否则将忽略它们。不指定 since 和 until 等同于获取所有可用的日志行。如果 until 为空，则迭代器的行为类似于 tail -f，会一直跟踪日志输出，直到作业到达终端状态。

构成日志的确切定义取决于调度器。某些调度器可能将 stderr 或 stdout 视为日志，而其他调度器可能从日志文件中读取日志。

行为和假设

1. 如果在不存在的应用程序上调用，则会产生未定义的行为。调用者应在调用此方法之前使用 exists(app_id) 检查应用程序是否存在。

2. 不是有状态的，使用相同的参数调用此方法两次将返回一个新的迭代器。之前的迭代进度将丢失。

3. 并不总是支持日志跟踪。并非所有调度器都支持实时日志迭代（例如，在应用程序运行时跟踪日志）。有关迭代器行为的详细信息，请参阅特定调度器的文档。

3.1 如果调度器支持日志跟踪，则应通过

should_tail 参数进行控制。

4. 不保证日志保留。在调用此方法时，底层调度器可能已经清除了此应用程序的日志记录。如果是这样，此方法将引发任意异常。

5. 如果 should_tail 为 True，则该方法仅在可访问的日志行已完全耗尽且应用程序已达到最终状态时才引发 StopIteration 异常。例如，如果应用程序卡住并且不生成任何日志行，则迭代器将阻塞，直到应用程序最终被终止（通过超时或手动终止），此时它将引发 StopIteration。

   如果 should_tail 为 False，则该方法在没有更多日志时引发 StopIteration。

6. 并非所有调度器都需要支持。

7. 某些调度器可以通过支持 __getitem__ 来支持行游标（例如，iter[50] 会查找第 50 行日志）。

8. 保留空格，每行新行都应包含 \n。为了

   支持交互式进度条，返回的行不需要包含 \n，但应该在打印时不带换行符，以便正确处理 \r 回车符。

参数：

streams – 要选择的 IO 输出流。可以是：combined、stdout、stderr。如果调度器不支持所选流，则会引发 ValueError 异常。

返回值:

指定角色副本的日志行的 Iterator

引发：

NotImplementedError – 如果调度器不支持日志迭代

schedule(dryrun_info: AppDryRunInfo[DockerJob]) → str

与 submit 相同，只是它接受一个 AppDryRunInfo。鼓励实现者实现此方法，而不是直接实现 submit，因为 submit 可以通过

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

class torchx.schedulers.docker_scheduler.DockerJob(app_id: str, containers: List[torchx.schedulers.docker_scheduler.DockerContainer])

参考

torchx.schedulers.docker_scheduler.create_scheduler(session_name: str, **kwargs: Any) → DockerScheduler

class torchx.schedulers.docker_scheduler.DockerContainer(image: str, command: List[str], kwargs: Dict[str, object])

torchx.schedulers.docker_scheduler.has_docker() → bool