GCP Batch

这包含 TorchX GCP Batch 调度器，可用于直接在 GCP Batch 上运行 TorchX 组件。

此调度器处于原型阶段，如有更改，恕不另行通知。

先决条件

您需要配置一个 GCP 项目以使用 Batch，方法是启用并设置它。请参阅 https://cloud.google.com/batch/docs/get-started#prerequisites

class torchx.schedulers.gcp_batch_scheduler.GCPBatchScheduler(session_name: str, client: Optional[Any] = None)

基类： Scheduler[GCPBatchOpts]

GCPBatchScheduler 是一个 TorchX 到 GCP Batch 的调度接口。

$ pip install torchx[gcp_batch]
$ torchx run --scheduler gcp_batch utils.echo --msg hello
# This launches a job with app handle like gcp_batch://torchx/project:location:app_id1234 and prints it
$ torchx status gcp_batch://torchx/project:location:app_id1234
...

使用 gcloud 凭据处理从环境中加载身份验证。

配置选项

    usage:
        [project=PROJECT],[location=LOCATION]

    optional arguments:
        project=PROJECT (str, None)
            Name of the GCP project. Defaults to the configured GCP project in the environment
        location=LOCATION (str, us-central1)
            Name of the location to schedule the job in. Defaults to us-central1

兼容性

功能	调度器支持
获取日志	✔️
分布式作业	✔️
取消作业	✔️
描述作业	✔️
工作区/补丁	❌
挂载	❌
弹性	❌

describe(app_id: str) → Optional[DescribeAppResponse]

描述指定的应用程序。

返回：

AppDef 描述，如果应用程序不存在，则返回 None。

list() → List[ListAppResponse]

对于在调度器上启动的应用程序，此 API 返回一个 ListAppResponse 对象列表，每个对象都包含应用程序 ID 及其状态。注意：此 API 处于原型阶段，可能会发生变化。

log_iter(app_id: str, role_name: str = '', k: int = 0, regex: Optional[str] = None, since: Optional[datetime] = None, until: Optional[datetime] = None, should_tail: bool = False, streams: Optional[Stream] = None) → Iterable[str]

返回一个迭代器，指向 k``th 副本 的 ``role 的日志行。当所有符合条件的日志行都被读取后，迭代器结束。

如果调度程序支持基于时间的光标为自定义时间范围获取日志行，则将遵循 since 和 until 字段，否则将忽略它们。 未指定 since 和 until 等效于获取所有可用的日志行。 如果 until 为空，则迭代器的行为类似于 tail -f，跟踪日志输出，直到作业到达终端状态。

日志的确切定义取决于具体的调度程序。 一些调度程序可能会将 stderr 或 stdout 视为日志，而另一些调度程序可能会从日志文件中读取日志。

行为和假设

1. 如果在不存在的应用程序上调用，则会产生未定义的行为。 调用者应在调用此方法之前，使用 exists(app_id) 检查应用程序是否存在。

2. 不是有状态的，使用相同的参数两次调用此方法将返回一个新的迭代器。 先前的迭代进度将丢失。

3. 并不总是支持日志跟踪。 并非所有调度程序都支持实时日志迭代（例如，在应用程序运行时跟踪日志）。 有关迭代器行为的详细信息，请参阅特定调度程序的文档。

3.1 如果调度程序支持日志跟踪，则应由 should_tail 参数控制。

4. 不保证日志保留。 调用此方法时，底层调度程序可能已经清除了此应用程序的日志记录。 如果是这种情况，则此方法会引发任意异常。

5. 如果 should_tail 为 True，则该方法仅在可访问的日志行已完全耗尽且应用程序已达到最终状态时才引发 StopIteration 异常。 例如，如果应用程序卡住并且不生成任何日志行，则迭代器会阻塞，直到应用程序最终被终止（通过超时或手动终止），此时它会引发 StopIteration。

   如果 should_tail 为 False，则在没有更多日志时，该方法会引发 StopIteration。

6. 并非所有调度程序都需要支持。

7. 某些调度程序可以通过支持 __getitem__ 来支持行光标（例如，iter[50] 查找第 50 行日志）。

8. 保留空格，每行都应包含 \n。 为了

   支持交互式进度条，返回的行不需要包含 \n，但应在不带换行符的情况下打印，以便正确处理 \r 回车符。

参数：

streams - 要选择的 IO 输出流。 其中之一：combined、stdout、stderr。 如果调度程序不支持所选流，则会引发 ValueError。

返回：

指定角色副本的日志行的 Iterator

引发：

NotImplementedError - 如果调度程序不支持日志迭代

run_opts() → runopts

返回调度程序期望的运行配置选项。 基本上是 run API 的 --help。

schedule(dryrun_info: AppDryRunInfo[GCPBatchJob]) → str

与 submit 相同，只是它接受一个 AppDryRunInfo。 鼓励实现者实现此方法，而不是直接实现 submit，因为可以通过以下方式轻松实现 submit

dryrun_info = self.submit_dryrun(app, cfg)
return schedule(dryrun_info)

class torchx.schedulers.gcp_batch_scheduler.GCPBatchJob(name: str, project: str, location: str, job_def: 'batch_v1.Job')

参考

torchx.schedulers.gcp_batch_scheduler.create_scheduler(session_name: str, client: Optional[Any] = None, **kwargs: object) → GCPBatchScheduler