Ray¶
- class torchx.schedulers.ray_scheduler.RayScheduler(session_name: str, ray_client: Optional[JobSubmissionClient] = None)[source]¶
基类：
TmpDirWorkspaceMixin,Scheduler[RayOpts]RayScheduler 是一个 TorchX 调度接口，用于 Ray。作业定义工作器将作为 Ray actor 启动
作业环境由 TorchX 工作空间指定。除非在
.torchxignore中指定，否则工作空间中的所有文件都将出现在 Ray 作业中。Python 依赖项将从位于工作空间根目录下的requirements.txt文件中读取，除非通过-c ...,requirements=foo/requirements.txt覆盖。配置选项
usage: [cluster_config_file=CLUSTER_CONFIG_FILE],[cluster_name=CLUSTER_NAME],[dashboard_address=DASHBOARD_ADDRESS],[requirements=REQUIREMENTS] optional arguments: cluster_config_file=CLUSTER_CONFIG_FILE (str, None) Use CLUSTER_CONFIG_FILE to access or create the Ray cluster. cluster_name=CLUSTER_NAME (str, None) Override the configured cluster name. dashboard_address=DASHBOARD_ADDRESS (str, 127.0.0.1:8265) Use ray status to get the dashboard address you will submit jobs against requirements=REQUIREMENTS (str, None) Path to requirements.txt
兼容性
特性
调度器支持
获取日志
部分支持。Ray 仅支持单个日志流，因此仅支持虚拟的“ray/0”组合日志角色。不支持尾随和时间查找。
分布式作业
✔️
取消作业
✔️
描述作业
部分支持。RayScheduler 将返回作业状态，但不提供完整的原始 AppSpec。
工作空间/补丁
✔️
挂载
❌
弹性
部分支持。不支持多角色作业。
- describe(app_id: str) Optional[DescribeAppResponse][source]¶
描述指定的应用程序。
- 返回：
AppDef 描述，如果应用程序不存在，则返回
None。
- list() List[ListAppResponse][source]¶
对于在调度器上启动的应用程序，此 API 返回一个 ListAppResponse 对象列表，每个对象都包含应用程序 ID 及其状态。注意：此 API 处于原型阶段，可能会发生变化。
- log_iter(app_id: str, role_name: Optional[str] = None, k: int = 0, regex: Optional[str] = None, since: Optional[datetime] = None, until: Optional[datetime] = None, should_tail: bool = False, streams: Optional[Stream] = None) Iterable[str][source]¶
返回一个指向
k``th 副本 ``role日志行的迭代器。当所有符合条件的日志行都被读取后，迭代器结束。如果调度器支持基于时间的游标来获取自定义时间范围内的日志行，则
since、until字段将被接受，否则将被忽略。不指定since和until等同于获取所有可用的日志行。如果until为空，则迭代器的行为类似于tail -f，跟随日志输出直到作业达到终端状态。日志的确切定义是特定于调度器的。一些调度器可能将 stderr 或 stdout 视为日志，而其他调度器可能从日志文件中读取日志。
行为和假设
如果对不存在的应用程序调用，则会产生未定义的行为。调用者应在调用此方法之前使用
exists(app_id)检查应用程序是否存在。不是有状态的，使用相同的参数调用此方法两次将返回一个新的迭代器。之前的迭代进度将丢失。
并不总是支持日志跟踪。并非所有调度器都支持实时日志迭代（例如，在应用程序运行时跟踪日志）。有关迭代器行为的信息，请参阅特定调度器的文档。
- 3.1 如果调度器支持日志跟踪，则应由
should_tail参数控制。
不保证日志保留。此方法被调用时，底层调度器可能已经清除了此应用程序的日志记录。如果是这样，此方法将引发任意异常。
如果
should_tail为 True，则该方法仅在可访问的日志行已完全耗尽且应用程序已达到最终状态时才会引发StopIteration异常。例如，如果应用程序卡住并且不产生任何日志行，则迭代器将阻塞，直到应用程序最终被终止（通过超时或手动），此时它将引发StopIteration。如果
should_tail为 False，则该方法在没有更多日志时引发StopIteration。并非所有调度器都需要支持。
一些调度器可以通过支持
__getitem__来支持行游标（例如，iter[50]查找第 50 行日志）。- 保留空格，每行新行都应包含
\n。为了 支持交互式进度条，返回的行不需要包含
\n，但应该在不换行的情况下打印，以便正确处理\r回车符。
- 保留空格，每行新行都应包含
- 参数：
streams - 要选择的 IO 输出流。可以是：combined、stdout、stderr。如果调度器不支持所选流，则会引发 ValueError。
- 返回：
指定角色副本的日志行的
Iterator- 引发：
NotImplementedError - 如果调度器不支持日志迭代
- torchx.schedulers.ray_scheduler.create_scheduler(session_name: str, ray_client: Optional[JobSubmissionClient] = None, **kwargs: Any) RayScheduler[source]¶
- torchx.schedulers.ray_scheduler.serialize(actors: List[RayActor], dirpath: str, output_filename: str = 'actors.json') None[源代码]¶
- class torchx.schedulers.ray_scheduler.RayJob(app_id: str, working_dir: str, cluster_config_file: ~typing.Optional[str] = None, cluster_name: ~typing.Optional[str] = None, dashboard_address: ~typing.Optional[str] = None, requirements: ~typing.Optional[str] = None, actors: ~typing.List[~torchx.schedulers.ray.ray_common.RayActor] = <factory>)[源代码]¶
表示应在 Ray 集群上运行的作业。
- 变量:
app_id (str) – 应用程序（也称为作业）的唯一 ID。
cluster_config_file (Optional[str]) – Ray 集群配置文件。
cluster_name (Optional[str]) – 要使用的集群名称。
dashboard_address (Optional[str]) – 要连接的现有仪表板 IP 地址
working_dir (str) – 要复制到集群的工作目录
requirements (Optional[str]) – 要根据 requirements.txt 在集群上安装的库
actors (List[torchx.schedulers.ray.ray_common.RayActor]) – 代表要运行的作业的 Ray actors。此属性将转储到 JSON 文件并复制到集群，ray_main.py 将使用该文件启动作业。
