快捷方式

ts.metrics 包

子模块

ts.metrics.dimension 模块

模型服务器指标的维度类

class ts.metrics.dimension.Dimension(name, value)[源代码]

基类: object

定义键值对的维度类

to_dict()[源代码]

返回一个字典

ts.metrics.metric 模块

模型服务器的指标类

class ts.metrics.metric.Metric(name, value, unit, dimensions, request_id=None, metric_method=None)[源代码]

基类: object

用于生成指标并将其打印到 worker 标准输出的类

reset()[源代码]

将指标值重置为 0

to_dict()[源代码]

返回一个有序字典

update(value)[源代码]

指标类的更新函数

参数:

value (int, float) – 要更新的指标

ts.metrics.metric_collector 模块

系统指标和进程指标脚本的单一启动点

ts.metrics.metric_encoder 模块

用于 json dumps 的指标编码器类

class ts.metrics.metric_encoder.MetricEncoder(*, skipkeys=False, ensure_ascii=True, check_circular=True, allow_nan=True, sort_keys=False, indent=None, separators=None, default=None)[源代码]

基类: JSONEncoder

用于 json 编码指标对象的编码器类

default(obj)[源代码]

仅当对象类型为 Metric 时重写

ts.metrics.metrics_store 模块

指标收集模块

class ts.metrics.metrics_store.MetricsStore(request_ids, model_name)[源代码]

基类: object

用于创建、修改不同指标的已弃用类。并将它们保存在字典中

add_counter(name, value, idx=None, dimensions=None)[源代码]

添加计数器指标或递增现有计数器指标

参数:
  • name (str) – 指标名称

  • value (int) – 指标值

  • idx (int) – 批次中的 request_id 索引

  • dimensions (list) – 指标的维度列表

add_error(name, value, dimensions=None)[源代码]

添加错误指标 :param name: 指标名称 :type name: str :param value: 指标值,在本例中为 str :type value: str :param dimensions: 指标的维度列表 :type dimensions: list

add_metric(name, value, unit, idx=None, dimensions=None)[源代码]

添加一个通用指标,用于自定义指标

参数:
  • name (str) – 指标名称

  • value (int, float) – 指标值

  • idx (int) – 批次中的 request_id 索引

  • unit (str) – 指标单位

  • dimensions (list) – 指标的维度列表

add_percent(name, value, idx=None, dimensions=None)[源代码]

添加基于百分比的指标

参数:
  • name (str) – 指标名称

  • value (int, float) – 指标值

  • idx (int) – 批次中的 request_id 索引

  • dimensions (list) – 指标的维度列表

add_size(name, value, idx=None, unit='MB', dimensions=None)[源代码]

添加基于大小的指标

参数:
  • name (str) – 指标名称

  • value (int, float) – 指标值

  • idx (int) – 批次中的 request_id 索引

  • unit (str) – 指标单位,此处默认值为 ‘MB’,也支持 ‘kB’、‘GB’

  • dimensions (list) – 指标的维度列表

add_time(name, value, idx=None, unit='ms', dimensions=None)[源代码]

添加基于时间的指标,如延迟,默认单位为 ‘ms’

参数:
  • name (str) – 指标名称

  • value (int) – 指标值

  • idx (int) – 批次中的 request_id 索引

  • unit (str) – 指标单位,此处默认值为 ms,也接受 s

  • dimensions (list) – 指标的维度列表

ts.metrics.process_memory_metric 模块

在此处收集进程内存使用率指标 传递 json,pid 和 gpuID 的集合

ts.metrics.process_memory_metric.check_process_mem_usage(stdin)[源代码]
返回:

mem_utilization

返回类型:

float

ts.metrics.process_memory_metric.get_cpu_usage(pid)[源代码]

使用 psutil 获取 cpu 内存 :param pid: str :return: int

ts.metrics.system_metrics 模块

用于收集前端系统指标的模块

ts.metrics.system_metrics.collect_all(mod, num_of_gpu)[源代码]

收集所有系统指标。

参数:
  • mod

  • num_of_gpu

返回:

ts.metrics.system_metrics.cpu_utilization()[源代码]
ts.metrics.system_metrics.disk_available()[源代码]
ts.metrics.system_metrics.disk_used()[源代码]
ts.metrics.system_metrics.disk_utilization()[源代码]
ts.metrics.system_metrics.gpu_utilization(num_of_gpu)[源代码]

收集 gpu 指标。

参数:

num_of_gpu

返回:

ts.metrics.system_metrics.memory_available()[源代码]
ts.metrics.system_metrics.memory_used()[源代码]
ts.metrics.system_metrics.memory_utilization()[源代码]

ts.metrics.unit 模块

用于定义单位映射的模块

class ts.metrics.unit.Units[源代码]

基类: object

定义元素的单位

模块内容

这是所有 python worker 指标的文件夹。

文档

访问 PyTorch 的全面开发者文档

查看文档

教程

获取面向初学者和高级开发者的深入教程

查看教程

资源

查找开发资源并获得问题解答

查看资源