TorchServe

TorchServe 是一款高性能、灵活且易于使用的工具，用于在生产环境中提供 PyTorch 模型。

TorchServe 中发生了什么？

• 使用 TorchServe 在 AWS Inferentia2 上进行高性能 Llama 2 部署

• Naver 案例研究：从高成本 GPU 过渡到英特尔 CPU 和 oneAPI 支持的软件，并提高性能

• 使用 Amazon SageMaker 多模型端点和 TorchServe 在 GPU 上运行多个生成式 AI 模型，并节省高达 75% 的推断成本

• 使用 Vertex AI 和 PyTorch 在四个步骤内部署您的生成式 AI 模型

• Google Cloud TPUv5 上的 PyTorch 模型服务

• 使用 Datadog 进行监控

• Torchserve 性能调优，动画绘图案例研究

• 沃尔玛搜索：在 TorchServe 上大规模提供模型

• 使用 TorchServe 在 CPU 上扩展推断

• TorchServe C++ 后端

• 从第一原理了解英特尔 CPU PyTorch 性能：TorchServe 案例研究

• 从基本原理理解英特尔 CPU PyTorch 性能（第 2 部分）：TorchServe 案例研究

• 案例研究：亚马逊广告使用 PyTorch 和 AWS Inferentia 为广告处理扩展模型

• 使用 Amazon SageMaker 上的 TorchServe 通过动态批次推理优化您的推理作业

• 使用 AI 将儿童的绘画变为现实

• PyTorch 中的模型服务

• Cresta 机器学习架构的演变：迁移到 AWS 和 PyTorch

• 用 5 岁孩子能理解的方式解释：TorchServe

• 如何使用 TorchServe 服务 PyTorch 模型

• 如何在 Vertex AI 上部署 PyTorch 模型

• 服务平台的定量比较

---

TorchServe 快速入门

主题：快速入门

了解如何安装 TorchServe 并服务模型。

运行 TorchServe

主题：运行 TorchServe

深入解释如何运行 TorchServe

为什么选择 TorchServe

主题：示例

各种 TorchServe 用例

性能

主题：性能，故障排除

使用 TorchServe 时如何提高性能的指南和最佳实践

指标

主题：指标，性能，故障排除

收集和查看 Torcherve 指标

大型模型推理

主题：大型模型，性能

使用 TorchServe 服务大型模型

故障排除

主题：故障排除，性能

关于 Torcherve 和用例的各种更新。

TorchServe 安全策略

主题：安全

安全策略

常见问题解答

主题：常见问题解答

各种常见问题解答。