TorchServe

TorchServe 是一款用于在生产环境中提供 PyTorch 模型的高性能、灵活且易于使用的工具。

TorchServe 中发生了什么？

• 使用 TorchServe 和 AWS Inferentia2 进行高性能 Llama 2 部署

• Naver 案例研究：从高成本 GPU 过渡到英特尔 CPU 和 oneAPI 支持的软件，并提高性能

• 使用 Amazon SageMaker 多模型端点和 TorchServe 在 GPU 上运行多个生成式 AI 模型，并节省高达 75% 的推理成本

• 仅需四个步骤即可使用 Vertex AI 和 PyTorch 部署您的生成式 AI 模型

• Google Cloud TPUv5 上的 PyTorch 模型服务

• 使用 Datadog 进行监控

• Torchserve 性能调优，动画绘图案例研究

• 沃尔玛搜索：在 TorchServe 上大规模提供模型服务

• 使用 TorchServe 在 CPU 上扩展推理

• TorchServe C++ 后端

• TorchServe 与英特尔® 扩展 for PyTorch*

• 从第一原理掌握英特尔 CPU PyTorch 性能：TorchServe 案例研究

• 从第一原理掌握英特尔 CPU PyTorch 性能（第 2 部分）：TorchServe 案例研究

• 案例研究：亚马逊广告使用 PyTorch 和 AWS Inferentia 为广告处理扩展模型

• 使用 Amazon SageMaker 上的 TorchServe 通过动态批量推理优化您的推理作业

• 使用 AI 将儿童绘画变为现实

• PyTorch 中的模型服务

• Cresta 机器学习架构的演变：迁移到 AWS 和 PyTorch

• 用 5 岁小孩都能听懂的方式解释：TorchServe

• 如何使用 TorchServe 提供 PyTorch 模型服务

• 如何在 Vertex AI 上部署 PyTorch 模型

• 服务平台的定量比较

---

TorchServe 快速入门

主题：快速入门

了解如何安装 TorchServe 和提供模型服务。

运行 TorchServe

主题：运行 TorchServe

深入解释如何运行 TorchServe

为什么选择 TorchServe

主题：示例

各种 TorchServe 使用案例

TorchServe GenAI 使用案例

主题：使用案例

展示 GenAI 部署场景和使用案例

性能

主题：性能，故障排除

使用 TorchServe 时如何提高性能的指南和最佳实践

指标

主题：指标，性能，故障排除

收集和查看 Torcherve 指标

大型模型推理

主题：大型模型，性能

使用 TorchServe 提供大型模型服务

故障排除

主题：故障排除，性能

Torcherve 和使用案例的各种更新。

TorchServe 安全策略

主题：安全

安全策略

常见问题解答

主题：常见问题解答

各种常见问题。