TorchServe

TorchServe 是一个高性能、灵活且易于使用的工具，用于在生产环境中服务 PyTorch 模型。

TorchServe 的最新动态？

• 使用 TorchServe 通过 AWS Inferentia2 进行高性能 Llama 2 部署

• Naver 案例研究：借助性能从高成本 GPU 过渡到 Intel CPU 和 oneAPI 驱动的软件

• 使用 Amazon SageMaker 多模型端点和 TorchServe 在 GPU 上运行多个生成式 AI 模型，并节省高达 75% 的推理成本

• 仅需四个步骤即可通过 Vertex AI 和 PyTorch 部署您的生成式 AI 模型

• Google Cloud TPUv5 上的 PyTorch 模型服务

• 使用 Datadog 进行监控

• Torchserve 性能调优，Animated Drawings 案例研究

• Walmart Search：在 TorchServe 上大规模服务模型

• 使用 TorchServe 在 CPU 上扩展推理

• TorchServe C++ 后端

• 带有 Intel® Extension for PyTorch* 的 TorchServe

• 从第一性原理理解 Intel CPU PyTorch 性能：TorchServe 案例研究

• 从第一性原理理解 Intel CPU PyTorch 性能（第 2 部分）：TorchServe 案例研究

• 案例研究：Amazon Ads 使用 PyTorch 和 AWS Inferentia 来扩展模型以进行广告处理

• 使用 TorchServe 在 Amazon SageMaker 上使用动态批量推理来优化您的推理作业

• 使用 AI 将儿童的绘画作品变为现实

• PyTorch 中的模型服务

• Cresta 机器学习架构的演变：迁移到 AWS 和 PyTorch

• 像给 5 岁小孩解释一样：TorchServe

• 如何使用 TorchServe 服务 PyTorch 模型

• 如何在 Vertex AI 上部署 PyTorch 模型

• 服务平台的定量比较

---

TorchServe 快速入门

主题： 快速入门

了解如何安装 TorchServe 并服务模型。

运行 TorchServe

主题： 运行 TorchServe

深入解释如何运行 TorchServe

为什么选择 TorchServe

主题： 示例

各种 TorchServe 用例

TorchServe GenAI 用例

主题： 用例

展示 GenAI 部署场景和用例

性能

主题： 性能,故障排除

关于如何在 TorchServe 中提高性能的指南和最佳实践

指标

主题： 指标,性能,故障排除

收集和查看 Torcherve 指标

大型模型推理

主题： 大型模型,性能

使用 TorchServe 服务大型模型

故障排除

主题： 故障排除,性能

有关 Torcherve 和用例的各种更新。

TorchServe 安全策略

主题： 安全

安全策略

常见问题解答

主题： 常见问题解答

各种常见问题。