TorchServe GenAI 用例和展示

本文档展示了使用 TorchServe 部署 Gen AI 的有趣用例。

在 AWS Graviton 上使用 Torch 编译 RAG 增强 LLM 服务

在本博客中，我们将展示如何使用 TorchServe 部署 RAG 端点，使用 torch.compile 提高吞吐量，并改进 Llama 端点生成的响应。我们还将展示如何在 CPU 上使用 AWS Graviton 部署 RAG 端点，而 Llama 端点仍然部署在 GPU 上。这种基于微服务的 RAG 解决方案有效地利用了计算资源，从而为客户节省潜在成本。