TorchServe GenAI 用例与展示

本文档展示了 TorchServe 在 Gen AI 部署中的有趣用例。

使用 Torch Compiled RAG 在 AWS Graviton 上增强 LLM 服务

在此博客中，我们展示了如何使用 TorchServe 部署 RAG 端点，如何使用 torch.compile 提高吞吐量，以及如何改进 Llama 端点生成的响应。我们还展示了如何在 CPU 上使用 AWS Graviton 部署 RAG 端点，而 Llama 端点仍部署在 GPU 上。这种基于微服务的 RAG 解决方案有效地利用了计算资源，从而为客户节省了潜在的成本。

多图像生成 Streamlit 应用程序：使用 TorchServe、torch.compile 和 OpenVINO 链接 Llama 和 Stable Diffusion

此多图像生成 Streamlit 应用程序旨在根据提供的文本提示生成多张图像。此应用程序没有直接使用 Stable Diffusion，而是链接 Llama 和 Stable Diffusion 来增强图像生成过程。这种多图像生成用例体现了前沿 AI 技术的强大协同作用：TorchServe、OpenVINO、Torch.compile、Meta-Llama 和 Stable Diffusion。