⚠️ 注意：有限维护

该项目不再积极维护。现有版本仍可使用，但没有计划中的更新、错误修复、新功能或安全补丁。用户应注意漏洞可能不会得到解决。

TorchServe GenAI 使用案例与展示

本文档展示了使用 TorchServe 进行 Gen AI 部署的一些有趣的使用案例。

在 AWS Graviton 上使用 Torch Compiled RAG 增强 LLM 服务

在这篇博客中，我们展示了如何使用 TorchServe 部署 RAG 端点，如何使用 torch.compile 提高吞吐量，以及如何改进 Llama 端点生成的响应。我们还展示了如何在 AWS Graviton 上使用 CPU 部署 RAG 端点，同时 Llama 端点仍然部署在 GPU 上。这种基于微服务的 RAG 解决方案有效利用计算资源，从而为客户带来潜在的成本节省。

多图生成 Streamlit 应用：使用 TorchServe、torch.compile 和 OpenVINO 串联 Llama 和 Stable Diffusion

这个多图生成 Streamlit 应用旨在根据提供的文本提示生成多张图片。该应用没有直接使用 Stable Diffusion，而是串联了 Llama 和 Stable Diffusion 来增强图片生成过程。这个多图生成的使用案例例证了尖端 AI 技术的强大协同效应：TorchServe、OpenVINO、Torch.compile、Meta-Llama 和 Stable Diffusion。