跳转到主要内容
社区

SGLang 加入 PyTorch 生态系统：高效的 LLM 服务引擎

作者： 2025年3月19日2025年5月3日暂无评论

我们很高兴地宣布，SGLang 项目已集成到 PyTorch 生态系统中！此次集成确保了 SGLang 符合 PyTorch 的标准和实践，为开发者提供一个可靠且有社区支持的框架，用于快速、灵活地部署大型语言模型（LLM）。

要查看 PyTorch 生态系统，请访问 PyTorch Landscape ，并进一步了解项目如何加入 PyTorch 生态系统。

关于 SGLang

SGLang 是一款用于大型语言模型和视觉语言模型的快速服务引擎。它通过协同设计后端运行时和前端语言，使与模型的交互更快、更可控。

其核心功能包括：

  • 快速的后端运行时：通过 RadixAttention 实现前缀缓存、零开销的 CPU 调度器、连续批处理、令牌注意力（paged attention）、推测解码、张量并行、分块预填充、结构化输出和量化（FP8/INT4/AWQ/GPTQ），提供高效的服务。
  • 灵活的前端语言：为编写 LLM 应用程序提供直观的接口，包括链式生成调用、高级提示、控制流、多模态输入、并行处理和外部交互。
  • 广泛的模型支持：支持多种生成模型（Llama、Gemma、Mistral、Qwen、DeepSeek、LLaVA 等）、嵌入模型（e5-mistral、gte、mcdse）和奖励模型（Skywork），并可轻松扩展以集成新模型。
  • 活跃的社区：SGLang 是一个开源项目，拥有一个活跃的社区和广泛的行业应用。

SGLang 以其速度快而闻名。在服务吞吐量和延迟方面，它通常能显著优于其他最先进的框架。您可以从过去发布的博客文章中了解更多底层技术：v0.2 博客、v0.3 博客、v0.4 博客。

SGLang 已被领先的行业公司和前沿研究实验室广泛采用。例如，xAI 使用 SGLang 来服务其旗舰模型 Grok 3，该模型目前在 Chatbot Arena 排行榜上排名第一。微软 Azure 使用 SGLang 在 AMD GPU 上服务 DeepSeek R1，这是目前最好的开源模型。

服务 DeepSeek 模型

您可以使用以下命令轻松启动一个 Docker 容器来服务 DeepSeek 模型：

# Pull the latest image
docker pull lmsysorg/sglang:latest

# Launch a server
docker run --gpus all --shm-size 32g -p 30000:30000 -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host --network=host --privileged lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code --port 30000

然后，您可以通过兼容 OpenAI 的 API 来查询该服务：

import openai
client = openai.Client(base_url=f"http://127.0.0.1:30000/v1", api_key="None")

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3",
    messages=[
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)

上述服务启动命令适用于 8xH200。您可以在 https://docs.sglang.com.cn/references/deepseek.html 找到适用于其他硬件（MI300X、H100、A100、H20、L40S）的详细说明。

SGLang 集成了 DeepSeek 的特定优化，如 MLA 吞吐量优化、MLA 优化内核、数据并行注意力、多令牌预测和 DeepGemm，使其成为包括 AMD、NVIDIA 和许多云服务提供商在内的数十家公司服务 DeepSeek 模型的首选。该团队正积极根据以下 2025 年上半年的路线图集成更多优化。

服务 Llama 模型

同样，您可以使用以下命令为 Llama 3.1 文本模型启动服务：

python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-8B-Instruct

或者为 Llama 3.2 多模态模型启动服务：

python3 -m sglang.launch_server --model-path meta-llama/Llama-3.2-11B-Vision-Instruct  --chat-template=llama_3_vision

路线图

今年，SGLang 团队将继续推动系统效率的边界。您可以在这里找到 2025 年上半年的路线图。重点是：

  • 类似 DeepSeek 推理系统的面向吞吐量的大规模部署
  • 长上下文优化
  • 低延迟推测解码
  • 强化学习训练框架集成
  • 内核优化

社区

SGLang 已被部署到大规模生产环境中，每天生成数万亿个令牌。它拥有一个活跃的社区，在 GitHub 上有超过三百名贡献者。它得到了以下机构的支持：AMD、Atlas Cloud、Baseten、Cursor、DataCrunch、Etched、Hyperbolic、iFlytek、Jam & Tea Studios、LinkedIn、LMSYS、Meituan、Nebius、Novita AI、NVIDIA、RunPod、Stanford、UC Berkeley、UCLA、xAI 和 01.AI。

 

结论

我们很高兴地欢迎 SGLang 加入 PyTorch 生态系统。SGLang 加速了大型语言和视觉语言模型的服务。它被业界广泛采用，为 Grok 和 DeepSeek 等前沿模型的大规模在线服务提供支持。

我们邀请您探索 SGLang GitHub 仓库，加入 Slack 社区，并通过 contact@sglang.ai 联系我们进行咨询或寻求合作机会。让我们共同努力，让强大的 AI 模型人人可用。