由 SGLang 团队

sglang logo

我们非常高兴地宣布，SGLang 项目已集成到 PyTorch 生态系统中！这次集成确保了 SGLang 与 PyTorch 的标准和规范保持一致，为开发者提供了一个可靠且社区支持的框架，用于快速灵活地提供LLMs服务。

想要查看 PyTorch 生态系统，请参阅 PyTorch 全景图，并了解项目如何加入 PyTorch 生态系统。

关于 SGLang

SGLang 是一个为大型语言模型和视觉语言模型设计的快速服务引擎。它通过协同设计后端运行时和前端语言，使与模型的交互更快、更可控。

核心功能包括：

  • 快速后端运行时：提供高效的托管服务，包括 RadixAttention 前缀缓存、零开销 CPU 调度器、连续批处理、分页注意力（token attention）、推测性解码、张量并行、分块预填充、结构化输出和量化（FP8/INT4/AWQ/GPTQ）。
  • 灵活的前端语言：提供直观的编程界面，支持LLM应用程序，包括链式生成调用、高级提示、控制流、多模态输入、并行性和外部交互。
  • 广泛的模型支持：支持广泛的生成模型（Llama、Gemma、Mistral、Qwen、DeepSeek、LLaVA 等）、嵌入模型（e5-mistral、gte、mcdse）和奖励模型（Skywork），易于扩展以集成新模型。
  • 活跃社区：SGLang 是一个开源项目，背后有一个活跃的社区，并且得到了行业的广泛采用。

SGLang 以其快速的速度而闻名。它在服务吞吐量和延迟方面通常能显著优于其他最先进的框架。您可以从前几个版本的博客文章中了解更多关于其底层技术的信息：v0.2 博客，v0.3 博客，v0.4 博客。

SGLang 已被领先的行业公司和前沿研究实验室广泛采用。例如，xAI 使用 SGLang 来提供其旗舰模型 Grok 3，根据 Chatbot Arena 排行榜，这是目前最好的模型。微软 Azure 使用 SGLang 在 AMD GPU 上提供 DeepSeek R1，这是目前最好的开源模型。

提供 DeepSeek 模型服务

您可以使用以下命令轻松启动一个 Docker 容器来提供 DeepSeek 模型：

# Pull the latest image
docker pull lmsysorg/sglang:latest

# Launch a server
docker run --gpus all --shm-size 32g -p 30000:30000 -v ~/.cache/huggingface:/root/.cache/huggingface --ipc=host --network=host --privileged lmsysorg/sglang:latest \
    python3 -m sglang.launch_server --model deepseek-ai/DeepSeek-V3 --tp 8 --trust-remote-code --port 30000

然后您可以使用 OpenAI 兼容的 API 查询服务器

import openai
client = openai.Client(base_url=f"http://127.0.0.1:30000/v1", api_key="None")

response = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3",
    messages=[
        {"role": "user", "content": "List 3 countries and their capitals."},
    ],
    temperature=0,
    max_tokens=64,
)

上述服务器启动命令适用于 8xH200。您可以在 https://docs.sglang.ai/references/deepseek.html 找到其他硬件（MI300X、H100、A100、H20、L40S）的详细说明。

SGLang 集成了 DeepSeek 特定的优化，例如 MLA 吞吐量优化、MLA 优化内核、数据并行注意力、多令牌预测和 DeepGemm，使其成为数十家公司（包括 AMD、NVIDIA 和许多云服务提供商）首选的 DeepSeek 模型服务解决方案。团队正在积极根据 2025 年上半年的路线图集成更多优化。

服務 Llama 模型

同樣，您可以使用以下命令启动 Llama 3.1 文本模型的服務器：

python -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-8B-Instruct

或者使用以下命令启动 Llama 3.2 多模態模型的服務器：

python3 -m sglang.launch_server --model-path meta-llama/Llama-3.2-11B-Vision-Instruct  --chat-template=llama_3_vision

路線圖

今年，SGLang 团队将继续推动系统效率的边界。您可以在这里找到 2025H1 的路线图。重点在于

  • 类似于 DeepSeek 推理系统的吞吐量导向的大规模部署
  • 长上下文优化
  • 低延迟的推测性解码
  • 强化学习训练框架集成
  • 内核优化

社区

SGLang 已部署到大规模生产，每天生成数十亿个标记。它拥有一个活跃的社区，GitHub 上有三百多位贡献者。以下机构提供支持：AMD、Atlas Cloud、Baseten、Cursor、DataCrunch、Etched、Hyperbolic、科大讯飞、Jam & Tea Studios、LinkedIn、LMSYS、美团、Nebius、Novita AI、NVIDIA、RunPod、斯坦福大学、加州大学伯克利分校、加州大学洛杉矶分校、xAI 和 01.AI。

logos

结论

我们很高兴欢迎 SGLang 加入 PyTorch 生态系统。SGLang 加速了大型语言和视觉语言模型的部署。它被广泛应用于行业，为 Grok 和 DeepSeek 等前沿模型的大规模在线部署提供动力。

我们邀请您探索 SGLang GitHub 仓库，加入 Slack 社区，并通过 contact@sglang.ai 联系以获取咨询或合作机会。共同，我们可以让强大的 AI 模型对每个人开放。