SGLang 发布 v0.5.21 版本，新增多个模型和功能，优化性能。
SGLang 团队于 2023 年 10 月 2 日发布了 v0.5.21 版本。本次更新带来了多个新模型，包括 DeepSeek-V4.1、Flash LLM / VLM、GigaChat 3.5、IQuest-Q1、MiMo-V2.6 / MiMo-V2.6-Pro、Ling-3.0-flash-VL、DiffusionGemma、Qwen-Image 2.1、Anima Base v1.0、Ming-Image 0.1、FLUX 3 Action 等。此外，还优化了 PD 实例的动态切换、Prefix 缓存运行在 Rust 核心上、DeepSeek-V4.1 的首次标记速度提升 22%、Kimi K3 的预填充吞吐量提升 20.6% 等功能。SGLang 还新增了 Decisions API 和 Score API，支持将 LLM / VLM 转换为低延迟分类器和评分器，并优化了 MiniMax-H3 在 SGLang Diffusion 内的运行。更多详细信息，请查看[原文链接](https://github.com/sgl-project/sglang/releases/tag/v0.5.21)。