sglang是蚂蚁集团开发的大语言模型推理框架镜像，用于提供高效、低延迟的LLM推理服务，支持多种主流大语言模型格式，优化了推理性能，适用于各类需要快速响应的大语言模型应用场景。
ghcr.io/antgroup/sglang:h20-blog-release