该镜像属于vllm-project项目,提供GuidLLM相关功能,用于支持指导式大语言模型的推理与服务,基于vllm框架优化了推理性能,可助力构建高效的引导式LLM应用场景。
ghcr.io/vllm-project/guidellm:latest