ghcr.io/vllm-project/guidellm

该镜像属于vllm-project项目,提供GuidLLM相关功能,用于支持指导式大语言模型的推理与服务,基于vllm框架优化了推理性能,可助力构建高效的引导式LLM应用场景。

下载:1 版本:1