ghcr.io/vllm-project/guidellm

该镜像属于vllm-project项目,提供GuidLLM相关功能,用于支持指导式大语言模型的推理与服务,基于vllm框架优化了推理性能,可助力构建高效的引导式LLM应用场景。

下载:15 版本:1

ghcr.io/vllm-project/semantic-router/vllm-sr

该镜像属于vllm-project的semantic-router项目,是集成vllm高效推理引擎的语义路由服务镜像,用于实现基于大语言模型的语义路由功能,支持将用户查询快速路由到合适的处理流程或模型,利用vllm的高性能推理能力提升语义分析与路由决策的效率。

下载:0 版本:1
检测到您正在使用广告拦截插件,本站为公益站点,依赖广告维持运转 🙏 查看如何关闭 ×