docker.io/vllm/vllm-openai

这是镜像描述: vllm/openai 基于 OpenAI 的 GPT-3 模型的 API 服务,支持自然语言处理等功能。

下载:35729 版本:187

docker.io/vllm/vllm-omni

docker.io/vllm/vllm-omni是vllm项目提供的全功能镜像,包含vllm核心组件及相关依赖,支持多种硬件后端与大语言模型推理部署,可用于高效构建和运行大语言模型服务。

下载:763 版本:15

docker.io/vllm/vllm-openai-cpu

vllm-openai-cpu镜像是vllm项目提供的CPU版本镜像,支持OpenAI兼容的API接口,用于部署大语言模型并提供推理服务,适用于无GPU资源的环境下通过OpenAI风格的API访问大语言模型进行推理。

下载:234 版本:8

docker.io/vllm/vllm-openai-rocm

该镜像是vllm项目提供的基于ROCm平台构建的镜像,实现了OpenAI兼容的API接口,可在AMD GPU上高效部署和运行大语言模型推理服务,支持低延迟、高吞吐量的LLM推理任务。

下载:142 版本:4

docker.io/vllm/vllm-omni-rocm

docker.io/vllm/vllm-omni-rocm是vllm框架的omni版本镜像,针对AMD ROCm平台进行优化,用于大语言模型的高效推理与部署,支持多种模型格式及推理场景。

下载:5 版本:2

docker.io/vllm/vllm-router

vllm-router是vllm框架中的路由组件,用于在多个vllm推理实例之间进行请求路由、负载均衡与分发,支持高效管理多实例部署的大语言模型推理服务,帮助提升推理服务的可用性和资源利用率。

下载:3 版本:1
检测到您正在使用广告拦截插件,本站为公益站点,依赖广告维持运转 🙏 查看如何关闭 ×