docker.io/vllm/vllm-openai

这是镜像描述: vllm/openai 基于 OpenAI 的 GPT-3 模型的 API 服务，支持自然语言处理等功能。

下载:29093 版本:152

docker.io/vllm/vllm-omni

docker.io/vllm/vllm-omni是vllm项目提供的全功能镜像，包含vllm核心组件及相关依赖，支持多种硬件后端与大语言模型推理部署，可用于高效构建和运行大语言模型服务。

下载:474 版本:9

docker.io/vllm/vllm-openai-cpu

vllm-openai-cpu镜像是vllm项目提供的CPU版本镜像，支持OpenAI兼容的API接口，用于部署大语言模型并提供推理服务，适用于无GPU资源的环境下通过OpenAI风格的API访问大语言模型进行推理。

下载:160 版本:7

docker.io/vllm/vllm-openai-rocm

该镜像是vllm项目提供的基于ROCm平台构建的镜像，实现了OpenAI兼容的API接口，可在AMD GPU上高效部署和运行大语言模型推理服务，支持低延迟、高吞吐量的LLM推理任务。

下载:98 版本:3

docker.io/vllm/vllm-omni-rocm

docker.io/vllm/vllm-omni-rocm是vllm框架的omni版本镜像，针对AMD ROCm平台进行优化，用于大语言模型的高效推理与部署，支持多种模型格式及推理场景。

下载:3 版本:1
检测到您正在使用广告拦截插件，本站为公益站点，依赖广告维持运转 🙏 查看如何关闭 ×