docker.io/vllm/vllm-openai

这是镜像描述: vllm/openai 基于 OpenAI 的 GPT-3 模型的 API 服务,支持自然语言处理等功能。

下载:27185 版本:143

docker.io/vllm/vllm-omni

docker.io/vllm/vllm-omni是vllm项目提供的全功能镜像,包含vllm核心组件及相关依赖,支持多种硬件后端与大语言模型推理部署,可用于高效构建和运行大语言模型服务。

下载:410 版本:8

docker.io/vllm/vllm-openai-cpu

vllm-openai-cpu镜像是vllm项目提供的CPU版本镜像,支持OpenAI兼容的API接口,用于部署大语言模型并提供推理服务,适用于无GPU资源的环境下通过OpenAI风格的API访问大语言模型进行推理。

下载:123 版本:6

docker.io/vllm/vllm-openai-rocm

该镜像是vllm项目提供的基于ROCm平台构建的镜像,实现了OpenAI兼容的API接口,可在AMD GPU上高效部署和运行大语言模型推理服务,支持低延迟、高吞吐量的LLM推理任务。

下载:78 版本:3

docker.io/vllm/vllm-omni-rocm

docker.io/vllm/vllm-omni-rocm是vllm框架的omni版本镜像,针对AMD ROCm平台进行优化,用于大语言模型的高效推理与部署,支持多种模型格式及推理场景。

下载:3 版本:1