docker.io/vllm/vllm-openai
这是镜像描述: vllm/openai 基于 OpenAI 的 GPT-3 模型的 API 服务,支持自然语言处理等功能。
docker.io/vllm/vllm-omni
docker.io/vllm/vllm-omni是vllm项目提供的全功能镜像,包含vllm核心组件及相关依赖,支持多种硬件后端与大语言模型推理部署,可用于高效构建和运行大语言模型服务。
docker.io/vllm/vllm-openai-cpu
vllm-openai-cpu镜像是vllm项目提供的CPU版本镜像,支持OpenAI兼容的API接口,用于部署大语言模型并提供推理服务,适用于无GPU资源的环境下通过OpenAI风格的API访问大语言模型进行推理。
docker.io/vllm/vllm-openai-rocm
该镜像是vllm项目提供的基于ROCm平台构建的镜像,实现了OpenAI兼容的API接口,可在AMD GPU上高效部署和运行大语言模型推理服务,支持低延迟、高吞吐量的LLM推理任务。