vllm-openai-cpu镜像是vllm项目提供的CPU版本镜像,支持OpenAI兼容的API接口,用于部署大语言模型并提供推理服务,适用于无GPU资源的环境下通过OpenAI风格的API访问大语言模型进行推理。
docker.io/vllm/vllm-openai-cpu:latest-x86_64
docker.io/vllm/vllm-openai-cpu:latest-arm64