该镜像是vllm项目提供的基于ROCm平台构建的镜像,实现了OpenAI兼容的API接口,可在AMD GPU上高效部署和运行大语言模型推理服务,支持低延迟、高吞吐量的LLM推理任务。
docker.io/vllm/vllm-openai-rocm:latest