该镜像为昇腾AI团队提供的基于vllm框架适配昇腾芯片的容器镜像,用于在昇腾硬件平台上高效部署和运行大语言模型的推理服务,支持大模型的低延迟、高吞吐量推理。
docker.io/ascendai/vllm-ascend:main-310p