这是一个基于昇腾AI处理器的VLLM (Versatile Large Language Model) 镜像。它允许在昇腾硬件上运行大型语言模型,提供高效的推理能力。
quay.io/ascend/vllm-ascend:v0.7.3rc2
quay.io/ascend/vllm-ascend:v0.7.3rc1
quay.io/ascend/vllm-ascend:v0.7.1rc1