docker.io/ascendai/cann
该镜像 docker.io/ascendai/cann 包含了Ascend AI的CANN (Compute Architecture for Neural Networks)软件栈。CANN是华为开发的用于在昇腾AI处理器上运行深度学习模型的软件平台。该镜像提供了运行CANN应用程序所需的所有必要组件,包括驱动程序、运行时库和工具。
docker.io/ascendai/vllm-ascend
该镜像为昇腾AI团队提供的基于vllm框架适配昇腾芯片的容器镜像,用于在昇腾硬件平台上高效部署和运行大语言模型的推理服务,支持大模型的低延迟、高吞吐量推理。