docker.io/ascendai/cann

该镜像 docker.io/ascendai/cann 包含了Ascend AI的CANN (Compute Architecture for Neural Networks)软件栈。CANN是华为开发的用于在昇腾AI处理器上运行深度学习模型的软件平台。该镜像提供了运行CANN应用程序所需的所有必要组件,包括驱动程序、运行时库和工具。

下载:411 版本:11

docker.io/ascendai/vllm-ascend

该镜像为昇腾AI团队提供的基于vllm框架适配昇腾芯片的容器镜像,用于在昇腾硬件平台上高效部署和运行大语言模型的推理服务,支持大模型的低延迟、高吞吐量推理。

下载:4 版本:1