该Docker镜像基于AMD ROCm平台构建,提供llama.cpp运行环境,支持利用AMD GPU加速Llama等大语言模型的推理任务,便于在AMD显卡上部署和使用llama.cpp进行高效的大模型推理。
docker.io/rocm/llama.cpp:llama.cpp-b6652.amd0_rocm7.0.0_ubuntu24.04_full