该Docker镜像是基于Alpine Linux的轻量级镜像,集成了llama.cpp服务器,用于部署和运行Llama系列等开源大语言模型,可通过API提供模型推理服务,具有体积小、资源占用低的特点。
docker.io/samueltallet/alpine-llama-cpp-server:latest