KoboldCPP是KoboldAI项目的C++实现，提供轻量级、高效的本地大语言模型运行环境，支持GGUF等常见模型格式，可在本地设备部署并交互各类大语言模型，适用于文本生成、对话等场景，无需依赖云端服务，兼顾性能与易用性。
docker.io/koboldai/koboldcpp:latest