Koboldcpp是一个轻量级工具，用于在本地运行基于GGML格式的大型语言模型（LLM），支持多种模型格式，提供网页界面和API接口，方便进行文本生成、对话交互等操作，适合资源有限的环境部署使用。
ghcr.io/lostruins/koboldcpp:latest