Koboldcpp是一个轻量级工具,用于在本地运行基于GGML格式的大型语言模型(LLM),支持多种模型格式,提供网页界面和API接口,方便进行文本生成、对话交互等操作,适合资源有限的环境部署使用。
ghcr.io/lostruins/koboldcpp:latest