Xinference（星尘推理）是由ApeCloud推出的开源大模型推理与部署框架，支持多种主流大语言模型（如LLaMA、ChatGLM、Qwen等）及向量模型的一键部署、推理和管理，提供统一的API接口与交互式界面，助力开发者便捷地将大模型能力集成至各类应用中。
docker.io/apecloud/xinference:latest-cpu