docker.io/lmcache/vllm-openai

这是一个用于运行vLLM大型语言模型的Docker镜像,由lmcache团队维护。vLLM是一个高效的LLM推理库,该镜像使得在Docker容器中运行OpenAI模型变得容易。

下载:206 版本:10

docker.io/lmcache/lmstack-router

这是一个名为 lmcache/lmstack-router 的 Docker 镜像,它很可能是一个用于路由的组件,是 lmstack 系统的一部分。 具体功能需要参考 lmstack 项目的文档才能确定。 lmcache 可能是该项目的维护者或组织名称。

下载:56 版本:1

docker.io/lmcache/lmstack-lora-controller

该镜像为LMStack框架下的LoRA控制器组件,主要用于管理LoRA微调任务的调度、配置及与其他组件的交互,支持对大模型进行低秩适应微调的相关控制操作,助力用户高效开展大模型的LoRA微调与部署管理工作。

下载:7 版本:1

docker.io/lmcache/lmstack-sidecar

lmstack-sidecar是LMCache(大模型缓存系统)的辅助边车服务镜像,用于配合lmstack主服务完成缓存管理、数据同步或其他辅助功能,助力提升大模型应用的性能与运行效率。

下载:0 版本:1

docker.io/lmcache/standalone

lmcache/standalone镜像是LMCache大语言模型缓存系统的独立运行版本,用于为大语言模型推理提供高效缓存服务,通过缓存重复的LLM请求结果减少计算开销,提升响应速度与系统吞吐量,适用于需要快速处理大语言模型请求的场景。

下载:0 版本:1