ghcr.io/nvidia-ai-iot/vllm

ghcr.io/nvidia-ai-iot/vllm是NVIDIA AI IoT团队提供的Docker容器镜像,集成了优化后的vLLM推理引擎,旨在支持在具备NVIDIA GPU的设备上高效执行大语言模型(LLM)推理任务,适用于边缘计算与IoT场景下的AI应用部署需求。

下载:107 版本:1
检测到您正在使用广告拦截插件,本站为公益站点,依赖广告维持运转 🙏 查看如何关闭 ×