ghcr.io/nvidia-ai-iot/vllm是NVIDIA AI IoT团队提供的Docker容器镜像,集成了优化后的vLLM推理引擎,旨在支持在具备NVIDIA GPU的设备上高效执行大语言模型(LLM)推理任务,适用于边缘计算与IoT场景下的AI应用部署需求。
ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin