这是一个基于 VLLM (Vicuna Large Language Model) 的 Docker 镜像,针对 gfx906 GPU 架构进行了优化。它可能包含了运行 VLLM 模型所需的所有依赖项,例如必要的库和模型权重文件,方便用户在具备 gfx906 GPU 的环境中快速部署和使用 VLLM。
docker.io/nalanzeyu/vllm-gfx906:v0.8.5-rocm6.3.4