这是一个用于运行 VLLM (Versatile Large Language Model) 的 ROCm 镜像。VLLM 是一个高效的、用于推理大型语言模型的库,而此镜像则预先配置好了 ROCm (Radeon Open Compute Platform),可以在 AMD GPU 上运行 VLLM,从而充分利用 GPU 的并行计算能力,加速大型语言模型的推理过程。
docker.io/rocm/vllm:rocm6.3.1_mi300_ubuntu22.04_py3.12_vllm_0.6.6
docker.io/rocm/vllm-dev:rocm6.4.1_navi_ubuntu24.04_py3.12_pytorch_2.7_vllm_0.8.5
docker.io/rocm/vllm-dev:rocm6.3.4_navi3x_ubuntu24.04_py3.12_pytorch_2.4_vllm_0.7.2
docker.io/rocm/vllm-dev:navi_nightly
docker.io/rocm/vllm-dev:navi_base_test_main_20250228
docker.io/rocm/vllm-dev:base
docker.io/rocm/vllm-dev:20250114