这是一个用于运行 VLLM (Versatile Large Language Model) 的 ROCm 镜像。VLLM 是一个高效的、用于推理大型语言模型的库,而此镜像则预先配置好了 ROCm (Radeon Open Compute Platform),可以在 AMD GPU 上运行 VLLM,从而充分利用 GPU 的并行计算能力,加速大型语言模型的推理过程。
docker.io/rocm/vllm:rocm6.3.1_mi300_ubuntu22.04_py3.12_vllm_0.6.6
docker.io/rocm/vllm-dev:navi_base_test_main_20250228
docker.io/rocm/vllm-dev:base
docker.io/rocm/vllm-dev:20250114