这是一个基于ROCm平台的LLM推理容器镜像。它包含了vLLM,一个高效的LLM推理引擎,并针对ROCm硬件进行了优化。
ghcr.io/embeddedllm/vllm-rocm:v0.8.2-18ed313