vllm docker方式遇到value error
#6
by
audost0ck1ng
- opened
你好，
我使用網站提供的指令如下:
docker run --gpus all --name my_vllm_container ...中略... --ipc=host vllm/vllm-openai:latest --model taide/Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit
嘗試運行api服務。
遇到 /usr/local/lib/python3.12/dist-packages/vllm/transformers_utils/config.py 發出的value error
raise ValueError(f"No supported config format found in {model}")
ValueError: No supported config format found in taide/Llama3-TAIDE-LX-8B-Chat-Alpha1-4bit
看起來很像需要 config ? 想請問這應該怎麼解決。
https://docs.vllm.ai/en/latest/serving/openai_compatible_server.html
- 下載 taide-8b-a.3-q4_k_m.gguf 到本地端
- vllm serve taide-8b-a.3-q4_k_m.gguf --load-format gguf
如果是 docker run 的方式，請參考官網對應的參數設定。
Regards.