用什么部署，可以像智普API那样传工具，VLLM和Llama.cpp，ollama的，有没有现成的Modelfile？
#85
by
AubreyChen
- opened
用什么部署，可以像智普API那样传工具，进行调用，或者有没有ollama的Modelfile，目前主流的部署ollama和vllm,llama.cpp，fast..有啥可以支持glm调用工具
vLLM 在我们的github repos 有提供代码，部署成 OpenAI API，但是没有做成docker