support openllm

.env.example

@@ -5,6 +5,9 @@
 LLM_MODEL_TYPE=huggingface
 # LLM_MODEL_TYPE=mosaicml
 # LLM_MODEL_TYPE=stablelm
+# LLM_MODEL_TYPE=openllm
+
+OPENLLM_SERVER_URL=
 
 OPENAI_API_KEY=
 

Makefile

@@ -18,6 +18,12 @@ chat:
 tele:
 	python telegram_bot.py
 
+openllm:
+ifeq ("$(PORT)", "")
+	openllm start llama --model-id meta-llama/Llama-2-7b-chat-hf
+else
+	openllm start llama --model-id meta-llama/Llama-2-7b-chat-hf --port=${PORT}
+
 ingest:
 	python ingest.py