Update app.py

app.py

@@ -21,10 +21,7 @@ nltk.download('stopwords')
 
 app = FastAPI()
 
-if torch.cuda.is_available():
-    device = torch.device("cuda")
-else:
-    device = torch.device("cpu")
+device = torch.device("cpu")
 
 modelos = {
     "gpt2-medium": VLLM(model="gpt2-medium", device=device),
@@ -38,8 +35,8 @@ caches = {
 }
 
 cadenas = {
-    nombre: LLMChain(modelo, cache) 
-    for nombre, modelo, cache in zip(modelos.keys(), modelos.values(), caches.values())
+    nombre: LLMChain(modelo, caché) 
+    for nombre, modelo, caché in zip(modelos.keys(), modelos.values(), caches.values())
 }
 
 summarizer = pipeline("summarization", device=device)
@@ -52,6 +49,7 @@ def keep_alive():
                 cadena.ask("¿Cuál es el sentido de la vida?")
             except Exception as e:
                 logging.error(f"Error en modelo {cadena}: {e}")
+                cadenas.pop(cadena)
         time.sleep(300)
 
 def liberar_recursos():
@@ -65,7 +63,6 @@ def liberar_recursos():
                     os.kill(proc.info['pid'], 9)
         time.sleep(60)
 
-# Iniciar hilos en segundo plano
 threading.Thread(target=keep_alive, daemon=True).start()
 threading.Thread(target=liberar_recursos, daemon=True).start()