fix(app): Eliminamos pipeline porque no lo soporta el hardware de HF.

README.md

@@ -12,4 +12,7 @@ short_description: Respondo cualquier consulta sobre el mundo mágico!
 ---
 
 ## Hola, soy Harry Potter
-Pregúntame lo que quieras sobre magia !
+Pregúntame lo que quieras sobre magia !
+
+## Referencias
+* https://github.com/langchain-ai/langchain/issues/4900#issuecomment-1557176230

app.py

@@ -1,5 +1,4 @@
 import gradio as gr
-from transformers import AutoTokenizer, AutoModelForCausalLM
 from langchain_huggingface import HuggingFaceEndpoint, HuggingFacePipeline
 from langchain_core.prompts import PromptTemplate
 from langchain.globals import set_verbose, set_debug
@@ -9,12 +8,15 @@ def isDevelopmentEnv():
     return "DEVELOPMENT" in os.environ
 
 
+
 def initPrompt():
-    template = """[INST]Tu eres Harry Potter, el mago más hábil de todo el mundo mágico.
-    Responde amablemente a la consulta del usuario basado en la información disponible.
-    Si no sabes la respuesta, pide al usuario que intente reformular su consulta.
+    template = """[INST]Tu eres Harry Potter, el estudiante de magia más hábil de todo el mundo mágico.
+    Responde amablemente a la consulta del usuario basado en la información disponible y a las siguientes reglas:
+    1. Si no sabes la respuesta, pide al usuario que intente reformular su consulta.
+    2. Responde siempre en idioma Español.
+    3. Da respuestas únicamente relacionadas al mundo mágico.
 
-    {question}
+    Consulta: {question}
     [/INST]
     """
 
@@ -24,60 +26,47 @@ def initPrompt():
 
 
 def initLLM():
+    """
+    Inicializamos el modelo LLM.
+
+    Otros modelos que podríamos usar:
+        - meta-llama/Meta-Llama-3.1-8B-Instruct
+        - HuggingFaceH4/zephyr-7b-beta
+    """
+
     model_id = "mistralai/Mixtral-8x7B-Instruct-v0.1"
-    #model_id = "meta-llama/Meta-Llama-3.1-8B-Instruct"
-    #model_id = "HuggingFaceH4/zephyr-7b-beta"
 
-    if isDevelopmentEnv():
-        llm = HuggingFaceEndpoint(
-            model_id = model_id,
-            task = "text-generation",
-            temperature = 0.5,
-            model_kwargs = {
-                "min_length": 200,
-                "max_length": 2000,
-                "num_return_sequences": 1
-            }
-        )
-        
-    else:
-        tokenizer = AutoTokenizer.from_pretrained( model_id )
-
-        model = AutoModelForCausalLM.from_pretrained(
-            model_id,  
-            device_map = "auto", 
-            load_in_8bit = True
-        )
-
-        llm_pipeline =  pipeline(
-            task = "text-generation",
-            model = model,
-            temperature = 0.5,
-            max_length = 256,
-            tokenizer = tokenizer
-        )
-
-        llm = HuggingFacePipeline( pipeline=bloom_pipeline )
+    llm = HuggingFaceEndpoint(
+        repo_id = model_id,
+        task = "text-generation",
+        temperature = 0.5,
+        model_kwargs = {
+            "min_length": 200,
+            "max_length": 2000,
+            "num_return_sequences": 1
+        }
+    )
 
     return llm
 
 
+
 def respond(message, history):
-#    history_langchain_format = []
-#
-#    for human, ai in history:
-#        history_langchain_format.append(HumanMessage(content=human))
-#        history_langchain_format.append(AIMessage(content=ai))
-#
-#    history_langchain_format.append(HumanMessage(content=message))
-
-    response = llm_chain.invoke(message)
-    return response
+    response = ""
+
+    try:
+        response = llm_chain.invoke(message)
+    except:
+        raise gradio.Error("Se ha producido un error al interactuar con el modelo LLM.", duratio=5)
 
+    return response
 
 
 
 if __name__ == "__main__":
+    """
+    Entrypoint de la app.
+    """
 
     if isDevelopmentEnv():
         set_verbose(True)
@@ -93,7 +82,9 @@ if __name__ == "__main__":
     )
 
     demo = gr.ChatInterface(
-        respond
+        fn = respond,
+        title = "Hola 👋! Soy Harry Potter ⚡",
+        description = "Intentaré responder cualquier consulta relacionada a Hogwarts, animales fantásticos y al mundo mágico en general. Adelante!"
     )
 
     demo.launch()

requirements.txt

@@ -2,4 +2,3 @@ huggingface_hub
 langchain-huggingface
 langchain
 langchain-core
-accelerate