app.py

import gradio as gr
from transformers import AutoModelForCausalLM

# Cargar el modelo desde Hugging Face
model_name = "TheBloke/mistral-ft-optimized-1227-GGUF"
model = AutoModelForCausalLM.from_pretrained(model_name)

# Función para generar respuestas del chatbot
def chat_with_model(input_text):
    # Convertir el texto de entrada en una lista de tokens usando la codificación utf-8 (básica, sin tokenizador)
    inputs = input_text.encode('utf-8')
    
    # Generar respuesta (puede que necesites ajustes dependiendo del modelo, ya que el manejo sin tokenizador es limitado)
    outputs = model.generate(inputs, max_length=100, num_return_sequences=1)
    
    # Convertir la salida de nuevo a texto (asumiendo que el modelo devuelve un objeto de cadena binaria)
    response = outputs[0].decode('utf-8', errors='ignore')
    return response

# Crear la interfaz con Gradio
interface = gr.Interface(fn=chat_with_model, 
                         inputs="text", 
                         outputs="text", 
                         title="Chatbot con Mistral FT Optimized",
                         description="Un chatbot básico utilizando el modelo Mistral FT Optimized 1227 en Hugging Face.",
                         examples=["Hola, ¿cómo estás?", "Cuéntame un chiste."])

# Lanzar la aplicación
interface.launch()