import gradio as gr from transformers import AutoModelForCausalLM # Cargar el modelo desde Hugging Face model_name = "TheBloke/mistral-ft-optimized-1227-GGUF" model = AutoModelForCausalLM.from_pretrained(model_name) # Función para generar respuestas del chatbot def chat_with_model(input_text): # Convertir el texto de entrada en una lista de tokens usando la codificación utf-8 (básica, sin tokenizador) inputs = input_text.encode('utf-8') # Generar respuesta (puede que necesites ajustes dependiendo del modelo, ya que el manejo sin tokenizador es limitado) outputs = model.generate(inputs, max_length=100, num_return_sequences=1) # Convertir la salida de nuevo a texto (asumiendo que el modelo devuelve un objeto de cadena binaria) response = outputs[0].decode('utf-8', errors='ignore') return response # Crear la interfaz con Gradio interface = gr.Interface(fn=chat_with_model, inputs="text", outputs="text", title="Chatbot con Mistral FT Optimized", description="Un chatbot básico utilizando el modelo Mistral FT Optimized 1227 en Hugging Face.", examples=["Hola, ¿cómo estás?", "Cuéntame un chiste."]) # Lanzar la aplicación interface.launch()