Update app.py
Browse filessin tokenizador
app.py
CHANGED
@@ -1,16 +1,20 @@
|
|
1 |
import gradio as gr
|
2 |
-
from transformers import AutoModelForCausalLM
|
3 |
|
4 |
-
# Cargar el modelo
|
5 |
model_name = "TheBloke/mistral-ft-optimized-1227-GGUF"
|
6 |
-
tokenizer = AutoTokenizer.from_pretrained(model_name)
|
7 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
8 |
|
9 |
# Función para generar respuestas del chatbot
|
10 |
def chat_with_model(input_text):
|
11 |
-
|
12 |
-
|
13 |
-
|
|
|
|
|
|
|
|
|
|
|
14 |
return response
|
15 |
|
16 |
# Crear la interfaz con Gradio
|
|
|
1 |
import gradio as gr
|
2 |
+
from transformers import AutoModelForCausalLM
|
3 |
|
4 |
+
# Cargar el modelo desde Hugging Face
|
5 |
model_name = "TheBloke/mistral-ft-optimized-1227-GGUF"
|
|
|
6 |
model = AutoModelForCausalLM.from_pretrained(model_name)
|
7 |
|
8 |
# Función para generar respuestas del chatbot
|
9 |
def chat_with_model(input_text):
|
10 |
+
# Convertir el texto de entrada en una lista de tokens usando la codificación utf-8 (básica, sin tokenizador)
|
11 |
+
inputs = input_text.encode('utf-8')
|
12 |
+
|
13 |
+
# Generar respuesta (puede que necesites ajustes dependiendo del modelo, ya que el manejo sin tokenizador es limitado)
|
14 |
+
outputs = model.generate(inputs, max_length=100, num_return_sequences=1)
|
15 |
+
|
16 |
+
# Convertir la salida de nuevo a texto (asumiendo que el modelo devuelve un objeto de cadena binaria)
|
17 |
+
response = outputs[0].decode('utf-8', errors='ignore')
|
18 |
return response
|
19 |
|
20 |
# Crear la interfaz con Gradio
|