markIA23 commited on
Commit
8ff57ac
1 Parent(s): 23ef9dc

Update app.py

Browse files

sin tokenizador

Files changed (1) hide show
  1. app.py +10 -6
app.py CHANGED
@@ -1,16 +1,20 @@
1
  import gradio as gr
2
- from transformers import AutoModelForCausalLM, AutoTokenizer
3
 
4
- # Cargar el modelo y el tokenizador desde Hugging Face
5
  model_name = "TheBloke/mistral-ft-optimized-1227-GGUF"
6
- tokenizer = AutoTokenizer.from_pretrained(model_name)
7
  model = AutoModelForCausalLM.from_pretrained(model_name)
8
 
9
  # Función para generar respuestas del chatbot
10
  def chat_with_model(input_text):
11
- inputs = tokenizer(input_text, return_tensors="pt")
12
- outputs = model.generate(inputs["input_ids"], max_length=100, num_return_sequences=1, pad_token_id=tokenizer.eos_token_id)
13
- response = tokenizer.decode(outputs[0], skip_special_tokens=True)
 
 
 
 
 
14
  return response
15
 
16
  # Crear la interfaz con Gradio
 
1
  import gradio as gr
2
+ from transformers import AutoModelForCausalLM
3
 
4
+ # Cargar el modelo desde Hugging Face
5
  model_name = "TheBloke/mistral-ft-optimized-1227-GGUF"
 
6
  model = AutoModelForCausalLM.from_pretrained(model_name)
7
 
8
  # Función para generar respuestas del chatbot
9
  def chat_with_model(input_text):
10
+ # Convertir el texto de entrada en una lista de tokens usando la codificación utf-8 (básica, sin tokenizador)
11
+ inputs = input_text.encode('utf-8')
12
+
13
+ # Generar respuesta (puede que necesites ajustes dependiendo del modelo, ya que el manejo sin tokenizador es limitado)
14
+ outputs = model.generate(inputs, max_length=100, num_return_sequences=1)
15
+
16
+ # Convertir la salida de nuevo a texto (asumiendo que el modelo devuelve un objeto de cadena binaria)
17
+ response = outputs[0].decode('utf-8', errors='ignore')
18
  return response
19
 
20
  # Crear la interfaz con Gradio