AugustLight commited on
Commit
f747916
1 Parent(s): 8cc000e

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +39 -43
app.py CHANGED
@@ -43,55 +43,51 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
43
  model = load_model()
44
  print("Модель загружена")
45
 
46
- with gr.Progress() as progress:
47
- progress(0, desc="Подготовка контекста...")
48
-
49
- # Отладочная печать входных параметров
50
- print(f"""
51
- Входные параметры:
52
- - message: {message}
53
- - history length: {len(history)}
54
- - system_message: {system_message}
55
- - max_new_tokens: {max_new_tokens}
56
- - temperature: {temperature}
57
- - top_p: {top_p}
58
- """)
59
-
60
- # Ограничиваем историю последними 3 сообщениями
61
- recent_history = history[-3:] if len(history) > 3 else history
62
-
63
- context = f"{system_message}\n\n"
64
- for user_msg, assistant_msg in recent_history:
65
- context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
66
- context += f"User: {message}\nAssistant: "
67
-
68
- print(f"Генерируем ответ для контекста длиной {len(context)} символов")
69
-
70
- try:
71
- progress(0.3, desc="Генерация ответа...")
72
- response = model(
73
- prompt=context,
74
- max_tokens=max_new_tokens,
75
- temperature=temperature,
76
- top_p=top_p,
77
- stop=["User:", "\n\n", "<|endoftext|>"],
78
- echo=False
79
- )
80
-
81
- progress(1, desc="Готово!")
82
- generated_text = response['choices'][0]['text']
83
- print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
84
- return generated_text.strip()
85
- except Exception as inner_e:
86
- print(f"Ошибка при генерации: {str(inner_e)}")
87
- print(f"Тип ошибки: {type(inner_e).__name__}")
88
- return f"Ошибка при генерации: {str(inner_e)}"
89
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
90
  except KeyboardInterrupt:
91
  return "Генерация прервана пользователем"
92
  except Exception as e:
93
  print(f"Основная ошибка: {str(e)}")
94
  print(f"Тип ошибки: {type(e).__name__}")
 
95
  return f"Произошла ошибка: {str(e)}\nТип ошибки: {type(e).__name__}"
96
 
97
  # Создаем интерфейс с оптимизированными параметрами
 
43
  model = load_model()
44
  print("Модель загружена")
45
 
46
+ # Отладочная печать входных параметров
47
+ print(f"""
48
+ Входные параметры:
49
+ - message: {message}
50
+ - history length: {len(history)}
51
+ - system_message: {system_message}
52
+ - max_new_tokens: {max_new_tokens}
53
+ - temperature: {temperature}
54
+ - top_p: {top_p}
55
+ """)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
56
 
57
+ # Ограничиваем историю последними 3 сообщениями
58
+ recent_history = history[-3:] if len(history) > 3 else history
59
+
60
+ context = f"{system_message}\n\n"
61
+ for user_msg, assistant_msg in recent_history:
62
+ context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
63
+ context += f"User: {message}\nAssistant: "
64
+
65
+ print(f"Генерируем ответ для контекста длиной {len(context)} символов")
66
+
67
+ try:
68
+ response = model(
69
+ prompt=context,
70
+ max_tokens=max_new_tokens,
71
+ temperature=temperature,
72
+ top_p=top_p,
73
+ stop=["User:", "\n\n", "<|endoftext|>"],
74
+ echo=False
75
+ )
76
+
77
+ generated_text = response['choices'][0]['text']
78
+ print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
79
+ return generated_text.strip()
80
+ except Exception as inner_e:
81
+ print(f"Ошибка при генерации: {str(inner_e)}")
82
+ print(f"Тип ошибки: {type(inner_e).__name__}")
83
+ return f"Ошибка при генерации: {str(inner_e)}"
84
+
85
  except KeyboardInterrupt:
86
  return "Генерация прервана пользователем"
87
  except Exception as e:
88
  print(f"Основная ошибка: {str(e)}")
89
  print(f"Тип ошибки: {type(e).__name__}")
90
+ traceback.print_exc() # Добавим полный стек ошибки
91
  return f"Произошла ошибка: {str(e)}\nТип ошибки: {type(e).__name__}"
92
 
93
  # Создаем интерфейс с оптимизированными параметрами