AugustLight commited on
Commit
8cc000e
·
verified ·
1 Parent(s): 5bfabc8

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +42 -19
app.py CHANGED
@@ -39,11 +39,24 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
39
  try:
40
  global model
41
  if model is None:
 
42
  model = load_model()
 
43
 
44
  with gr.Progress() as progress:
45
  progress(0, desc="Подготовка контекста...")
46
 
 
 
 
 
 
 
 
 
 
 
 
47
  # Ограничиваем историю последними 3 сообщениями
48
  recent_history = history[-3:] if len(history) > 3 else history
49
 
@@ -54,25 +67,32 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
54
 
55
  print(f"Генерируем ответ для контекста длиной {len(context)} символов")
56
 
57
- progress(0.3, desc="Генерация ответа...")
58
- response = model(
59
- prompt=context,
60
- max_tokens=max_new_tokens,
61
- temperature=temperature,
62
- top_p=top_p,
63
- stop=["User:", "\n\n", "<|endoftext|>"],
64
- echo=False
65
- )
66
-
67
- progress(1, desc="Готово!")
68
- generated_text = response['choices'][0]['text']
69
- print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
70
- return generated_text.strip()
 
 
 
 
 
71
 
 
 
72
  except Exception as e:
73
- error_msg = f"Произошла ошибка: {str(e)}"
74
- print(error_msg)
75
- return error_msg
76
 
77
  # Создаем интерфейс с оптимизированными параметрами
78
  demo = gr.ChatInterface(
@@ -126,7 +146,7 @@ demo = gr.ChatInterface(
126
  0.95
127
  ]
128
  ],
129
- cache_examples=False
130
  )
131
 
132
  # Запускаем приложение
@@ -138,4 +158,7 @@ if __name__ == "__main__":
138
  except Exception as e:
139
  print(f"Ошибка при инициализации: {str(e)}")
140
 
141
- demo.launch()
 
 
 
 
39
  try:
40
  global model
41
  if model is None:
42
+ print("Загружаем модель...")
43
  model = load_model()
44
+ print("Модель загружена")
45
 
46
  with gr.Progress() as progress:
47
  progress(0, desc="Подготовка контекста...")
48
 
49
+ # Отладочная печать входных параметров
50
+ print(f"""
51
+ Входные параметры:
52
+ - message: {message}
53
+ - history length: {len(history)}
54
+ - system_message: {system_message}
55
+ - max_new_tokens: {max_new_tokens}
56
+ - temperature: {temperature}
57
+ - top_p: {top_p}
58
+ """)
59
+
60
  # Ограничиваем историю последними 3 сообщениями
61
  recent_history = history[-3:] if len(history) > 3 else history
62
 
 
67
 
68
  print(f"Генерируем ответ для контекста длиной {len(context)} символов")
69
 
70
+ try:
71
+ progress(0.3, desc="Генерация ответа...")
72
+ response = model(
73
+ prompt=context,
74
+ max_tokens=max_new_tokens,
75
+ temperature=temperature,
76
+ top_p=top_p,
77
+ stop=["User:", "\n\n", "<|endoftext|>"],
78
+ echo=False
79
+ )
80
+
81
+ progress(1, desc="Готово!")
82
+ generated_text = response['choices'][0]['text']
83
+ print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
84
+ return generated_text.strip()
85
+ except Exception as inner_e:
86
+ print(f"Ошибка при генерации: {str(inner_e)}")
87
+ print(f"Тип ошибки: {type(inner_e).__name__}")
88
+ return f"Ошибка при генерации: {str(inner_e)}"
89
 
90
+ except KeyboardInterrupt:
91
+ return "Генерация прервана пользователем"
92
  except Exception as e:
93
+ print(f"Основная ошибка: {str(e)}")
94
+ print(f"Тип ошибки: {type(e).__name__}")
95
+ return f"Произошла ошибка: {str(e)}\nТип ошибки: {type(e).__name__}"
96
 
97
  # Создаем интерфейс с оптимизированными параметрами
98
  demo = gr.ChatInterface(
 
146
  0.95
147
  ]
148
  ],
149
+ cache_examples=True
150
  )
151
 
152
  # Запускаем приложение
 
158
  except Exception as e:
159
  print(f"Ошибка при инициализации: {str(e)}")
160
 
161
+ demo.launch(
162
+ show_error=True, # Показывать подробности ошибок
163
+ debug=True # Включить отладочный режим
164
+ )