Spaces:
Sleeping
Sleeping
AugustLight
commited on
Commit
•
f747916
1
Parent(s):
8cc000e
Update app.py
Browse files
app.py
CHANGED
@@ -43,55 +43,51 @@ def respond(message, history, system_message, max_new_tokens, temperature, top_p
|
|
43 |
model = load_model()
|
44 |
print("Модель загружена")
|
45 |
|
46 |
-
|
47 |
-
|
48 |
-
|
49 |
-
|
50 |
-
|
51 |
-
|
52 |
-
|
53 |
-
|
54 |
-
|
55 |
-
|
56 |
-
- temperature: {temperature}
|
57 |
-
- top_p: {top_p}
|
58 |
-
""")
|
59 |
-
|
60 |
-
# Ограничиваем историю последними 3 сообщениями
|
61 |
-
recent_history = history[-3:] if len(history) > 3 else history
|
62 |
-
|
63 |
-
context = f"{system_message}\n\n"
|
64 |
-
for user_msg, assistant_msg in recent_history:
|
65 |
-
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
66 |
-
context += f"User: {message}\nAssistant: "
|
67 |
-
|
68 |
-
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
69 |
-
|
70 |
-
try:
|
71 |
-
progress(0.3, desc="Генерация ответа...")
|
72 |
-
response = model(
|
73 |
-
prompt=context,
|
74 |
-
max_tokens=max_new_tokens,
|
75 |
-
temperature=temperature,
|
76 |
-
top_p=top_p,
|
77 |
-
stop=["User:", "\n\n", "<|endoftext|>"],
|
78 |
-
echo=False
|
79 |
-
)
|
80 |
-
|
81 |
-
progress(1, desc="Готово!")
|
82 |
-
generated_text = response['choices'][0]['text']
|
83 |
-
print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
|
84 |
-
return generated_text.strip()
|
85 |
-
except Exception as inner_e:
|
86 |
-
print(f"Ошибка при генерации: {str(inner_e)}")
|
87 |
-
print(f"Тип ошибки: {type(inner_e).__name__}")
|
88 |
-
return f"Ошибка при генерации: {str(inner_e)}"
|
89 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
90 |
except KeyboardInterrupt:
|
91 |
return "Генерация прервана пользователем"
|
92 |
except Exception as e:
|
93 |
print(f"Основная ошибка: {str(e)}")
|
94 |
print(f"Тип ошибки: {type(e).__name__}")
|
|
|
95 |
return f"Произошла ошибка: {str(e)}\nТип ошибки: {type(e).__name__}"
|
96 |
|
97 |
# Создаем интерфейс с оптимизированными параметрами
|
|
|
43 |
model = load_model()
|
44 |
print("Модель загружена")
|
45 |
|
46 |
+
# Отладочная печать входных параметров
|
47 |
+
print(f"""
|
48 |
+
Входные параметры:
|
49 |
+
- message: {message}
|
50 |
+
- history length: {len(history)}
|
51 |
+
- system_message: {system_message}
|
52 |
+
- max_new_tokens: {max_new_tokens}
|
53 |
+
- temperature: {temperature}
|
54 |
+
- top_p: {top_p}
|
55 |
+
""")
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
56 |
|
57 |
+
# Ограничиваем историю последними 3 сообщениями
|
58 |
+
recent_history = history[-3:] if len(history) > 3 else history
|
59 |
+
|
60 |
+
context = f"{system_message}\n\n"
|
61 |
+
for user_msg, assistant_msg in recent_history:
|
62 |
+
context += f"User: {user_msg}\nAssistant: {assistant_msg}\n"
|
63 |
+
context += f"User: {message}\nAssistant: "
|
64 |
+
|
65 |
+
print(f"Генерируем ответ для контекста длиной {len(context)} символов")
|
66 |
+
|
67 |
+
try:
|
68 |
+
response = model(
|
69 |
+
prompt=context,
|
70 |
+
max_tokens=max_new_tokens,
|
71 |
+
temperature=temperature,
|
72 |
+
top_p=top_p,
|
73 |
+
stop=["User:", "\n\n", "<|endoftext|>"],
|
74 |
+
echo=False
|
75 |
+
)
|
76 |
+
|
77 |
+
generated_text = response['choices'][0]['text']
|
78 |
+
print(f"Ответ сгенерирован успешно, длина: {len(generated_text)}")
|
79 |
+
return generated_text.strip()
|
80 |
+
except Exception as inner_e:
|
81 |
+
print(f"Ошибка при генерации: {str(inner_e)}")
|
82 |
+
print(f"Тип ошибки: {type(inner_e).__name__}")
|
83 |
+
return f"Ошибка при генерации: {str(inner_e)}"
|
84 |
+
|
85 |
except KeyboardInterrupt:
|
86 |
return "Генерация прервана пользователем"
|
87 |
except Exception as e:
|
88 |
print(f"Основная ошибка: {str(e)}")
|
89 |
print(f"Тип ошибки: {type(e).__name__}")
|
90 |
+
traceback.print_exc() # Добавим полный стек ошибки
|
91 |
return f"Произошла ошибка: {str(e)}\nТип ошибки: {type(e).__name__}"
|
92 |
|
93 |
# Создаем интерфейс с оптимизированными параметрами
|