Update app.py

app.py

@@ -8,22 +8,26 @@ from llama_cpp_agent.chat_history import BasicChatHistory
 from llama_cpp_agent.chat_history.messages import Roles
 import gradio as gr
 from huggingface_hub import hf_hub_download 
+
 repoId = "SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF"
 filename = "sakura-14b-qwen2beta-v0.9.2-q6k.gguf"
-# 下載Sakura-14B模型
+
+# 下載 Sakura-14B 模型
 hf_hub_download(
     repo_id=repoId,
     filename=filename,
     local_dir="./models"
 ) 
+
 llm = None
 llm_model = None 
+
 @spaces.GPU(duration=120)
 def respond(
     message,
     history: list[tuple[str, str]],
     model=filename,
-    system_message="你是一个轻小说翻译模型，可以流畅通顺地使用给定的术语表以日本轻小说的风格将日文翻译成简体中文，并联系上下文正确使用人称代词，注意不要混淆使役态和被动态的主语和宾语，不要擅自添加原文中没有的代词，也不要擅自增加或减少换行。",
+    system_message="你是一個專業的翻譯模型，能夠將日文翻譯成流暢的中文，並保持語境一致。",
     max_tokens=4096,
     temperature=0.1,
     top_p=0.3,
@@ -43,6 +47,7 @@ def respond(
             n_ctx=8192,
         )
         llm_model = model 
+
     provider = LlamaCppPythonProvider(llm) 
     agent = LlamaCppAgent(
         provider,
@@ -52,10 +57,9 @@ def respond(
     )
     
     settings = provider.get_provider_default_settings()
-    settings.temperature = 0.1
-    settings.top_k = 0.9
-    #settings.top_p = top_p
-    #settings.max_tokens = max_tokens
+    settings.temperature = temperature
+    settings.top_k = top_k
+    settings.top_p = top_p
     settings.repeat_penalty = repeat_penalty
     settings.stream = True 
     messages = BasicChatHistory() 
@@ -63,7 +67,7 @@ def respond(
     for msn in history:
         user = {
             'role': Roles.user,
-            'content': "根据以下术语表（可以为空）：\n"+"将下面的日文文本根据上述术语表的对应关系和备注翻译成中文，并且列印出使用哪些术语表："+msn[0]
+            'content': "請將以下日文文本翻譯成中文：\n" + msn[0]
         }
         assistant = {
             'role': Roles.assistant,
@@ -85,6 +89,7 @@ def respond(
         outputs += output
     print(outputs)
 
+    # 如果需要進行特定字串的移除或替換，可以在這裡調整
     # 檢查字串 '你是一个轻小说翻译模型' 是否在 outputs 中
     if '你是一个轻小说翻译模型' in outputs:
         a = outputs.index('你是一个轻小说翻译模型')
@@ -109,6 +114,7 @@ description = """<p align="center">Defaults to Sakura-14B-Qwen2beta</p>
 <a href="https://huggingface.co/SakuraLLM/Sakura-14B-Qwen2beta-v0.9.2-GGUF" target="_blank">[Sakura-14B-Qwen2beta Model]</a>
 </center></p>
 """ 
+
 demo = gr.ChatInterface(
     respond,
     retry_btn="Retry",
@@ -123,6 +129,6 @@ demo = gr.ChatInterface(
         show_copy_button=True
     )
 ) 
+
 if __name__ == "__main__":
     demo.launch()
-