Update app.py

app.py

@@ -6,6 +6,7 @@ import json
 import re
 from transformers import GPT2Tokenizer
 import requests
+import time
 
 
 # define the text summarizer function
@@ -16,6 +17,8 @@ def text_prompt(page_url, contraseña, temp):
 2. Actividades sospechosas o inusuales descritas en el texto"""
     
     system_role = "Actua como analista de riesgos especializado en cumplimiento normativo y CSC. Tendrás una sólida formación en finanzas, derecho o gestión, y estaría familiarizado con la normativa local e internacional relacionada con la prevención del blanqueo de capitales y la financiación del terrorismo. Poseerás avanzadas capacidades analíticas y de investigación, lo que te permitirá evaluar eficazmente la información facilitada en las noticias y determinar el nivel de riesgo asociado a las partes implicadas. También tendrás excelentes dotes de comunicación escrita y verbal para presentar de forma clara y concisa las conclusiones en un informe accesible a los ejecutivos y otras partes interesadas de la organización. Además, estarás al día de las tendencias y novedades en el ámbito del cumplimiento de la normativa y la gestión de riesgos."
+
+    start_time = time.time()
     
     try:
         headers = {'User-Agent': 'Chrome/83.0.4103.106'}
@@ -29,6 +32,10 @@ def text_prompt(page_url, contraseña, temp):
     except Exception as e:
         return "", f"--- An error occurred while processing the URL: {e} ---", ""
     
+    url_processing_time = time.time() - start_time
+    print(f"URL processing time: {url_processing_time:.4f} seconds")
+    
+    start_time = time.time()
     tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
     sentences = page.text.split('.')
     
@@ -45,12 +52,15 @@ def text_prompt(page_url, contraseña, temp):
         
     # Delete the last space
     page_text = page_text.strip()
-
     num_tokens = len(tokens)
 
+    tokenization_time = time.time() - start_time
+    print(f"Tokenization time: {tokenization_time:.4f} seconds")
+
     if num_tokens > 10 and contraseña.startswith("sk-"):
         openai.api_key = contraseña
         # get the response from openai API
+        start_time = time.time()
         try:
             response = openai.ChatCompletion.create(
                 model="gpt-3.5-turbo",
@@ -71,6 +81,8 @@ def text_prompt(page_url, contraseña, temp):
             response_text = f"#### [{page.title}]({page_url})\n\n{response_text.strip()}"
             total_tokens_str = str(total_tokens) + " (${:.2f} USD)".format(total_tokens/1000*0.002)
 
+            api_processing_time = time.time() - start_time
+            print(f"API processing time: {api_processing_time:.4f} seconds")
 
             return page.text, response_text, total_tokens_str
         except Exception as e: