feat: updated app.py

app.py

@@ -7,6 +7,8 @@ import lightgbm as lgb
 from sklearn.feature_extraction.text import TfidfVectorizer
 from sklearn.metrics.pairwise import cosine_similarity
 from sklearn.metrics import mean_absolute_error, mean_squared_error
+from joblib import dump, load
+
 
 # Page configuration
 st.set_page_config(page_title="Customer Insights App", page_icon=":bar_chart:")
@@ -340,149 +342,219 @@ elif page == "Customer Analysis":
             st.warning("Please select a customer.")
 
 
-# Customer Recommendations Page
-elif page == "Articles Recommendations":
-    st.title("Articles Recommendations")
+def recomienda_tfid(new_basket):
+
+    cestas = pd.read_csv('../data/processed/cestas.csv') 
+    productos = pd.read_csv('../data/processed/productos.csv')
+
+    # Cargar la matriz TF-IDF y el modelo
+    tfidf_matrix = load('../models/tfidf_matrix.joblib') 
+    # MAtriz que tienen cada columna los diferentes artículos y las diferentes cestas en las filas
+    # Los valores son la importancia de cada artículo en la cesta según las veces que aparece en la misma y el total de artículos
+    tfidf = load('../models/tfidf_model.joblib')
+
+    # Convertir la nueva cesta en formato TF-IDF
+    new_basket_str = ' '.join(new_basket)
+    new_basket_tfidf = tfidf.transform([new_basket_str])
+
+    # Comparar la nueva cesta con las anteriores
+    # Calculando la distancia coseoidal, distancia entre rectas
+    similarities = cosine_similarity(new_basket_tfidf, tfidf_matrix)
+    # La similitud coseno devuelve un valor entre 0 y 1, donde 1 significa 
+    # que las cestas son idénticas en términos de productos y 0 que no comparten ningún producto.
+
+    # Obtener los índices de las cestas más similares
+    # Muestra los índices de Las 3 cestas más parecidas atendiendo a la distancia calculada anteriormente
+    similar_indices = similarities.argsort()[0][-4:]  # Las 3 más similares
+
+    # Crear un diccionario para contar las recomendaciones
+    recommendations_count = {}
+    total_similarity = 0
+
+    # Recomendar productos de cestas similares
+    for idx in similar_indices:
+        sim_score = similarities[0][idx]
+        # sim_score es el valor de similitud de la cesta actual con la cesta similar.
+        total_similarity += sim_score # Suma de las similitudes entre 0 y el nº de cestas similares
+        products = cestas.iloc[idx]['Cestas'].split()
+        
+        for product in products:
+            if product.strip() not in new_basket:  # Evitar recomendar lo que ya está en la cesta
+                recommendations_count[product.strip()] = recommendations_count.get(product.strip(), 0) + sim_score
+                #  se utiliza para incrementar el conteo del producto en recommendations_count.
+                # almacena el conteo de la relevancia de cada producto basado en cuántas veces aparece en las cestas similares, ponderado por la similitud de cada cesta.
+                # sumandole sim_score se incrementa el score cuando la cesta es mas similar
+
+    # Calcular la probabilidad relativa de cada producto recomendado
+    recommendations_with_prob = []
+    if total_similarity > 0:  # Verificar que total_similarity no sea cero
+        recommendations_with_prob = [(product, score / total_similarity) for product, score in recommendations_count.items()]
+        # Se guarda cada producto junto su score calculada
+    else:
+        print("No se encontraron similitudes suficientes para calcular probabilidades.")
+     
+    recommendations_with_prob.sort(key=lambda x: x[1], reverse=True)  # Ordenar por puntuación
 
-    st.markdown("""
-        Get tailored recommendations for your customers based on their basket.
-    """)
+    # Crear un nuevo DataFrame para almacenar las recomendaciones
+    recommendations_data = []
+    
+    for product, score in recommendations_with_prob:
+        # Buscar la descripción en el DataFrame de productos
+        description = productos.loc[productos['ARTICULO'] == product, 'DESCRIPCION']
+        if not description.empty:
+            recommendations_data.append({
+                'ARTICULO': product,
+                'DESCRIPCION': description.values[0],  # Obtener el primer valor encontrado
+                'RELEVANCIA': score
+            })
+
+    recommendations_df = pd.DataFrame(recommendations_data)
+    
+    return recommendations_df
 
-    # Campo input para cliente
-    partial_code = st.text_input("Enter part of Customer Code for Recommendations (or leave empty to see all)")
-    if partial_code:
-        filtered_customers = df[df['CLIENTE'].str.contains(partial_code)]
-    else:
-        filtered_customers = df
-    customer_list = filtered_customers['CLIENTE'].unique()
-    customer_code = st.selectbox("Select Customer Code for Recommendations", [""] + list(customer_list))
-
-    # Definición de la función recomienda
-    def recomienda(new_basket):
-        # Calcular la matriz TF-IDF
-        tfidf = TfidfVectorizer()
-        tfidf_matrix = tfidf.fit_transform(cestas['Cestas'])
-
-        # Convertir la nueva cesta en formato TF-IDF
-        new_basket_str = ' '.join(new_basket)
-        new_basket_tfidf = tfidf.transform([new_basket_str])
-
-        # Comparar la nueva cesta con las anteriores
-        similarities = cosine_similarity(new_basket_tfidf, tfidf_matrix)
-
-        # Obtener los índices de las cestas más similares
-        similar_indices = similarities.argsort()[0][-3:]  # Las 3 más similares
-
-        # Crear un diccionario para contar las recomendaciones
-        recommendations_count = {}
-        total_similarity = 0
-
-        # Recomendar productos de cestas similares
-        for idx in similar_indices:
-            sim_score = similarities[0][idx]
-            total_similarity += sim_score
-            products = cestas.iloc[idx]['Cestas'].split()
-
-            for product in products:
-                if product.strip() not in new_basket:  # Evitar recomendar lo que ya está en la cesta
-                    if product.strip() in recommendations_count:
-                        recommendations_count[product.strip()] += sim_score
-                    else:
-                        recommendations_count[product.strip()] = sim_score
+# # Customer Recommendations Page
+# elif page == "Articles Recommendations":
+#     st.title("Articles Recommendations")
 
-        # Calcular la probabilidad relativa de cada producto recomendado
-        recommendations_with_prob = []
-        if total_similarity > 0:  # Verificar que total_similarity no sea cero
-            recommendations_with_prob = [(product, score / total_similarity) for product, score in recommendations_count.items()]
-        else:
-            print("No se encontraron similitudes suficientes para calcular probabilidades.")
-
-        recommendations_with_prob.sort(key=lambda x: x[1], reverse=True)  # Ordenar por puntuación
-
-        # Crear un nuevo DataFrame para almacenar las recomendaciones con descripciones y probabilidades
-        recommendations_df = pd.DataFrame(columns=['ARTICULO', 'DESCRIPCION', 'PROBABILIDAD'])
-
-        # Agregar las recomendaciones al DataFrame usando pd.concat
-        for product, prob in recommendations_with_prob:
-            # Buscar la descripción en el DataFrame de productos
-            description = productos.loc[productos['ARTICULO'] == product, 'DESCRIPCION']
-            if not description.empty:
-                # Crear un nuevo DataFrame temporal para la recomendación
-                temp_df = pd.DataFrame({
-                    'ARTICULO': [product],
-                    'DESCRIPCION': [description.values[0]],  # Obtener el primer valor encontrado
-                    'PROBABILIDAD': [prob]
-                })
-                # Concatenar el DataFrame temporal al DataFrame de recomendaciones
-                recommendations_df = pd.concat([recommendations_df, temp_df], ignore_index=True)
-
-        return recommendations_df
-
-    # Comprobar si el cliente está en el CSV de fieles
-    is_fiel = customer_code in fieles_df['Cliente'].astype(str).values
-
-    if customer_code:
-        if is_fiel:
-            st.write(f"### Customer {customer_code} is a loyal customer.")
-            option = st.selectbox("Select Recommendation Type", ["Select an option", "By Purchase History", "By Current Basket"])
-
-            if option == "By Purchase History":
-                st.warning("Option not available... aún")
-            elif option == "By Current Basket":
-                st.write("Select the items and assign quantities for the basket:")
-
-                # Mostrar lista de artículos disponibles
-                available_articles = productos['ARTICULO'].unique()
-                selected_articles = st.multiselect("Select Articles", available_articles)
-
-                # Crear inputs para ingresar las cantidades de cada artículo seleccionado
-                quantities = {}
-                for article in selected_articles:
-                    quantities[article] = st.number_input(f"Quantity for {article}", min_value=0, step=1)
-
-                if st.button("Calcular"):  # Añadimos el botón "Calcular"
-                    # Crear una lista de artículos basada en la selección
-                    new_basket = [f"{article} x{quantities[article]}" for article in selected_articles if quantities[article] > 0]
-
-                    if new_basket:
-                        # Procesar la lista para recomendar
-                        recommendations_df = recomienda(new_basket)
-
-                        if not recommendations_df.empty:
-                            st.write("### Recommendations based on the current basket:")
-                            st.dataframe(recommendations_df)
-                        else:
-                            st.warning("No recommendations found for the provided basket.")
-                    else:
-                        st.warning("Please select at least one article and set its quantity.")
-        else:
-            st.write(f"### Customer {customer_code} is not a loyal customer.")
-            st.write("Select items and assign quantities for the basket:")
+#     st.markdown("""
+#         Get tailored recommendations for your customers based on their basket.
+#     """)
+
+#     # Campo input para cliente
+#     partial_code = st.text_input("Enter part of Customer Code for Recommendations (or leave empty to see all)")
+#     if partial_code:
+#         filtered_customers = df[df['CLIENTE'].str.contains(partial_code)]
+#     else:
+#         filtered_customers = df
+#     customer_list = filtered_customers['CLIENTE'].unique()
+#     customer_code = st.selectbox("Select Customer Code for Recommendations", [""] + list(customer_list))
+
+#     # Definición de la función recomienda
+#     def recomienda(new_basket):
+#         # Calcular la matriz TF-IDF
+#         tfidf = TfidfVectorizer()
+#         tfidf_matrix = tfidf.fit_transform(cestas['Cestas'])
+
+#         # Convertir la nueva cesta en formato TF-IDF
+#         new_basket_str = ' '.join(new_basket)
+#         new_basket_tfidf = tfidf.transform([new_basket_str])
+
+#         # Comparar la nueva cesta con las anteriores
+#         similarities = cosine_similarity(new_basket_tfidf, tfidf_matrix)
+
+#         # Obtener los índices de las cestas más similares
+#         similar_indices = similarities.argsort()[0][-3:]  # Las 3 más similares
+
+#         # Crear un diccionario para contar las recomendaciones
+#         recommendations_count = {}
+#         total_similarity = 0
+
+#         # Recomendar productos de cestas similares
+#         for idx in similar_indices:
+#             sim_score = similarities[0][idx]
+#             total_similarity += sim_score
+#             products = cestas.iloc[idx]['Cestas'].split()
+
+#             for product in products:
+#                 if product.strip() not in new_basket:  # Evitar recomendar lo que ya está en la cesta
+#                     if product.strip() in recommendations_count:
+#                         recommendations_count[product.strip()] += sim_score
+#                     else:
+#                         recommendations_count[product.strip()] = sim_score
 
-            # Mostrar lista de artículos disponibles
-            available_articles = productos['ARTICULO'].unique()
-            selected_articles = st.multiselect("Select Articles", available_articles)
+#         # Calcular la probabilidad relativa de cada producto recomendado
+#         recommendations_with_prob = []
+#         if total_similarity > 0:  # Verificar que total_similarity no sea cero
+#             recommendations_with_prob = [(product, score / total_similarity) for product, score in recommendations_count.items()]
+#         else:
+#             print("No se encontraron similitudes suficientes para calcular probabilidades.")
+
+#         recommendations_with_prob.sort(key=lambda x: x[1], reverse=True)  # Ordenar por puntuación
+
+#         # Crear un nuevo DataFrame para almacenar las recomendaciones con descripciones y probabilidades
+#         recommendations_df = pd.DataFrame(columns=['ARTICULO', 'DESCRIPCION', 'PROBABILIDAD'])
+
+#         # Agregar las recomendaciones al DataFrame usando pd.concat
+#         for product, prob in recommendations_with_prob:
+#             # Buscar la descripción en el DataFrame de productos
+#             description = productos.loc[productos['ARTICULO'] == product, 'DESCRIPCION']
+#             if not description.empty:
+#                 # Crear un nuevo DataFrame temporal para la recomendación
+#                 temp_df = pd.DataFrame({
+#                     'ARTICULO': [product],
+#                     'DESCRIPCION': [description.values[0]],  # Obtener el primer valor encontrado
+#                     'PROBABILIDAD': [prob]
+#                 })
+#                 # Concatenar el DataFrame temporal al DataFrame de recomendaciones
+#                 recommendations_df = pd.concat([recommendations_df, temp_df], ignore_index=True)
+
+#         return recommendations_df
+
+#     # Comprobar si el cliente está en el CSV de fieles
+#     is_fiel = customer_code in fieles_df['Cliente'].astype(str).values
+
+#     if customer_code:
+#         if is_fiel:
+#             st.write(f"### Customer {customer_code} is a loyal customer.")
+#             option = st.selectbox("Select Recommendation Type", ["Select an option", "By Purchase History", "By Current Basket"])
+
+#             if option == "By Purchase History":
+#                 st.warning("Option not available... aún")
+#             elif option == "By Current Basket":
+#                 st.write("Select the items and assign quantities for the basket:")
+
+#                 # Mostrar lista de artículos disponibles
+#                 available_articles = productos['ARTICULO'].unique()
+#                 selected_articles = st.multiselect("Select Articles", available_articles)
+
+#                 # Crear inputs para ingresar las cantidades de cada artículo seleccionado
+#                 quantities = {}
+#                 for article in selected_articles:
+#                     quantities[article] = st.number_input(f"Quantity for {article}", min_value=0, step=1)
+
+#                 if st.button("Calcular"):  # Añadimos el botón "Calcular"
+#                     # Crear una lista de artículos basada en la selección
+#                     new_basket = [f"{article} x{quantities[article]}" for article in selected_articles if quantities[article] > 0]
+
+#                     if new_basket:
+#                         # Procesar la lista para recomendar
+#                         recommendations_df = recomienda(new_basket)
+
+#                         if not recommendations_df.empty:
+#                             st.write("### Recommendations based on the current basket:")
+#                             st.dataframe(recommendations_df)
+#                         else:
+#                             st.warning("No recommendations found for the provided basket.")
+#                     else:
+#                         st.warning("Please select at least one article and set its quantity.")
+#         else:
+#             st.write(f"### Customer {customer_code} is not a loyal customer.")
+#             st.write("Select items and assign quantities for the basket:")
 
-            # Crear inputs para ingresar las cantidades de cada artículo seleccionado
-            quantities = {}
-            for article in selected_articles:
-                quantities[article] = st.number_input(f"Quantity for {article}", min_value=0, step=1)
+#             # Mostrar lista de artículos disponibles
+#             available_articles = productos['ARTICULO'].unique()
+#             selected_articles = st.multiselect("Select Articles", available_articles)
 
-            if st.button("Calcular"):  # Añadimos el botón "Calcular"
-                # Crear una lista de artículos basada en la selección
-                new_basket = [f"{article} x{quantities[article]}" for article in selected_articles if quantities[article] > 0]
+#             # Crear inputs para ingresar las cantidades de cada artículo seleccionado
+#             quantities = {}
+#             for article in selected_articles:
+#                 quantities[article] = st.number_input(f"Quantity for {article}", min_value=0, step=1)
 
-                if new_basket:
-                    # Procesar la lista para recomendar
-                    recommendations_df = recomienda(new_basket)
+#             if st.button("Calcular"):  # Añadimos el botón "Calcular"
+#                 # Crear una lista de artículos basada en la selección
+#                 new_basket = [f"{article} x{quantities[article]}" for article in selected_articles if quantities[article] > 0]
 
-                    if not recommendations_df.empty:
-                        st.write("### Recommendations based on the current basket:")
-                        st.dataframe(recommendations_df)
-                    else:
-                        st.warning("No recommendations found for the provided basket.")
-                else:
-                    st.warning("Please select at least one article and set its quantity.")
+#                 if new_basket:
+#                     # Procesar la lista para recomendar
+#                     recommendations_df = recomienda(new_basket)
+
+#                     if not recommendations_df.empty:
+#                         st.write("### Recommendations based on the current basket:")
+#                         st.dataframe(recommendations_df)
+#                     else:
+#                         st.warning("No recommendations found for the provided basket.")
+#                 else:
+#                     st.warning("Please select at least one article and set its quantity.")
 
 
 # Customer Analysis Page