sqlalchemy

polls/databases/insert_line.py

@@ -1,6 +1,7 @@
 import pandas as pd
 import re
-from sqlalchemy import create_engine, inspect, Table, MetaData, Column, Integer, String, text, Sequence
+import os
+from sqlalchemy import create_engine, inspect, Table, MetaData, Column, Integer, String, text
 import psycopg2
 
 # チャット履歴ファイルを読み込む関数（最初の3行をスキップ）
@@ -40,30 +41,50 @@ def connect_to_db():
     )
     return conn
 
-# ファイルパスの設定
-input_file_path = 'path/to/your/chat_history.csv'  # エクスポートされたチャット履歴ファイルのパス
+# フォルダー内のすべてのCSVファイルを処理し、PostgreSQLにインポートする関数
+def process_and_import_csv_folder(folder_path, engine):
+    # フォルダー内のすべてのCSVファイルを取得
+    csv_files = [f for f in os.listdir(folder_path) if f.endswith('.csv')]
+    
+    for csv_file in csv_files:
+        file_path = os.path.join(folder_path, csv_file)
+        
+        # チャット履歴を読み込み、特定の列の個人情報をマスク
+        chat_history_df = load_chat_history(file_path)
+        columns_to_mask = ['送信者タイプ', '送信者名', '送信日', '送信時刻', '内容']
+        masked_chat_history_df = mask_specific_columns(chat_history_df, columns_to_mask)
+        
+        # マスクされたデータをPostgreSQLにインポート
+        masked_chat_history_df.to_sql('fasis_chat_history', engine, if_exists='append', index=False)
 
-# チャット履歴を読み込み、特定の列の個人情報をマスク
-chat_history_df = load_chat_history(input_file_path)
-columns_to_mask = ['送信者タイプ', '送信者名', '送信日', '送信時刻', '内容']
-masked_chat_history_df = mask_specific_columns(chat_history_df, columns_to_mask)
+# ファイルパスの設定
+folder_path = '/home/user/app/polls/databases/test.csv'  # CSVファイルが格納されているフォルダーのパス
 
 # データベースの接続設定
 engine = create_engine('postgresql+psycopg2://miyataken999:yz1wPf4KrWTm@ep-odd-mode-93794521.us-east-2.aws.neon.tech:5432/neondb')
 
-# テーブルが存在しない場合に作成
-if not inspect(engine).has_table("fasis_chat_history"):
-    metadata = MetaData()
-    Table('fasis_chat_history', metadata,
-          Column('id', Integer, Sequence('user_id_seq'), primary_key=True, autoincrement=True),
-          *(Column(name, String) for name in masked_chat_history_df.columns),
-          Column('AnswerField', String))
-    metadata.create_all(engine)
+# テーブルを再作成
+metadata = MetaData()
+
+if inspect(engine).has_table("fasis_chat_history"):
+    table = Table('fasis_chat_history', metadata, autoload_with=engine)
+    table.drop(engine)
+
+table = Table('fasis_chat_history', metadata,
+              Column('id', Integer, primary_key=True, autoincrement=True),
+              Column('送信者タイプ', String),
+              Column('送信者名', String),
+              Column('送信日', String),
+              Column('送信時刻', String),
+              Column('内容', String),
+              Column('AnswerField', String))
+
+metadata.create_all(engine)
 
-# マスクされたデータをPostgreSQLにインポート
-masked_chat_history_df.to_sql('fasis_chat_history', engine, if_exists='replace', index=False)
+# フォルダー内のすべてのCSVファイルを処理し、PostgreSQLにインポート
+process_and_import_csv_folder(folder_path, engine)
 
-print("データのインポートが完了しました。")
+print("すべてのCSVファイルのデータインポートが完了しました。")
 
 # データベースに接続してクエリを実行する関数
 def execute_query(query, engine):

requirements.txt

@@ -56,3 +56,4 @@ torchvision
 transformers
 langchain
 langchain_groq
+sqlalchemy