AI-Large.pyがトレーニングコードです。
ファインチューニング済みデータがないので、
ファインチューニング関数を用意しています。

警告：FT含め学習はメインメモリを128GB積んでいないマシンを推奨。ブルスク出すかもしれません。
注意：GPUを7台使用する設定になっています。もし変更したい場合は"cuda:n"となっている所を探し、希望のGPU番号、またはcpuを選択してください。

使用ライブラリ


import MeCab
import unidic
import torch
import copy
import time
import matplotlib.pyplot as plt
import re
import math
import numpy as np
from gensim.models import Word2Vec
import pickle
import threading
import sentencepiece

# ファインチューニングの方法
まず、「train_data.txt」と言うファイルを用意します。
その中に、ファインチューニング用のデータを用意してください。
train_data.txtは、改行ごとに別の時系列として扱われます。
train_data.txtを用意したら、AI-Large.pyを実行してください。
実行すると、DataMake()関数により、学習データがベクトル化されます。
次ににFineturning()を実行されます。
これで学習が行われます。
学習が始まると出力サンプルが表示されるので、ある程度の日本語になったらctrl+cを使い止めましょう。
最初は、50epochと表示される位でctrl+cを実行することをお勧めします。
これでfineturning.pthが生成されます。
最後に、Fineturning()とDataMake()をコメントアウトし、Predict()を実行すると、使用できます。
「Q>」と表示されるので、そこに入力を入れましょう。
そうすると「A>」の横に出力が出るはずです。（FT不足だと、何も出力されない場合があります。）