Update README.md
Browse files
README.md
CHANGED
|
@@ -18,7 +18,6 @@ datasets:
|
|
| 18 |
|
| 19 |
## プロンプトフォーマット
|
| 20 |
以下のようなchat templateを利用してください。（Alpacaの改変版）
|
| 21 |
-
また、マルチターンの対話を行う場合、各ターンのアシスタントの応答の末尾にeos tokenを必ずつけてください。
|
| 22 |
|
| 23 |
```
|
| 24 |
{ロールプレイの指示、世界観・あらすじの説明、キャラの設定など}
|
|
@@ -34,6 +33,7 @@ datasets:
|
|
| 34 |
|
| 35 |
### 応答:
|
| 36 |
```
|
|
|
|
| 37 |
|
| 38 |
## 学習の設定
|
| 39 |
RunpodでGPUサーバを借り、A6000x4で学習を行いました。学習データをクオリティの高いものと低いものに2分し、2段階に分けて学習しています。
|
|
@@ -50,7 +50,7 @@ RunpodでGPUサーバを借り、A6000x4で学習を行いました。学習デ
|
|
| 50 |
- lora_dropout: 0.05
|
| 51 |
- lora_target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj", "lm_head"]
|
| 52 |
- learning_rate: 2e-5
|
| 53 |
-
- num_train_epochs: 1
|
| 54 |
- batch_size: 32
|
| 55 |
- max_seq_length: 4096
|
| 56 |
|
|
|
|
| 18 |
|
| 19 |
## プロンプトフォーマット
|
| 20 |
以下のようなchat templateを利用してください。（Alpacaの改変版）
|
|
|
|
| 21 |
|
| 22 |
```
|
| 23 |
{ロールプレイの指示、世界観・あらすじの説明、キャラの設定など}
|
|
|
|
| 33 |
|
| 34 |
### 応答:
|
| 35 |
```
|
| 36 |
+
また、マルチターンの対話を行う場合、各ターンのアシスタントの応答の末尾にeos tokenを必ずつけてください。
|
| 37 |
|
| 38 |
## 学習の設定
|
| 39 |
RunpodでGPUサーバを借り、A6000x4で学習を行いました。学習データをクオリティの高いものと低いものに2分し、2段階に分けて学習しています。
|
|
|
|
| 50 |
- lora_dropout: 0.05
|
| 51 |
- lora_target_modules: ["q_proj", "k_proj", "v_proj", "o_proj", "gate_proj", "up_proj", "down_proj", "lm_head"]
|
| 52 |
- learning_rate: 2e-5
|
| 53 |
+
- num_train_epochs: 1 epoch
|
| 54 |
- batch_size: 32
|
| 55 |
- max_seq_length: 4096
|
| 56 |
|