datasets: | |
- llm-book/wrime-sentiment | |
language: | |
- ja | |
metrics: | |
- f1 | |
- ベースモデル:cl-tohoku/bert-base-japanese-whole-word-masking | |
- データセット:llm-book/wrime-sentiment | |
- オプティマイザ: adafactor | |
- Optunaでハイパーパラメータ探索 | |
- 学習率スケジュールのタイプ(lr_scheduler_type): constant, linear, cosine | |
- 学習率(learning rate): 1e-6 ~ 1e-4 | |
- バッチサイズ(per_device_train_batch_size): 16,32,64,128,256 | |
- 正則化(weight_decay): 1e-6 ~ 1e-1 |