ALM-AHME commited on
Commit
d023f1f
1 Parent(s): 3a11c25

End of training

Browse files
all_results.json ADDED
@@ -0,0 +1,13 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 11.98,
3
+ "eval_accuracy": 0.9996666666666667,
4
+ "eval_loss": 0.004267791751772165,
5
+ "eval_runtime": 95.9473,
6
+ "eval_samples_per_second": 31.267,
7
+ "eval_steps_per_second": 1.959,
8
+ "total_flos": 1.9127019697307763e+19,
9
+ "train_loss": 0.1604562966202188,
10
+ "train_runtime": 12187.6968,
11
+ "train_samples_per_second": 8.861,
12
+ "train_steps_per_second": 0.277
13
+ }
eval_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 11.98,
3
+ "eval_accuracy": 0.9996666666666667,
4
+ "eval_loss": 0.004267791751772165,
5
+ "eval_runtime": 95.9473,
6
+ "eval_samples_per_second": 31.267,
7
+ "eval_steps_per_second": 1.959
8
+ }
runs/Jul09_21-53-50_da59a6b3409d/events.out.tfevents.1688952002.da59a6b3409d.1627.1 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:6187a77c164e846f028f8ab31adbca40b38374b87ae79b47b8216b3cefd8dc75
3
+ size 779
train_results.json ADDED
@@ -0,0 +1,8 @@
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "epoch": 11.98,
3
+ "total_flos": 1.9127019697307763e+19,
4
+ "train_loss": 0.1604562966202188,
5
+ "train_runtime": 12187.6968,
6
+ "train_samples_per_second": 8.861,
7
+ "train_steps_per_second": 0.277
8
+ }
trainer_state.json ADDED
@@ -0,0 +1,4177 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {
2
+ "best_metric": 0.9996666666666667,
3
+ "best_model_checkpoint": "convnextv2-large-1k-224-finetuned-LungCancer-Classification-LC25000-AH-60-20-20/checkpoint-2252",
4
+ "epoch": 11.978685612788633,
5
+ "global_step": 3372,
6
+ "is_hyper_param_search": false,
7
+ "is_local_process_zero": true,
8
+ "is_world_process_zero": true,
9
+ "log_history": [
10
+ {
11
+ "epoch": 0.02,
12
+ "learning_rate": 8.237232289950577e-08,
13
+ "loss": 1.1137,
14
+ "step": 5
15
+ },
16
+ {
17
+ "epoch": 0.04,
18
+ "learning_rate": 1.6474464579901155e-07,
19
+ "loss": 1.1038,
20
+ "step": 10
21
+ },
22
+ {
23
+ "epoch": 0.05,
24
+ "learning_rate": 2.471169686985173e-07,
25
+ "loss": 1.1058,
26
+ "step": 15
27
+ },
28
+ {
29
+ "epoch": 0.07,
30
+ "learning_rate": 3.294892915980231e-07,
31
+ "loss": 1.1019,
32
+ "step": 20
33
+ },
34
+ {
35
+ "epoch": 0.09,
36
+ "learning_rate": 4.1186161449752885e-07,
37
+ "loss": 1.0968,
38
+ "step": 25
39
+ },
40
+ {
41
+ "epoch": 0.11,
42
+ "learning_rate": 4.942339373970346e-07,
43
+ "loss": 1.1,
44
+ "step": 30
45
+ },
46
+ {
47
+ "epoch": 0.12,
48
+ "learning_rate": 5.766062602965404e-07,
49
+ "loss": 1.0923,
50
+ "step": 35
51
+ },
52
+ {
53
+ "epoch": 0.14,
54
+ "learning_rate": 6.589785831960462e-07,
55
+ "loss": 1.0896,
56
+ "step": 40
57
+ },
58
+ {
59
+ "epoch": 0.16,
60
+ "learning_rate": 7.413509060955519e-07,
61
+ "loss": 1.0866,
62
+ "step": 45
63
+ },
64
+ {
65
+ "epoch": 0.18,
66
+ "learning_rate": 8.237232289950577e-07,
67
+ "loss": 1.0871,
68
+ "step": 50
69
+ },
70
+ {
71
+ "epoch": 0.2,
72
+ "learning_rate": 9.060955518945634e-07,
73
+ "loss": 1.0814,
74
+ "step": 55
75
+ },
76
+ {
77
+ "epoch": 0.21,
78
+ "learning_rate": 9.884678747940691e-07,
79
+ "loss": 1.0853,
80
+ "step": 60
81
+ },
82
+ {
83
+ "epoch": 0.23,
84
+ "learning_rate": 1.0708401976935751e-06,
85
+ "loss": 1.0734,
86
+ "step": 65
87
+ },
88
+ {
89
+ "epoch": 0.25,
90
+ "learning_rate": 1.1532125205930807e-06,
91
+ "loss": 1.0779,
92
+ "step": 70
93
+ },
94
+ {
95
+ "epoch": 0.27,
96
+ "learning_rate": 1.2355848434925866e-06,
97
+ "loss": 1.0607,
98
+ "step": 75
99
+ },
100
+ {
101
+ "epoch": 0.28,
102
+ "learning_rate": 1.3179571663920924e-06,
103
+ "loss": 1.0505,
104
+ "step": 80
105
+ },
106
+ {
107
+ "epoch": 0.3,
108
+ "learning_rate": 1.4003294892915982e-06,
109
+ "loss": 1.0551,
110
+ "step": 85
111
+ },
112
+ {
113
+ "epoch": 0.32,
114
+ "learning_rate": 1.4827018121911038e-06,
115
+ "loss": 1.038,
116
+ "step": 90
117
+ },
118
+ {
119
+ "epoch": 0.34,
120
+ "learning_rate": 1.5650741350906096e-06,
121
+ "loss": 1.029,
122
+ "step": 95
123
+ },
124
+ {
125
+ "epoch": 0.36,
126
+ "learning_rate": 1.6474464579901154e-06,
127
+ "loss": 1.0264,
128
+ "step": 100
129
+ },
130
+ {
131
+ "epoch": 0.37,
132
+ "learning_rate": 1.729818780889621e-06,
133
+ "loss": 1.0118,
134
+ "step": 105
135
+ },
136
+ {
137
+ "epoch": 0.39,
138
+ "learning_rate": 1.8121911037891268e-06,
139
+ "loss": 1.007,
140
+ "step": 110
141
+ },
142
+ {
143
+ "epoch": 0.41,
144
+ "learning_rate": 1.8945634266886326e-06,
145
+ "loss": 0.9894,
146
+ "step": 115
147
+ },
148
+ {
149
+ "epoch": 0.43,
150
+ "learning_rate": 1.9769357495881382e-06,
151
+ "loss": 0.9815,
152
+ "step": 120
153
+ },
154
+ {
155
+ "epoch": 0.44,
156
+ "learning_rate": 2.059308072487644e-06,
157
+ "loss": 0.971,
158
+ "step": 125
159
+ },
160
+ {
161
+ "epoch": 0.46,
162
+ "learning_rate": 2.1416803953871503e-06,
163
+ "loss": 0.9631,
164
+ "step": 130
165
+ },
166
+ {
167
+ "epoch": 0.48,
168
+ "learning_rate": 2.224052718286656e-06,
169
+ "loss": 0.9367,
170
+ "step": 135
171
+ },
172
+ {
173
+ "epoch": 0.5,
174
+ "learning_rate": 2.3064250411861615e-06,
175
+ "loss": 0.928,
176
+ "step": 140
177
+ },
178
+ {
179
+ "epoch": 0.52,
180
+ "learning_rate": 2.3887973640856673e-06,
181
+ "loss": 0.9194,
182
+ "step": 145
183
+ },
184
+ {
185
+ "epoch": 0.53,
186
+ "learning_rate": 2.471169686985173e-06,
187
+ "loss": 0.8981,
188
+ "step": 150
189
+ },
190
+ {
191
+ "epoch": 0.55,
192
+ "learning_rate": 2.553542009884679e-06,
193
+ "loss": 0.893,
194
+ "step": 155
195
+ },
196
+ {
197
+ "epoch": 0.57,
198
+ "learning_rate": 2.6359143327841847e-06,
199
+ "loss": 0.87,
200
+ "step": 160
201
+ },
202
+ {
203
+ "epoch": 0.59,
204
+ "learning_rate": 2.7182866556836905e-06,
205
+ "loss": 0.8457,
206
+ "step": 165
207
+ },
208
+ {
209
+ "epoch": 0.6,
210
+ "learning_rate": 2.8006589785831964e-06,
211
+ "loss": 0.8226,
212
+ "step": 170
213
+ },
214
+ {
215
+ "epoch": 0.62,
216
+ "learning_rate": 2.8830313014827017e-06,
217
+ "loss": 0.8054,
218
+ "step": 175
219
+ },
220
+ {
221
+ "epoch": 0.64,
222
+ "learning_rate": 2.9654036243822076e-06,
223
+ "loss": 0.8215,
224
+ "step": 180
225
+ },
226
+ {
227
+ "epoch": 0.66,
228
+ "learning_rate": 3.0477759472817134e-06,
229
+ "loss": 0.7601,
230
+ "step": 185
231
+ },
232
+ {
233
+ "epoch": 0.67,
234
+ "learning_rate": 3.130148270181219e-06,
235
+ "loss": 0.7473,
236
+ "step": 190
237
+ },
238
+ {
239
+ "epoch": 0.69,
240
+ "learning_rate": 3.212520593080725e-06,
241
+ "loss": 0.7349,
242
+ "step": 195
243
+ },
244
+ {
245
+ "epoch": 0.71,
246
+ "learning_rate": 3.294892915980231e-06,
247
+ "loss": 0.7256,
248
+ "step": 200
249
+ },
250
+ {
251
+ "epoch": 0.73,
252
+ "learning_rate": 3.3772652388797366e-06,
253
+ "loss": 0.7132,
254
+ "step": 205
255
+ },
256
+ {
257
+ "epoch": 0.75,
258
+ "learning_rate": 3.459637561779242e-06,
259
+ "loss": 0.6912,
260
+ "step": 210
261
+ },
262
+ {
263
+ "epoch": 0.76,
264
+ "learning_rate": 3.542009884678748e-06,
265
+ "loss": 0.6832,
266
+ "step": 215
267
+ },
268
+ {
269
+ "epoch": 0.78,
270
+ "learning_rate": 3.6243822075782536e-06,
271
+ "loss": 0.6468,
272
+ "step": 220
273
+ },
274
+ {
275
+ "epoch": 0.8,
276
+ "learning_rate": 3.7067545304777594e-06,
277
+ "loss": 0.6275,
278
+ "step": 225
279
+ },
280
+ {
281
+ "epoch": 0.82,
282
+ "learning_rate": 3.7891268533772653e-06,
283
+ "loss": 0.6068,
284
+ "step": 230
285
+ },
286
+ {
287
+ "epoch": 0.83,
288
+ "learning_rate": 3.871499176276771e-06,
289
+ "loss": 0.5861,
290
+ "step": 235
291
+ },
292
+ {
293
+ "epoch": 0.85,
294
+ "learning_rate": 3.9538714991762765e-06,
295
+ "loss": 0.5385,
296
+ "step": 240
297
+ },
298
+ {
299
+ "epoch": 0.87,
300
+ "learning_rate": 4.036243822075783e-06,
301
+ "loss": 0.5482,
302
+ "step": 245
303
+ },
304
+ {
305
+ "epoch": 0.89,
306
+ "learning_rate": 4.118616144975288e-06,
307
+ "loss": 0.4988,
308
+ "step": 250
309
+ },
310
+ {
311
+ "epoch": 0.91,
312
+ "learning_rate": 4.200988467874794e-06,
313
+ "loss": 0.4763,
314
+ "step": 255
315
+ },
316
+ {
317
+ "epoch": 0.92,
318
+ "learning_rate": 4.2833607907743006e-06,
319
+ "loss": 0.4613,
320
+ "step": 260
321
+ },
322
+ {
323
+ "epoch": 0.94,
324
+ "learning_rate": 4.365733113673806e-06,
325
+ "loss": 0.4527,
326
+ "step": 265
327
+ },
328
+ {
329
+ "epoch": 0.96,
330
+ "learning_rate": 4.448105436573312e-06,
331
+ "loss": 0.4072,
332
+ "step": 270
333
+ },
334
+ {
335
+ "epoch": 0.98,
336
+ "learning_rate": 4.5304777594728176e-06,
337
+ "loss": 0.4084,
338
+ "step": 275
339
+ },
340
+ {
341
+ "epoch": 0.99,
342
+ "learning_rate": 4.612850082372323e-06,
343
+ "loss": 0.4332,
344
+ "step": 280
345
+ },
346
+ {
347
+ "epoch": 1.0,
348
+ "eval_accuracy": 0.947,
349
+ "eval_loss": 0.3823847770690918,
350
+ "eval_runtime": 102.7646,
351
+ "eval_samples_per_second": 29.193,
352
+ "eval_steps_per_second": 1.829,
353
+ "step": 281
354
+ },
355
+ {
356
+ "epoch": 1.01,
357
+ "learning_rate": 4.695222405271829e-06,
358
+ "loss": 0.3971,
359
+ "step": 285
360
+ },
361
+ {
362
+ "epoch": 1.03,
363
+ "learning_rate": 4.777594728171335e-06,
364
+ "loss": 0.4011,
365
+ "step": 290
366
+ },
367
+ {
368
+ "epoch": 1.05,
369
+ "learning_rate": 4.859967051070841e-06,
370
+ "loss": 0.3385,
371
+ "step": 295
372
+ },
373
+ {
374
+ "epoch": 1.07,
375
+ "learning_rate": 4.942339373970346e-06,
376
+ "loss": 0.3713,
377
+ "step": 300
378
+ },
379
+ {
380
+ "epoch": 1.08,
381
+ "learning_rate": 5.0247116968698524e-06,
382
+ "loss": 0.3593,
383
+ "step": 305
384
+ },
385
+ {
386
+ "epoch": 1.1,
387
+ "learning_rate": 5.107084019769358e-06,
388
+ "loss": 0.3169,
389
+ "step": 310
390
+ },
391
+ {
392
+ "epoch": 1.12,
393
+ "learning_rate": 5.189456342668863e-06,
394
+ "loss": 0.3527,
395
+ "step": 315
396
+ },
397
+ {
398
+ "epoch": 1.14,
399
+ "learning_rate": 5.2718286655683695e-06,
400
+ "loss": 0.3359,
401
+ "step": 320
402
+ },
403
+ {
404
+ "epoch": 1.15,
405
+ "learning_rate": 5.354200988467875e-06,
406
+ "loss": 0.3294,
407
+ "step": 325
408
+ },
409
+ {
410
+ "epoch": 1.17,
411
+ "learning_rate": 5.436573311367381e-06,
412
+ "loss": 0.367,
413
+ "step": 330
414
+ },
415
+ {
416
+ "epoch": 1.19,
417
+ "learning_rate": 5.5189456342668865e-06,
418
+ "loss": 0.2967,
419
+ "step": 335
420
+ },
421
+ {
422
+ "epoch": 1.21,
423
+ "learning_rate": 5.601317957166393e-06,
424
+ "loss": 0.3344,
425
+ "step": 340
426
+ },
427
+ {
428
+ "epoch": 1.23,
429
+ "learning_rate": 5.683690280065898e-06,
430
+ "loss": 0.2708,
431
+ "step": 345
432
+ },
433
+ {
434
+ "epoch": 1.24,
435
+ "learning_rate": 5.7660626029654035e-06,
436
+ "loss": 0.2952,
437
+ "step": 350
438
+ },
439
+ {
440
+ "epoch": 1.26,
441
+ "learning_rate": 5.84843492586491e-06,
442
+ "loss": 0.3169,
443
+ "step": 355
444
+ },
445
+ {
446
+ "epoch": 1.28,
447
+ "learning_rate": 5.930807248764415e-06,
448
+ "loss": 0.2502,
449
+ "step": 360
450
+ },
451
+ {
452
+ "epoch": 1.3,
453
+ "learning_rate": 6.013179571663921e-06,
454
+ "loss": 0.2483,
455
+ "step": 365
456
+ },
457
+ {
458
+ "epoch": 1.31,
459
+ "learning_rate": 6.095551894563427e-06,
460
+ "loss": 0.2372,
461
+ "step": 370
462
+ },
463
+ {
464
+ "epoch": 1.33,
465
+ "learning_rate": 6.177924217462933e-06,
466
+ "loss": 0.273,
467
+ "step": 375
468
+ },
469
+ {
470
+ "epoch": 1.35,
471
+ "learning_rate": 6.260296540362438e-06,
472
+ "loss": 0.2797,
473
+ "step": 380
474
+ },
475
+ {
476
+ "epoch": 1.37,
477
+ "learning_rate": 6.342668863261944e-06,
478
+ "loss": 0.2496,
479
+ "step": 385
480
+ },
481
+ {
482
+ "epoch": 1.39,
483
+ "learning_rate": 6.42504118616145e-06,
484
+ "loss": 0.2831,
485
+ "step": 390
486
+ },
487
+ {
488
+ "epoch": 1.4,
489
+ "learning_rate": 6.507413509060955e-06,
490
+ "loss": 0.2257,
491
+ "step": 395
492
+ },
493
+ {
494
+ "epoch": 1.42,
495
+ "learning_rate": 6.589785831960462e-06,
496
+ "loss": 0.2512,
497
+ "step": 400
498
+ },
499
+ {
500
+ "epoch": 1.44,
501
+ "learning_rate": 6.672158154859967e-06,
502
+ "loss": 0.2414,
503
+ "step": 405
504
+ },
505
+ {
506
+ "epoch": 1.46,
507
+ "learning_rate": 6.754530477759473e-06,
508
+ "loss": 0.2722,
509
+ "step": 410
510
+ },
511
+ {
512
+ "epoch": 1.47,
513
+ "learning_rate": 6.836902800658979e-06,
514
+ "loss": 0.236,
515
+ "step": 415
516
+ },
517
+ {
518
+ "epoch": 1.49,
519
+ "learning_rate": 6.919275123558484e-06,
520
+ "loss": 0.2006,
521
+ "step": 420
522
+ },
523
+ {
524
+ "epoch": 1.51,
525
+ "learning_rate": 7.00164744645799e-06,
526
+ "loss": 0.2725,
527
+ "step": 425
528
+ },
529
+ {
530
+ "epoch": 1.53,
531
+ "learning_rate": 7.084019769357496e-06,
532
+ "loss": 0.22,
533
+ "step": 430
534
+ },
535
+ {
536
+ "epoch": 1.55,
537
+ "learning_rate": 7.166392092257002e-06,
538
+ "loss": 0.2074,
539
+ "step": 435
540
+ },
541
+ {
542
+ "epoch": 1.56,
543
+ "learning_rate": 7.248764415156507e-06,
544
+ "loss": 0.1888,
545
+ "step": 440
546
+ },
547
+ {
548
+ "epoch": 1.58,
549
+ "learning_rate": 7.3311367380560135e-06,
550
+ "loss": 0.2646,
551
+ "step": 445
552
+ },
553
+ {
554
+ "epoch": 1.6,
555
+ "learning_rate": 7.413509060955519e-06,
556
+ "loss": 0.2729,
557
+ "step": 450
558
+ },
559
+ {
560
+ "epoch": 1.62,
561
+ "learning_rate": 7.495881383855024e-06,
562
+ "loss": 0.2633,
563
+ "step": 455
564
+ },
565
+ {
566
+ "epoch": 1.63,
567
+ "learning_rate": 7.5782537067545305e-06,
568
+ "loss": 0.2753,
569
+ "step": 460
570
+ },
571
+ {
572
+ "epoch": 1.65,
573
+ "learning_rate": 7.660626029654036e-06,
574
+ "loss": 0.2074,
575
+ "step": 465
576
+ },
577
+ {
578
+ "epoch": 1.67,
579
+ "learning_rate": 7.742998352553542e-06,
580
+ "loss": 0.165,
581
+ "step": 470
582
+ },
583
+ {
584
+ "epoch": 1.69,
585
+ "learning_rate": 7.825370675453048e-06,
586
+ "loss": 0.2505,
587
+ "step": 475
588
+ },
589
+ {
590
+ "epoch": 1.71,
591
+ "learning_rate": 7.907742998352553e-06,
592
+ "loss": 0.2062,
593
+ "step": 480
594
+ },
595
+ {
596
+ "epoch": 1.72,
597
+ "learning_rate": 7.99011532125206e-06,
598
+ "loss": 0.2255,
599
+ "step": 485
600
+ },
601
+ {
602
+ "epoch": 1.74,
603
+ "learning_rate": 8.072487644151565e-06,
604
+ "loss": 0.2634,
605
+ "step": 490
606
+ },
607
+ {
608
+ "epoch": 1.76,
609
+ "learning_rate": 8.15485996705107e-06,
610
+ "loss": 0.2253,
611
+ "step": 495
612
+ },
613
+ {
614
+ "epoch": 1.78,
615
+ "learning_rate": 8.237232289950576e-06,
616
+ "loss": 0.1968,
617
+ "step": 500
618
+ },
619
+ {
620
+ "epoch": 1.79,
621
+ "learning_rate": 8.319604612850082e-06,
622
+ "loss": 0.1252,
623
+ "step": 505
624
+ },
625
+ {
626
+ "epoch": 1.81,
627
+ "learning_rate": 8.401976935749589e-06,
628
+ "loss": 0.152,
629
+ "step": 510
630
+ },
631
+ {
632
+ "epoch": 1.83,
633
+ "learning_rate": 8.484349258649095e-06,
634
+ "loss": 0.154,
635
+ "step": 515
636
+ },
637
+ {
638
+ "epoch": 1.85,
639
+ "learning_rate": 8.566721581548601e-06,
640
+ "loss": 0.2983,
641
+ "step": 520
642
+ },
643
+ {
644
+ "epoch": 1.87,
645
+ "learning_rate": 8.649093904448106e-06,
646
+ "loss": 0.2407,
647
+ "step": 525
648
+ },
649
+ {
650
+ "epoch": 1.88,
651
+ "learning_rate": 8.731466227347612e-06,
652
+ "loss": 0.3075,
653
+ "step": 530
654
+ },
655
+ {
656
+ "epoch": 1.9,
657
+ "learning_rate": 8.813838550247118e-06,
658
+ "loss": 0.1653,
659
+ "step": 535
660
+ },
661
+ {
662
+ "epoch": 1.92,
663
+ "learning_rate": 8.896210873146624e-06,
664
+ "loss": 0.1378,
665
+ "step": 540
666
+ },
667
+ {
668
+ "epoch": 1.94,
669
+ "learning_rate": 8.978583196046129e-06,
670
+ "loss": 0.1574,
671
+ "step": 545
672
+ },
673
+ {
674
+ "epoch": 1.95,
675
+ "learning_rate": 9.060955518945635e-06,
676
+ "loss": 0.1756,
677
+ "step": 550
678
+ },
679
+ {
680
+ "epoch": 1.97,
681
+ "learning_rate": 9.143327841845141e-06,
682
+ "loss": 0.3551,
683
+ "step": 555
684
+ },
685
+ {
686
+ "epoch": 1.99,
687
+ "learning_rate": 9.225700164744646e-06,
688
+ "loss": 0.1558,
689
+ "step": 560
690
+ },
691
+ {
692
+ "epoch": 2.0,
693
+ "eval_accuracy": 0.9736666666666667,
694
+ "eval_loss": 0.12916548550128937,
695
+ "eval_runtime": 102.8832,
696
+ "eval_samples_per_second": 29.159,
697
+ "eval_steps_per_second": 1.827,
698
+ "step": 563
699
+ },
700
+ {
701
+ "epoch": 2.01,
702
+ "learning_rate": 9.308072487644152e-06,
703
+ "loss": 0.2096,
704
+ "step": 565
705
+ },
706
+ {
707
+ "epoch": 2.02,
708
+ "learning_rate": 9.390444810543658e-06,
709
+ "loss": 0.1701,
710
+ "step": 570
711
+ },
712
+ {
713
+ "epoch": 2.04,
714
+ "learning_rate": 9.472817133443165e-06,
715
+ "loss": 0.1898,
716
+ "step": 575
717
+ },
718
+ {
719
+ "epoch": 2.06,
720
+ "learning_rate": 9.55518945634267e-06,
721
+ "loss": 0.1353,
722
+ "step": 580
723
+ },
724
+ {
725
+ "epoch": 2.08,
726
+ "learning_rate": 9.637561779242175e-06,
727
+ "loss": 0.2444,
728
+ "step": 585
729
+ },
730
+ {
731
+ "epoch": 2.1,
732
+ "learning_rate": 9.719934102141682e-06,
733
+ "loss": 0.1267,
734
+ "step": 590
735
+ },
736
+ {
737
+ "epoch": 2.11,
738
+ "learning_rate": 9.802306425041186e-06,
739
+ "loss": 0.1643,
740
+ "step": 595
741
+ },
742
+ {
743
+ "epoch": 2.13,
744
+ "learning_rate": 9.884678747940692e-06,
745
+ "loss": 0.1876,
746
+ "step": 600
747
+ },
748
+ {
749
+ "epoch": 2.15,
750
+ "learning_rate": 9.967051070840199e-06,
751
+ "loss": 0.1381,
752
+ "step": 605
753
+ },
754
+ {
755
+ "epoch": 2.17,
756
+ "learning_rate": 1.0049423393739705e-05,
757
+ "loss": 0.1257,
758
+ "step": 610
759
+ },
760
+ {
761
+ "epoch": 2.18,
762
+ "learning_rate": 1.013179571663921e-05,
763
+ "loss": 0.1204,
764
+ "step": 615
765
+ },
766
+ {
767
+ "epoch": 2.2,
768
+ "learning_rate": 1.0214168039538716e-05,
769
+ "loss": 0.134,
770
+ "step": 620
771
+ },
772
+ {
773
+ "epoch": 2.22,
774
+ "learning_rate": 1.0296540362438222e-05,
775
+ "loss": 0.1183,
776
+ "step": 625
777
+ },
778
+ {
779
+ "epoch": 2.24,
780
+ "learning_rate": 1.0378912685337726e-05,
781
+ "loss": 0.1981,
782
+ "step": 630
783
+ },
784
+ {
785
+ "epoch": 2.26,
786
+ "learning_rate": 1.0461285008237233e-05,
787
+ "loss": 0.0772,
788
+ "step": 635
789
+ },
790
+ {
791
+ "epoch": 2.27,
792
+ "learning_rate": 1.0543657331136739e-05,
793
+ "loss": 0.1575,
794
+ "step": 640
795
+ },
796
+ {
797
+ "epoch": 2.29,
798
+ "learning_rate": 1.0626029654036245e-05,
799
+ "loss": 0.1043,
800
+ "step": 645
801
+ },
802
+ {
803
+ "epoch": 2.31,
804
+ "learning_rate": 1.070840197693575e-05,
805
+ "loss": 0.162,
806
+ "step": 650
807
+ },
808
+ {
809
+ "epoch": 2.33,
810
+ "learning_rate": 1.0790774299835256e-05,
811
+ "loss": 0.1435,
812
+ "step": 655
813
+ },
814
+ {
815
+ "epoch": 2.34,
816
+ "learning_rate": 1.0873146622734762e-05,
817
+ "loss": 0.1237,
818
+ "step": 660
819
+ },
820
+ {
821
+ "epoch": 2.36,
822
+ "learning_rate": 1.0955518945634267e-05,
823
+ "loss": 0.1999,
824
+ "step": 665
825
+ },
826
+ {
827
+ "epoch": 2.38,
828
+ "learning_rate": 1.1037891268533773e-05,
829
+ "loss": 0.1393,
830
+ "step": 670
831
+ },
832
+ {
833
+ "epoch": 2.4,
834
+ "learning_rate": 1.112026359143328e-05,
835
+ "loss": 0.1782,
836
+ "step": 675
837
+ },
838
+ {
839
+ "epoch": 2.42,
840
+ "learning_rate": 1.1202635914332785e-05,
841
+ "loss": 0.1328,
842
+ "step": 680
843
+ },
844
+ {
845
+ "epoch": 2.43,
846
+ "learning_rate": 1.128500823723229e-05,
847
+ "loss": 0.1462,
848
+ "step": 685
849
+ },
850
+ {
851
+ "epoch": 2.45,
852
+ "learning_rate": 1.1367380560131796e-05,
853
+ "loss": 0.3144,
854
+ "step": 690
855
+ },
856
+ {
857
+ "epoch": 2.47,
858
+ "learning_rate": 1.1449752883031302e-05,
859
+ "loss": 0.0946,
860
+ "step": 695
861
+ },
862
+ {
863
+ "epoch": 2.49,
864
+ "learning_rate": 1.1532125205930807e-05,
865
+ "loss": 0.1079,
866
+ "step": 700
867
+ },
868
+ {
869
+ "epoch": 2.5,
870
+ "learning_rate": 1.1614497528830313e-05,
871
+ "loss": 0.1672,
872
+ "step": 705
873
+ },
874
+ {
875
+ "epoch": 2.52,
876
+ "learning_rate": 1.169686985172982e-05,
877
+ "loss": 0.0851,
878
+ "step": 710
879
+ },
880
+ {
881
+ "epoch": 2.54,
882
+ "learning_rate": 1.1779242174629326e-05,
883
+ "loss": 0.08,
884
+ "step": 715
885
+ },
886
+ {
887
+ "epoch": 2.56,
888
+ "learning_rate": 1.186161449752883e-05,
889
+ "loss": 0.0899,
890
+ "step": 720
891
+ },
892
+ {
893
+ "epoch": 2.58,
894
+ "learning_rate": 1.1943986820428336e-05,
895
+ "loss": 0.0875,
896
+ "step": 725
897
+ },
898
+ {
899
+ "epoch": 2.59,
900
+ "learning_rate": 1.2026359143327843e-05,
901
+ "loss": 0.1972,
902
+ "step": 730
903
+ },
904
+ {
905
+ "epoch": 2.61,
906
+ "learning_rate": 1.2108731466227347e-05,
907
+ "loss": 0.2168,
908
+ "step": 735
909
+ },
910
+ {
911
+ "epoch": 2.63,
912
+ "learning_rate": 1.2191103789126853e-05,
913
+ "loss": 0.119,
914
+ "step": 740
915
+ },
916
+ {
917
+ "epoch": 2.65,
918
+ "learning_rate": 1.227347611202636e-05,
919
+ "loss": 0.2255,
920
+ "step": 745
921
+ },
922
+ {
923
+ "epoch": 2.66,
924
+ "learning_rate": 1.2355848434925866e-05,
925
+ "loss": 0.0626,
926
+ "step": 750
927
+ },
928
+ {
929
+ "epoch": 2.68,
930
+ "learning_rate": 1.243822075782537e-05,
931
+ "loss": 0.0585,
932
+ "step": 755
933
+ },
934
+ {
935
+ "epoch": 2.7,
936
+ "learning_rate": 1.2520593080724877e-05,
937
+ "loss": 0.2077,
938
+ "step": 760
939
+ },
940
+ {
941
+ "epoch": 2.72,
942
+ "learning_rate": 1.2602965403624385e-05,
943
+ "loss": 0.0992,
944
+ "step": 765
945
+ },
946
+ {
947
+ "epoch": 2.74,
948
+ "learning_rate": 1.2685337726523888e-05,
949
+ "loss": 0.1492,
950
+ "step": 770
951
+ },
952
+ {
953
+ "epoch": 2.75,
954
+ "learning_rate": 1.2767710049423395e-05,
955
+ "loss": 0.186,
956
+ "step": 775
957
+ },
958
+ {
959
+ "epoch": 2.77,
960
+ "learning_rate": 1.28500823723229e-05,
961
+ "loss": 0.1707,
962
+ "step": 780
963
+ },
964
+ {
965
+ "epoch": 2.79,
966
+ "learning_rate": 1.2932454695222406e-05,
967
+ "loss": 0.0914,
968
+ "step": 785
969
+ },
970
+ {
971
+ "epoch": 2.81,
972
+ "learning_rate": 1.301482701812191e-05,
973
+ "loss": 0.097,
974
+ "step": 790
975
+ },
976
+ {
977
+ "epoch": 2.82,
978
+ "learning_rate": 1.3097199341021419e-05,
979
+ "loss": 0.2155,
980
+ "step": 795
981
+ },
982
+ {
983
+ "epoch": 2.84,
984
+ "learning_rate": 1.3179571663920923e-05,
985
+ "loss": 0.1728,
986
+ "step": 800
987
+ },
988
+ {
989
+ "epoch": 2.86,
990
+ "learning_rate": 1.326194398682043e-05,
991
+ "loss": 0.1858,
992
+ "step": 805
993
+ },
994
+ {
995
+ "epoch": 2.88,
996
+ "learning_rate": 1.3344316309719934e-05,
997
+ "loss": 0.2391,
998
+ "step": 810
999
+ },
1000
+ {
1001
+ "epoch": 2.9,
1002
+ "learning_rate": 1.3426688632619442e-05,
1003
+ "loss": 0.1996,
1004
+ "step": 815
1005
+ },
1006
+ {
1007
+ "epoch": 2.91,
1008
+ "learning_rate": 1.3509060955518946e-05,
1009
+ "loss": 0.164,
1010
+ "step": 820
1011
+ },
1012
+ {
1013
+ "epoch": 2.93,
1014
+ "learning_rate": 1.3591433278418453e-05,
1015
+ "loss": 0.1101,
1016
+ "step": 825
1017
+ },
1018
+ {
1019
+ "epoch": 2.95,
1020
+ "learning_rate": 1.3673805601317957e-05,
1021
+ "loss": 0.1583,
1022
+ "step": 830
1023
+ },
1024
+ {
1025
+ "epoch": 2.97,
1026
+ "learning_rate": 1.3756177924217463e-05,
1027
+ "loss": 0.061,
1028
+ "step": 835
1029
+ },
1030
+ {
1031
+ "epoch": 2.98,
1032
+ "learning_rate": 1.3838550247116968e-05,
1033
+ "loss": 0.1161,
1034
+ "step": 840
1035
+ },
1036
+ {
1037
+ "epoch": 3.0,
1038
+ "eval_accuracy": 0.9886666666666667,
1039
+ "eval_loss": 0.05563023313879967,
1040
+ "eval_runtime": 102.7778,
1041
+ "eval_samples_per_second": 29.189,
1042
+ "eval_steps_per_second": 1.829,
1043
+ "step": 844
1044
+ },
1045
+ {
1046
+ "epoch": 3.0,
1047
+ "learning_rate": 1.3920922570016476e-05,
1048
+ "loss": 0.1593,
1049
+ "step": 845
1050
+ },
1051
+ {
1052
+ "epoch": 3.02,
1053
+ "learning_rate": 1.400329489291598e-05,
1054
+ "loss": 0.1887,
1055
+ "step": 850
1056
+ },
1057
+ {
1058
+ "epoch": 3.04,
1059
+ "learning_rate": 1.4085667215815487e-05,
1060
+ "loss": 0.147,
1061
+ "step": 855
1062
+ },
1063
+ {
1064
+ "epoch": 3.06,
1065
+ "learning_rate": 1.4168039538714991e-05,
1066
+ "loss": 0.1935,
1067
+ "step": 860
1068
+ },
1069
+ {
1070
+ "epoch": 3.07,
1071
+ "learning_rate": 1.42504118616145e-05,
1072
+ "loss": 0.0872,
1073
+ "step": 865
1074
+ },
1075
+ {
1076
+ "epoch": 3.09,
1077
+ "learning_rate": 1.4332784184514004e-05,
1078
+ "loss": 0.1438,
1079
+ "step": 870
1080
+ },
1081
+ {
1082
+ "epoch": 3.11,
1083
+ "learning_rate": 1.441515650741351e-05,
1084
+ "loss": 0.1659,
1085
+ "step": 875
1086
+ },
1087
+ {
1088
+ "epoch": 3.13,
1089
+ "learning_rate": 1.4497528830313015e-05,
1090
+ "loss": 0.1528,
1091
+ "step": 880
1092
+ },
1093
+ {
1094
+ "epoch": 3.14,
1095
+ "learning_rate": 1.4579901153212522e-05,
1096
+ "loss": 0.1848,
1097
+ "step": 885
1098
+ },
1099
+ {
1100
+ "epoch": 3.16,
1101
+ "learning_rate": 1.4662273476112027e-05,
1102
+ "loss": 0.113,
1103
+ "step": 890
1104
+ },
1105
+ {
1106
+ "epoch": 3.18,
1107
+ "learning_rate": 1.4744645799011533e-05,
1108
+ "loss": 0.1683,
1109
+ "step": 895
1110
+ },
1111
+ {
1112
+ "epoch": 3.2,
1113
+ "learning_rate": 1.4827018121911038e-05,
1114
+ "loss": 0.0835,
1115
+ "step": 900
1116
+ },
1117
+ {
1118
+ "epoch": 3.21,
1119
+ "learning_rate": 1.4909390444810544e-05,
1120
+ "loss": 0.0722,
1121
+ "step": 905
1122
+ },
1123
+ {
1124
+ "epoch": 3.23,
1125
+ "learning_rate": 1.4991762767710049e-05,
1126
+ "loss": 0.0952,
1127
+ "step": 910
1128
+ },
1129
+ {
1130
+ "epoch": 3.25,
1131
+ "learning_rate": 1.5074135090609557e-05,
1132
+ "loss": 0.0605,
1133
+ "step": 915
1134
+ },
1135
+ {
1136
+ "epoch": 3.27,
1137
+ "learning_rate": 1.5156507413509061e-05,
1138
+ "loss": 0.029,
1139
+ "step": 920
1140
+ },
1141
+ {
1142
+ "epoch": 3.29,
1143
+ "learning_rate": 1.5238879736408567e-05,
1144
+ "loss": 0.1104,
1145
+ "step": 925
1146
+ },
1147
+ {
1148
+ "epoch": 3.3,
1149
+ "learning_rate": 1.5321252059308072e-05,
1150
+ "loss": 0.1488,
1151
+ "step": 930
1152
+ },
1153
+ {
1154
+ "epoch": 3.32,
1155
+ "learning_rate": 1.540362438220758e-05,
1156
+ "loss": 0.1516,
1157
+ "step": 935
1158
+ },
1159
+ {
1160
+ "epoch": 3.34,
1161
+ "learning_rate": 1.5485996705107084e-05,
1162
+ "loss": 0.1192,
1163
+ "step": 940
1164
+ },
1165
+ {
1166
+ "epoch": 3.36,
1167
+ "learning_rate": 1.5568369028006592e-05,
1168
+ "loss": 0.2367,
1169
+ "step": 945
1170
+ },
1171
+ {
1172
+ "epoch": 3.37,
1173
+ "learning_rate": 1.5650741350906097e-05,
1174
+ "loss": 0.1001,
1175
+ "step": 950
1176
+ },
1177
+ {
1178
+ "epoch": 3.39,
1179
+ "learning_rate": 1.57331136738056e-05,
1180
+ "loss": 0.1122,
1181
+ "step": 955
1182
+ },
1183
+ {
1184
+ "epoch": 3.41,
1185
+ "learning_rate": 1.5815485996705106e-05,
1186
+ "loss": 0.1992,
1187
+ "step": 960
1188
+ },
1189
+ {
1190
+ "epoch": 3.43,
1191
+ "learning_rate": 1.5897858319604614e-05,
1192
+ "loss": 0.0839,
1193
+ "step": 965
1194
+ },
1195
+ {
1196
+ "epoch": 3.45,
1197
+ "learning_rate": 1.598023064250412e-05,
1198
+ "loss": 0.1391,
1199
+ "step": 970
1200
+ },
1201
+ {
1202
+ "epoch": 3.46,
1203
+ "learning_rate": 1.6062602965403626e-05,
1204
+ "loss": 0.1759,
1205
+ "step": 975
1206
+ },
1207
+ {
1208
+ "epoch": 3.48,
1209
+ "learning_rate": 1.614497528830313e-05,
1210
+ "loss": 0.0337,
1211
+ "step": 980
1212
+ },
1213
+ {
1214
+ "epoch": 3.5,
1215
+ "learning_rate": 1.6227347611202635e-05,
1216
+ "loss": 0.1444,
1217
+ "step": 985
1218
+ },
1219
+ {
1220
+ "epoch": 3.52,
1221
+ "learning_rate": 1.630971993410214e-05,
1222
+ "loss": 0.0905,
1223
+ "step": 990
1224
+ },
1225
+ {
1226
+ "epoch": 3.53,
1227
+ "learning_rate": 1.6392092257001648e-05,
1228
+ "loss": 0.1339,
1229
+ "step": 995
1230
+ },
1231
+ {
1232
+ "epoch": 3.55,
1233
+ "learning_rate": 1.6474464579901152e-05,
1234
+ "loss": 0.0834,
1235
+ "step": 1000
1236
+ },
1237
+ {
1238
+ "epoch": 3.57,
1239
+ "learning_rate": 1.655683690280066e-05,
1240
+ "loss": 0.0958,
1241
+ "step": 1005
1242
+ },
1243
+ {
1244
+ "epoch": 3.59,
1245
+ "learning_rate": 1.6639209225700165e-05,
1246
+ "loss": 0.054,
1247
+ "step": 1010
1248
+ },
1249
+ {
1250
+ "epoch": 3.61,
1251
+ "learning_rate": 1.6721581548599673e-05,
1252
+ "loss": 0.1113,
1253
+ "step": 1015
1254
+ },
1255
+ {
1256
+ "epoch": 3.62,
1257
+ "learning_rate": 1.6803953871499177e-05,
1258
+ "loss": 0.1611,
1259
+ "step": 1020
1260
+ },
1261
+ {
1262
+ "epoch": 3.64,
1263
+ "learning_rate": 1.6886326194398682e-05,
1264
+ "loss": 0.1001,
1265
+ "step": 1025
1266
+ },
1267
+ {
1268
+ "epoch": 3.66,
1269
+ "learning_rate": 1.696869851729819e-05,
1270
+ "loss": 0.0998,
1271
+ "step": 1030
1272
+ },
1273
+ {
1274
+ "epoch": 3.68,
1275
+ "learning_rate": 1.7051070840197694e-05,
1276
+ "loss": 0.0603,
1277
+ "step": 1035
1278
+ },
1279
+ {
1280
+ "epoch": 3.69,
1281
+ "learning_rate": 1.7133443163097202e-05,
1282
+ "loss": 0.1444,
1283
+ "step": 1040
1284
+ },
1285
+ {
1286
+ "epoch": 3.71,
1287
+ "learning_rate": 1.7215815485996707e-05,
1288
+ "loss": 0.1594,
1289
+ "step": 1045
1290
+ },
1291
+ {
1292
+ "epoch": 3.73,
1293
+ "learning_rate": 1.729818780889621e-05,
1294
+ "loss": 0.1355,
1295
+ "step": 1050
1296
+ },
1297
+ {
1298
+ "epoch": 3.75,
1299
+ "learning_rate": 1.7380560131795716e-05,
1300
+ "loss": 0.1373,
1301
+ "step": 1055
1302
+ },
1303
+ {
1304
+ "epoch": 3.77,
1305
+ "learning_rate": 1.7462932454695224e-05,
1306
+ "loss": 0.0969,
1307
+ "step": 1060
1308
+ },
1309
+ {
1310
+ "epoch": 3.78,
1311
+ "learning_rate": 1.754530477759473e-05,
1312
+ "loss": 0.0711,
1313
+ "step": 1065
1314
+ },
1315
+ {
1316
+ "epoch": 3.8,
1317
+ "learning_rate": 1.7627677100494236e-05,
1318
+ "loss": 0.1425,
1319
+ "step": 1070
1320
+ },
1321
+ {
1322
+ "epoch": 3.82,
1323
+ "learning_rate": 1.771004942339374e-05,
1324
+ "loss": 0.1354,
1325
+ "step": 1075
1326
+ },
1327
+ {
1328
+ "epoch": 3.84,
1329
+ "learning_rate": 1.779242174629325e-05,
1330
+ "loss": 0.183,
1331
+ "step": 1080
1332
+ },
1333
+ {
1334
+ "epoch": 3.85,
1335
+ "learning_rate": 1.7874794069192753e-05,
1336
+ "loss": 0.0864,
1337
+ "step": 1085
1338
+ },
1339
+ {
1340
+ "epoch": 3.87,
1341
+ "learning_rate": 1.7957166392092258e-05,
1342
+ "loss": 0.11,
1343
+ "step": 1090
1344
+ },
1345
+ {
1346
+ "epoch": 3.89,
1347
+ "learning_rate": 1.8039538714991762e-05,
1348
+ "loss": 0.0572,
1349
+ "step": 1095
1350
+ },
1351
+ {
1352
+ "epoch": 3.91,
1353
+ "learning_rate": 1.812191103789127e-05,
1354
+ "loss": 0.0901,
1355
+ "step": 1100
1356
+ },
1357
+ {
1358
+ "epoch": 3.93,
1359
+ "learning_rate": 1.8204283360790775e-05,
1360
+ "loss": 0.0958,
1361
+ "step": 1105
1362
+ },
1363
+ {
1364
+ "epoch": 3.94,
1365
+ "learning_rate": 1.8286655683690283e-05,
1366
+ "loss": 0.1022,
1367
+ "step": 1110
1368
+ },
1369
+ {
1370
+ "epoch": 3.96,
1371
+ "learning_rate": 1.8369028006589787e-05,
1372
+ "loss": 0.0814,
1373
+ "step": 1115
1374
+ },
1375
+ {
1376
+ "epoch": 3.98,
1377
+ "learning_rate": 1.8451400329489292e-05,
1378
+ "loss": 0.0505,
1379
+ "step": 1120
1380
+ },
1381
+ {
1382
+ "epoch": 4.0,
1383
+ "learning_rate": 1.8533772652388796e-05,
1384
+ "loss": 0.2337,
1385
+ "step": 1125
1386
+ },
1387
+ {
1388
+ "epoch": 4.0,
1389
+ "eval_accuracy": 0.982,
1390
+ "eval_loss": 0.06833887100219727,
1391
+ "eval_runtime": 103.3312,
1392
+ "eval_samples_per_second": 29.033,
1393
+ "eval_steps_per_second": 1.819,
1394
+ "step": 1126
1395
+ },
1396
+ {
1397
+ "epoch": 4.01,
1398
+ "learning_rate": 1.8616144975288304e-05,
1399
+ "loss": 0.1804,
1400
+ "step": 1130
1401
+ },
1402
+ {
1403
+ "epoch": 4.03,
1404
+ "learning_rate": 1.869851729818781e-05,
1405
+ "loss": 0.0369,
1406
+ "step": 1135
1407
+ },
1408
+ {
1409
+ "epoch": 4.05,
1410
+ "learning_rate": 1.8780889621087317e-05,
1411
+ "loss": 0.1201,
1412
+ "step": 1140
1413
+ },
1414
+ {
1415
+ "epoch": 4.07,
1416
+ "learning_rate": 1.886326194398682e-05,
1417
+ "loss": 0.1551,
1418
+ "step": 1145
1419
+ },
1420
+ {
1421
+ "epoch": 4.09,
1422
+ "learning_rate": 1.894563426688633e-05,
1423
+ "loss": 0.0762,
1424
+ "step": 1150
1425
+ },
1426
+ {
1427
+ "epoch": 4.1,
1428
+ "learning_rate": 1.9028006589785834e-05,
1429
+ "loss": 0.0775,
1430
+ "step": 1155
1431
+ },
1432
+ {
1433
+ "epoch": 4.12,
1434
+ "learning_rate": 1.911037891268534e-05,
1435
+ "loss": 0.0529,
1436
+ "step": 1160
1437
+ },
1438
+ {
1439
+ "epoch": 4.14,
1440
+ "learning_rate": 1.9192751235584843e-05,
1441
+ "loss": 0.0614,
1442
+ "step": 1165
1443
+ },
1444
+ {
1445
+ "epoch": 4.16,
1446
+ "learning_rate": 1.927512355848435e-05,
1447
+ "loss": 0.0438,
1448
+ "step": 1170
1449
+ },
1450
+ {
1451
+ "epoch": 4.17,
1452
+ "learning_rate": 1.9357495881383855e-05,
1453
+ "loss": 0.0592,
1454
+ "step": 1175
1455
+ },
1456
+ {
1457
+ "epoch": 4.19,
1458
+ "learning_rate": 1.9439868204283363e-05,
1459
+ "loss": 0.0795,
1460
+ "step": 1180
1461
+ },
1462
+ {
1463
+ "epoch": 4.21,
1464
+ "learning_rate": 1.9522240527182868e-05,
1465
+ "loss": 0.154,
1466
+ "step": 1185
1467
+ },
1468
+ {
1469
+ "epoch": 4.23,
1470
+ "learning_rate": 1.9604612850082372e-05,
1471
+ "loss": 0.1057,
1472
+ "step": 1190
1473
+ },
1474
+ {
1475
+ "epoch": 4.25,
1476
+ "learning_rate": 1.9686985172981877e-05,
1477
+ "loss": 0.0702,
1478
+ "step": 1195
1479
+ },
1480
+ {
1481
+ "epoch": 4.26,
1482
+ "learning_rate": 1.9769357495881385e-05,
1483
+ "loss": 0.1535,
1484
+ "step": 1200
1485
+ },
1486
+ {
1487
+ "epoch": 4.28,
1488
+ "learning_rate": 1.985172981878089e-05,
1489
+ "loss": 0.125,
1490
+ "step": 1205
1491
+ },
1492
+ {
1493
+ "epoch": 4.3,
1494
+ "learning_rate": 1.9934102141680397e-05,
1495
+ "loss": 0.1554,
1496
+ "step": 1210
1497
+ },
1498
+ {
1499
+ "epoch": 4.32,
1500
+ "learning_rate": 2.0016474464579902e-05,
1501
+ "loss": 0.2754,
1502
+ "step": 1215
1503
+ },
1504
+ {
1505
+ "epoch": 4.33,
1506
+ "learning_rate": 2.009884678747941e-05,
1507
+ "loss": 0.1334,
1508
+ "step": 1220
1509
+ },
1510
+ {
1511
+ "epoch": 4.35,
1512
+ "learning_rate": 2.0181219110378914e-05,
1513
+ "loss": 0.1489,
1514
+ "step": 1225
1515
+ },
1516
+ {
1517
+ "epoch": 4.37,
1518
+ "learning_rate": 2.026359143327842e-05,
1519
+ "loss": 0.125,
1520
+ "step": 1230
1521
+ },
1522
+ {
1523
+ "epoch": 4.39,
1524
+ "learning_rate": 2.0345963756177923e-05,
1525
+ "loss": 0.0825,
1526
+ "step": 1235
1527
+ },
1528
+ {
1529
+ "epoch": 4.4,
1530
+ "learning_rate": 2.042833607907743e-05,
1531
+ "loss": 0.0359,
1532
+ "step": 1240
1533
+ },
1534
+ {
1535
+ "epoch": 4.42,
1536
+ "learning_rate": 2.0510708401976936e-05,
1537
+ "loss": 0.1447,
1538
+ "step": 1245
1539
+ },
1540
+ {
1541
+ "epoch": 4.44,
1542
+ "learning_rate": 2.0593080724876444e-05,
1543
+ "loss": 0.0958,
1544
+ "step": 1250
1545
+ },
1546
+ {
1547
+ "epoch": 4.46,
1548
+ "learning_rate": 2.067545304777595e-05,
1549
+ "loss": 0.1453,
1550
+ "step": 1255
1551
+ },
1552
+ {
1553
+ "epoch": 4.48,
1554
+ "learning_rate": 2.0757825370675453e-05,
1555
+ "loss": 0.0814,
1556
+ "step": 1260
1557
+ },
1558
+ {
1559
+ "epoch": 4.49,
1560
+ "learning_rate": 2.0840197693574957e-05,
1561
+ "loss": 0.1224,
1562
+ "step": 1265
1563
+ },
1564
+ {
1565
+ "epoch": 4.51,
1566
+ "learning_rate": 2.0922570016474465e-05,
1567
+ "loss": 0.0573,
1568
+ "step": 1270
1569
+ },
1570
+ {
1571
+ "epoch": 4.53,
1572
+ "learning_rate": 2.100494233937397e-05,
1573
+ "loss": 0.06,
1574
+ "step": 1275
1575
+ },
1576
+ {
1577
+ "epoch": 4.55,
1578
+ "learning_rate": 2.1087314662273478e-05,
1579
+ "loss": 0.0671,
1580
+ "step": 1280
1581
+ },
1582
+ {
1583
+ "epoch": 4.56,
1584
+ "learning_rate": 2.1169686985172982e-05,
1585
+ "loss": 0.0732,
1586
+ "step": 1285
1587
+ },
1588
+ {
1589
+ "epoch": 4.58,
1590
+ "learning_rate": 2.125205930807249e-05,
1591
+ "loss": 0.0669,
1592
+ "step": 1290
1593
+ },
1594
+ {
1595
+ "epoch": 4.6,
1596
+ "learning_rate": 2.1334431630971995e-05,
1597
+ "loss": 0.0719,
1598
+ "step": 1295
1599
+ },
1600
+ {
1601
+ "epoch": 4.62,
1602
+ "learning_rate": 2.14168039538715e-05,
1603
+ "loss": 0.0729,
1604
+ "step": 1300
1605
+ },
1606
+ {
1607
+ "epoch": 4.64,
1608
+ "learning_rate": 2.1499176276771004e-05,
1609
+ "loss": 0.0659,
1610
+ "step": 1305
1611
+ },
1612
+ {
1613
+ "epoch": 4.65,
1614
+ "learning_rate": 2.1581548599670512e-05,
1615
+ "loss": 0.0926,
1616
+ "step": 1310
1617
+ },
1618
+ {
1619
+ "epoch": 4.67,
1620
+ "learning_rate": 2.1663920922570016e-05,
1621
+ "loss": 0.0682,
1622
+ "step": 1315
1623
+ },
1624
+ {
1625
+ "epoch": 4.69,
1626
+ "learning_rate": 2.1746293245469524e-05,
1627
+ "loss": 0.1173,
1628
+ "step": 1320
1629
+ },
1630
+ {
1631
+ "epoch": 4.71,
1632
+ "learning_rate": 2.182866556836903e-05,
1633
+ "loss": 0.1075,
1634
+ "step": 1325
1635
+ },
1636
+ {
1637
+ "epoch": 4.72,
1638
+ "learning_rate": 2.1911037891268533e-05,
1639
+ "loss": 0.0801,
1640
+ "step": 1330
1641
+ },
1642
+ {
1643
+ "epoch": 4.74,
1644
+ "learning_rate": 2.1993410214168038e-05,
1645
+ "loss": 0.1199,
1646
+ "step": 1335
1647
+ },
1648
+ {
1649
+ "epoch": 4.76,
1650
+ "learning_rate": 2.2075782537067546e-05,
1651
+ "loss": 0.0687,
1652
+ "step": 1340
1653
+ },
1654
+ {
1655
+ "epoch": 4.78,
1656
+ "learning_rate": 2.215815485996705e-05,
1657
+ "loss": 0.0116,
1658
+ "step": 1345
1659
+ },
1660
+ {
1661
+ "epoch": 4.8,
1662
+ "learning_rate": 2.224052718286656e-05,
1663
+ "loss": 0.0827,
1664
+ "step": 1350
1665
+ },
1666
+ {
1667
+ "epoch": 4.81,
1668
+ "learning_rate": 2.2322899505766066e-05,
1669
+ "loss": 0.1503,
1670
+ "step": 1355
1671
+ },
1672
+ {
1673
+ "epoch": 4.83,
1674
+ "learning_rate": 2.240527182866557e-05,
1675
+ "loss": 0.1168,
1676
+ "step": 1360
1677
+ },
1678
+ {
1679
+ "epoch": 4.85,
1680
+ "learning_rate": 2.2487644151565075e-05,
1681
+ "loss": 0.0839,
1682
+ "step": 1365
1683
+ },
1684
+ {
1685
+ "epoch": 4.87,
1686
+ "learning_rate": 2.257001647446458e-05,
1687
+ "loss": 0.079,
1688
+ "step": 1370
1689
+ },
1690
+ {
1691
+ "epoch": 4.88,
1692
+ "learning_rate": 2.2652388797364088e-05,
1693
+ "loss": 0.0179,
1694
+ "step": 1375
1695
+ },
1696
+ {
1697
+ "epoch": 4.9,
1698
+ "learning_rate": 2.2734761120263592e-05,
1699
+ "loss": 0.1077,
1700
+ "step": 1380
1701
+ },
1702
+ {
1703
+ "epoch": 4.92,
1704
+ "learning_rate": 2.28171334431631e-05,
1705
+ "loss": 0.0753,
1706
+ "step": 1385
1707
+ },
1708
+ {
1709
+ "epoch": 4.94,
1710
+ "learning_rate": 2.2899505766062605e-05,
1711
+ "loss": 0.0599,
1712
+ "step": 1390
1713
+ },
1714
+ {
1715
+ "epoch": 4.96,
1716
+ "learning_rate": 2.298187808896211e-05,
1717
+ "loss": 0.1009,
1718
+ "step": 1395
1719
+ },
1720
+ {
1721
+ "epoch": 4.97,
1722
+ "learning_rate": 2.3064250411861614e-05,
1723
+ "loss": 0.1012,
1724
+ "step": 1400
1725
+ },
1726
+ {
1727
+ "epoch": 4.99,
1728
+ "learning_rate": 2.3146622734761122e-05,
1729
+ "loss": 0.1285,
1730
+ "step": 1405
1731
+ },
1732
+ {
1733
+ "epoch": 5.0,
1734
+ "eval_accuracy": 0.9923333333333333,
1735
+ "eval_loss": 0.02931647002696991,
1736
+ "eval_runtime": 102.8839,
1737
+ "eval_samples_per_second": 29.159,
1738
+ "eval_steps_per_second": 1.827,
1739
+ "step": 1407
1740
+ },
1741
+ {
1742
+ "epoch": 5.01,
1743
+ "learning_rate": 2.3228995057660626e-05,
1744
+ "loss": 0.0156,
1745
+ "step": 1410
1746
+ },
1747
+ {
1748
+ "epoch": 5.03,
1749
+ "learning_rate": 2.3311367380560134e-05,
1750
+ "loss": 0.0601,
1751
+ "step": 1415
1752
+ },
1753
+ {
1754
+ "epoch": 5.04,
1755
+ "learning_rate": 2.339373970345964e-05,
1756
+ "loss": 0.1066,
1757
+ "step": 1420
1758
+ },
1759
+ {
1760
+ "epoch": 5.06,
1761
+ "learning_rate": 2.3476112026359147e-05,
1762
+ "loss": 0.1083,
1763
+ "step": 1425
1764
+ },
1765
+ {
1766
+ "epoch": 5.08,
1767
+ "learning_rate": 2.355848434925865e-05,
1768
+ "loss": 0.1596,
1769
+ "step": 1430
1770
+ },
1771
+ {
1772
+ "epoch": 5.1,
1773
+ "learning_rate": 2.3640856672158156e-05,
1774
+ "loss": 0.0789,
1775
+ "step": 1435
1776
+ },
1777
+ {
1778
+ "epoch": 5.12,
1779
+ "learning_rate": 2.372322899505766e-05,
1780
+ "loss": 0.1064,
1781
+ "step": 1440
1782
+ },
1783
+ {
1784
+ "epoch": 5.13,
1785
+ "learning_rate": 2.380560131795717e-05,
1786
+ "loss": 0.1128,
1787
+ "step": 1445
1788
+ },
1789
+ {
1790
+ "epoch": 5.15,
1791
+ "learning_rate": 2.3887973640856673e-05,
1792
+ "loss": 0.1064,
1793
+ "step": 1450
1794
+ },
1795
+ {
1796
+ "epoch": 5.17,
1797
+ "learning_rate": 2.397034596375618e-05,
1798
+ "loss": 0.0708,
1799
+ "step": 1455
1800
+ },
1801
+ {
1802
+ "epoch": 5.19,
1803
+ "learning_rate": 2.4052718286655685e-05,
1804
+ "loss": 0.1121,
1805
+ "step": 1460
1806
+ },
1807
+ {
1808
+ "epoch": 5.2,
1809
+ "learning_rate": 2.413509060955519e-05,
1810
+ "loss": 0.0615,
1811
+ "step": 1465
1812
+ },
1813
+ {
1814
+ "epoch": 5.22,
1815
+ "learning_rate": 2.4217462932454694e-05,
1816
+ "loss": 0.2011,
1817
+ "step": 1470
1818
+ },
1819
+ {
1820
+ "epoch": 5.24,
1821
+ "learning_rate": 2.4299835255354202e-05,
1822
+ "loss": 0.0912,
1823
+ "step": 1475
1824
+ },
1825
+ {
1826
+ "epoch": 5.26,
1827
+ "learning_rate": 2.4382207578253707e-05,
1828
+ "loss": 0.0729,
1829
+ "step": 1480
1830
+ },
1831
+ {
1832
+ "epoch": 5.28,
1833
+ "learning_rate": 2.4464579901153215e-05,
1834
+ "loss": 0.0371,
1835
+ "step": 1485
1836
+ },
1837
+ {
1838
+ "epoch": 5.29,
1839
+ "learning_rate": 2.454695222405272e-05,
1840
+ "loss": 0.0649,
1841
+ "step": 1490
1842
+ },
1843
+ {
1844
+ "epoch": 5.31,
1845
+ "learning_rate": 2.4629324546952227e-05,
1846
+ "loss": 0.0957,
1847
+ "step": 1495
1848
+ },
1849
+ {
1850
+ "epoch": 5.33,
1851
+ "learning_rate": 2.4711696869851732e-05,
1852
+ "loss": 0.1118,
1853
+ "step": 1500
1854
+ },
1855
+ {
1856
+ "epoch": 5.35,
1857
+ "learning_rate": 2.4794069192751236e-05,
1858
+ "loss": 0.0885,
1859
+ "step": 1505
1860
+ },
1861
+ {
1862
+ "epoch": 5.36,
1863
+ "learning_rate": 2.487644151565074e-05,
1864
+ "loss": 0.0483,
1865
+ "step": 1510
1866
+ },
1867
+ {
1868
+ "epoch": 5.38,
1869
+ "learning_rate": 2.495881383855025e-05,
1870
+ "loss": 0.0613,
1871
+ "step": 1515
1872
+ },
1873
+ {
1874
+ "epoch": 5.4,
1875
+ "learning_rate": 2.5041186161449753e-05,
1876
+ "loss": 0.1008,
1877
+ "step": 1520
1878
+ },
1879
+ {
1880
+ "epoch": 5.42,
1881
+ "learning_rate": 2.5123558484349258e-05,
1882
+ "loss": 0.1557,
1883
+ "step": 1525
1884
+ },
1885
+ {
1886
+ "epoch": 5.44,
1887
+ "learning_rate": 2.520593080724877e-05,
1888
+ "loss": 0.0303,
1889
+ "step": 1530
1890
+ },
1891
+ {
1892
+ "epoch": 5.45,
1893
+ "learning_rate": 2.528830313014827e-05,
1894
+ "loss": 0.0462,
1895
+ "step": 1535
1896
+ },
1897
+ {
1898
+ "epoch": 5.47,
1899
+ "learning_rate": 2.5370675453047775e-05,
1900
+ "loss": 0.0925,
1901
+ "step": 1540
1902
+ },
1903
+ {
1904
+ "epoch": 5.49,
1905
+ "learning_rate": 2.545304777594728e-05,
1906
+ "loss": 0.061,
1907
+ "step": 1545
1908
+ },
1909
+ {
1910
+ "epoch": 5.51,
1911
+ "learning_rate": 2.553542009884679e-05,
1912
+ "loss": 0.0585,
1913
+ "step": 1550
1914
+ },
1915
+ {
1916
+ "epoch": 5.52,
1917
+ "learning_rate": 2.5617792421746295e-05,
1918
+ "loss": 0.0655,
1919
+ "step": 1555
1920
+ },
1921
+ {
1922
+ "epoch": 5.54,
1923
+ "learning_rate": 2.57001647446458e-05,
1924
+ "loss": 0.1573,
1925
+ "step": 1560
1926
+ },
1927
+ {
1928
+ "epoch": 5.56,
1929
+ "learning_rate": 2.5782537067545305e-05,
1930
+ "loss": 0.0872,
1931
+ "step": 1565
1932
+ },
1933
+ {
1934
+ "epoch": 5.58,
1935
+ "learning_rate": 2.5864909390444812e-05,
1936
+ "loss": 0.0605,
1937
+ "step": 1570
1938
+ },
1939
+ {
1940
+ "epoch": 5.6,
1941
+ "learning_rate": 2.5947281713344317e-05,
1942
+ "loss": 0.0434,
1943
+ "step": 1575
1944
+ },
1945
+ {
1946
+ "epoch": 5.61,
1947
+ "learning_rate": 2.602965403624382e-05,
1948
+ "loss": 0.0977,
1949
+ "step": 1580
1950
+ },
1951
+ {
1952
+ "epoch": 5.63,
1953
+ "learning_rate": 2.6112026359143326e-05,
1954
+ "loss": 0.0319,
1955
+ "step": 1585
1956
+ },
1957
+ {
1958
+ "epoch": 5.65,
1959
+ "learning_rate": 2.6194398682042837e-05,
1960
+ "loss": 0.0557,
1961
+ "step": 1590
1962
+ },
1963
+ {
1964
+ "epoch": 5.67,
1965
+ "learning_rate": 2.6276771004942342e-05,
1966
+ "loss": 0.1051,
1967
+ "step": 1595
1968
+ },
1969
+ {
1970
+ "epoch": 5.68,
1971
+ "learning_rate": 2.6359143327841846e-05,
1972
+ "loss": 0.0481,
1973
+ "step": 1600
1974
+ },
1975
+ {
1976
+ "epoch": 5.7,
1977
+ "learning_rate": 2.644151565074135e-05,
1978
+ "loss": 0.0303,
1979
+ "step": 1605
1980
+ },
1981
+ {
1982
+ "epoch": 5.72,
1983
+ "learning_rate": 2.652388797364086e-05,
1984
+ "loss": 0.1231,
1985
+ "step": 1610
1986
+ },
1987
+ {
1988
+ "epoch": 5.74,
1989
+ "learning_rate": 2.6606260296540363e-05,
1990
+ "loss": 0.044,
1991
+ "step": 1615
1992
+ },
1993
+ {
1994
+ "epoch": 5.75,
1995
+ "learning_rate": 2.6688632619439868e-05,
1996
+ "loss": 0.0462,
1997
+ "step": 1620
1998
+ },
1999
+ {
2000
+ "epoch": 5.77,
2001
+ "learning_rate": 2.6771004942339373e-05,
2002
+ "loss": 0.036,
2003
+ "step": 1625
2004
+ },
2005
+ {
2006
+ "epoch": 5.79,
2007
+ "learning_rate": 2.6853377265238884e-05,
2008
+ "loss": 0.0388,
2009
+ "step": 1630
2010
+ },
2011
+ {
2012
+ "epoch": 5.81,
2013
+ "learning_rate": 2.693574958813839e-05,
2014
+ "loss": 0.1279,
2015
+ "step": 1635
2016
+ },
2017
+ {
2018
+ "epoch": 5.83,
2019
+ "learning_rate": 2.7018121911037893e-05,
2020
+ "loss": 0.0419,
2021
+ "step": 1640
2022
+ },
2023
+ {
2024
+ "epoch": 5.84,
2025
+ "learning_rate": 2.7100494233937394e-05,
2026
+ "loss": 0.1365,
2027
+ "step": 1645
2028
+ },
2029
+ {
2030
+ "epoch": 5.86,
2031
+ "learning_rate": 2.7182866556836905e-05,
2032
+ "loss": 0.0455,
2033
+ "step": 1650
2034
+ },
2035
+ {
2036
+ "epoch": 5.88,
2037
+ "learning_rate": 2.726523887973641e-05,
2038
+ "loss": 0.1434,
2039
+ "step": 1655
2040
+ },
2041
+ {
2042
+ "epoch": 5.9,
2043
+ "learning_rate": 2.7347611202635915e-05,
2044
+ "loss": 0.0875,
2045
+ "step": 1660
2046
+ },
2047
+ {
2048
+ "epoch": 5.91,
2049
+ "learning_rate": 2.742998352553542e-05,
2050
+ "loss": 0.1429,
2051
+ "step": 1665
2052
+ },
2053
+ {
2054
+ "epoch": 5.93,
2055
+ "learning_rate": 2.7512355848434927e-05,
2056
+ "loss": 0.0456,
2057
+ "step": 1670
2058
+ },
2059
+ {
2060
+ "epoch": 5.95,
2061
+ "learning_rate": 2.759472817133443e-05,
2062
+ "loss": 0.1056,
2063
+ "step": 1675
2064
+ },
2065
+ {
2066
+ "epoch": 5.97,
2067
+ "learning_rate": 2.7677100494233936e-05,
2068
+ "loss": 0.0315,
2069
+ "step": 1680
2070
+ },
2071
+ {
2072
+ "epoch": 5.99,
2073
+ "learning_rate": 2.775947281713344e-05,
2074
+ "loss": 0.047,
2075
+ "step": 1685
2076
+ },
2077
+ {
2078
+ "epoch": 6.0,
2079
+ "eval_accuracy": 0.975,
2080
+ "eval_loss": 0.09873583912849426,
2081
+ "eval_runtime": 103.1743,
2082
+ "eval_samples_per_second": 29.077,
2083
+ "eval_steps_per_second": 1.822,
2084
+ "step": 1689
2085
+ },
2086
+ {
2087
+ "epoch": 6.0,
2088
+ "learning_rate": 2.7841845140032952e-05,
2089
+ "loss": 0.0723,
2090
+ "step": 1690
2091
+ },
2092
+ {
2093
+ "epoch": 6.02,
2094
+ "learning_rate": 2.7924217462932456e-05,
2095
+ "loss": 0.287,
2096
+ "step": 1695
2097
+ },
2098
+ {
2099
+ "epoch": 6.04,
2100
+ "learning_rate": 2.800658978583196e-05,
2101
+ "loss": 0.0364,
2102
+ "step": 1700
2103
+ },
2104
+ {
2105
+ "epoch": 6.06,
2106
+ "learning_rate": 2.808896210873147e-05,
2107
+ "loss": 0.1763,
2108
+ "step": 1705
2109
+ },
2110
+ {
2111
+ "epoch": 6.07,
2112
+ "learning_rate": 2.8171334431630973e-05,
2113
+ "loss": 0.1123,
2114
+ "step": 1710
2115
+ },
2116
+ {
2117
+ "epoch": 6.09,
2118
+ "learning_rate": 2.8253706754530478e-05,
2119
+ "loss": 0.1386,
2120
+ "step": 1715
2121
+ },
2122
+ {
2123
+ "epoch": 6.11,
2124
+ "learning_rate": 2.8336079077429983e-05,
2125
+ "loss": 0.0935,
2126
+ "step": 1720
2127
+ },
2128
+ {
2129
+ "epoch": 6.13,
2130
+ "learning_rate": 2.8418451400329494e-05,
2131
+ "loss": 0.0552,
2132
+ "step": 1725
2133
+ },
2134
+ {
2135
+ "epoch": 6.15,
2136
+ "learning_rate": 2.8500823723229e-05,
2137
+ "loss": 0.1309,
2138
+ "step": 1730
2139
+ },
2140
+ {
2141
+ "epoch": 6.16,
2142
+ "learning_rate": 2.8583196046128503e-05,
2143
+ "loss": 0.0556,
2144
+ "step": 1735
2145
+ },
2146
+ {
2147
+ "epoch": 6.18,
2148
+ "learning_rate": 2.8665568369028008e-05,
2149
+ "loss": 0.0378,
2150
+ "step": 1740
2151
+ },
2152
+ {
2153
+ "epoch": 6.2,
2154
+ "learning_rate": 2.8747940691927515e-05,
2155
+ "loss": 0.0699,
2156
+ "step": 1745
2157
+ },
2158
+ {
2159
+ "epoch": 6.22,
2160
+ "learning_rate": 2.883031301482702e-05,
2161
+ "loss": 0.0824,
2162
+ "step": 1750
2163
+ },
2164
+ {
2165
+ "epoch": 6.23,
2166
+ "learning_rate": 2.8912685337726525e-05,
2167
+ "loss": 0.1064,
2168
+ "step": 1755
2169
+ },
2170
+ {
2171
+ "epoch": 6.25,
2172
+ "learning_rate": 2.899505766062603e-05,
2173
+ "loss": 0.0639,
2174
+ "step": 1760
2175
+ },
2176
+ {
2177
+ "epoch": 6.27,
2178
+ "learning_rate": 2.907742998352554e-05,
2179
+ "loss": 0.0946,
2180
+ "step": 1765
2181
+ },
2182
+ {
2183
+ "epoch": 6.29,
2184
+ "learning_rate": 2.9159802306425045e-05,
2185
+ "loss": 0.0716,
2186
+ "step": 1770
2187
+ },
2188
+ {
2189
+ "epoch": 6.31,
2190
+ "learning_rate": 2.924217462932455e-05,
2191
+ "loss": 0.0552,
2192
+ "step": 1775
2193
+ },
2194
+ {
2195
+ "epoch": 6.32,
2196
+ "learning_rate": 2.9324546952224054e-05,
2197
+ "loss": 0.0617,
2198
+ "step": 1780
2199
+ },
2200
+ {
2201
+ "epoch": 6.34,
2202
+ "learning_rate": 2.9406919275123562e-05,
2203
+ "loss": 0.0163,
2204
+ "step": 1785
2205
+ },
2206
+ {
2207
+ "epoch": 6.36,
2208
+ "learning_rate": 2.9489291598023067e-05,
2209
+ "loss": 0.0336,
2210
+ "step": 1790
2211
+ },
2212
+ {
2213
+ "epoch": 6.38,
2214
+ "learning_rate": 2.957166392092257e-05,
2215
+ "loss": 0.0533,
2216
+ "step": 1795
2217
+ },
2218
+ {
2219
+ "epoch": 6.39,
2220
+ "learning_rate": 2.9654036243822076e-05,
2221
+ "loss": 0.0402,
2222
+ "step": 1800
2223
+ },
2224
+ {
2225
+ "epoch": 6.41,
2226
+ "learning_rate": 2.9736408566721587e-05,
2227
+ "loss": 0.0353,
2228
+ "step": 1805
2229
+ },
2230
+ {
2231
+ "epoch": 6.43,
2232
+ "learning_rate": 2.9818780889621088e-05,
2233
+ "loss": 0.0737,
2234
+ "step": 1810
2235
+ },
2236
+ {
2237
+ "epoch": 6.45,
2238
+ "learning_rate": 2.9901153212520593e-05,
2239
+ "loss": 0.1074,
2240
+ "step": 1815
2241
+ },
2242
+ {
2243
+ "epoch": 6.47,
2244
+ "learning_rate": 2.9983525535420097e-05,
2245
+ "loss": 0.0236,
2246
+ "step": 1820
2247
+ },
2248
+ {
2249
+ "epoch": 6.48,
2250
+ "learning_rate": 3.006589785831961e-05,
2251
+ "loss": 0.075,
2252
+ "step": 1825
2253
+ },
2254
+ {
2255
+ "epoch": 6.5,
2256
+ "learning_rate": 3.0148270181219113e-05,
2257
+ "loss": 0.0617,
2258
+ "step": 1830
2259
+ },
2260
+ {
2261
+ "epoch": 6.52,
2262
+ "learning_rate": 3.0230642504118618e-05,
2263
+ "loss": 0.0139,
2264
+ "step": 1835
2265
+ },
2266
+ {
2267
+ "epoch": 6.54,
2268
+ "learning_rate": 3.0313014827018122e-05,
2269
+ "loss": 0.028,
2270
+ "step": 1840
2271
+ },
2272
+ {
2273
+ "epoch": 6.55,
2274
+ "learning_rate": 3.039538714991763e-05,
2275
+ "loss": 0.0746,
2276
+ "step": 1845
2277
+ },
2278
+ {
2279
+ "epoch": 6.57,
2280
+ "learning_rate": 3.0477759472817135e-05,
2281
+ "loss": 0.1602,
2282
+ "step": 1850
2283
+ },
2284
+ {
2285
+ "epoch": 6.59,
2286
+ "learning_rate": 3.056013179571664e-05,
2287
+ "loss": 0.0461,
2288
+ "step": 1855
2289
+ },
2290
+ {
2291
+ "epoch": 6.61,
2292
+ "learning_rate": 3.0642504118616144e-05,
2293
+ "loss": 0.0324,
2294
+ "step": 1860
2295
+ },
2296
+ {
2297
+ "epoch": 6.63,
2298
+ "learning_rate": 3.0724876441515655e-05,
2299
+ "loss": 0.0803,
2300
+ "step": 1865
2301
+ },
2302
+ {
2303
+ "epoch": 6.64,
2304
+ "learning_rate": 3.080724876441516e-05,
2305
+ "loss": 0.073,
2306
+ "step": 1870
2307
+ },
2308
+ {
2309
+ "epoch": 6.66,
2310
+ "learning_rate": 3.0889621087314664e-05,
2311
+ "loss": 0.1086,
2312
+ "step": 1875
2313
+ },
2314
+ {
2315
+ "epoch": 6.68,
2316
+ "learning_rate": 3.097199341021417e-05,
2317
+ "loss": 0.0582,
2318
+ "step": 1880
2319
+ },
2320
+ {
2321
+ "epoch": 6.7,
2322
+ "learning_rate": 3.105436573311368e-05,
2323
+ "loss": 0.042,
2324
+ "step": 1885
2325
+ },
2326
+ {
2327
+ "epoch": 6.71,
2328
+ "learning_rate": 3.1136738056013184e-05,
2329
+ "loss": 0.1111,
2330
+ "step": 1890
2331
+ },
2332
+ {
2333
+ "epoch": 6.73,
2334
+ "learning_rate": 3.121911037891269e-05,
2335
+ "loss": 0.0646,
2336
+ "step": 1895
2337
+ },
2338
+ {
2339
+ "epoch": 6.75,
2340
+ "learning_rate": 3.1301482701812194e-05,
2341
+ "loss": 0.1404,
2342
+ "step": 1900
2343
+ },
2344
+ {
2345
+ "epoch": 6.77,
2346
+ "learning_rate": 3.13838550247117e-05,
2347
+ "loss": 0.0556,
2348
+ "step": 1905
2349
+ },
2350
+ {
2351
+ "epoch": 6.79,
2352
+ "learning_rate": 3.14662273476112e-05,
2353
+ "loss": 0.1132,
2354
+ "step": 1910
2355
+ },
2356
+ {
2357
+ "epoch": 6.8,
2358
+ "learning_rate": 3.154859967051071e-05,
2359
+ "loss": 0.0547,
2360
+ "step": 1915
2361
+ },
2362
+ {
2363
+ "epoch": 6.82,
2364
+ "learning_rate": 3.163097199341021e-05,
2365
+ "loss": 0.0944,
2366
+ "step": 1920
2367
+ },
2368
+ {
2369
+ "epoch": 6.84,
2370
+ "learning_rate": 3.171334431630972e-05,
2371
+ "loss": 0.0772,
2372
+ "step": 1925
2373
+ },
2374
+ {
2375
+ "epoch": 6.86,
2376
+ "learning_rate": 3.179571663920923e-05,
2377
+ "loss": 0.1075,
2378
+ "step": 1930
2379
+ },
2380
+ {
2381
+ "epoch": 6.87,
2382
+ "learning_rate": 3.187808896210873e-05,
2383
+ "loss": 0.2451,
2384
+ "step": 1935
2385
+ },
2386
+ {
2387
+ "epoch": 6.89,
2388
+ "learning_rate": 3.196046128500824e-05,
2389
+ "loss": 0.0491,
2390
+ "step": 1940
2391
+ },
2392
+ {
2393
+ "epoch": 6.91,
2394
+ "learning_rate": 3.204283360790775e-05,
2395
+ "loss": 0.1249,
2396
+ "step": 1945
2397
+ },
2398
+ {
2399
+ "epoch": 6.93,
2400
+ "learning_rate": 3.212520593080725e-05,
2401
+ "loss": 0.0504,
2402
+ "step": 1950
2403
+ },
2404
+ {
2405
+ "epoch": 6.94,
2406
+ "learning_rate": 3.220757825370676e-05,
2407
+ "loss": 0.0896,
2408
+ "step": 1955
2409
+ },
2410
+ {
2411
+ "epoch": 6.96,
2412
+ "learning_rate": 3.228995057660626e-05,
2413
+ "loss": 0.1948,
2414
+ "step": 1960
2415
+ },
2416
+ {
2417
+ "epoch": 6.98,
2418
+ "learning_rate": 3.2372322899505766e-05,
2419
+ "loss": 0.1477,
2420
+ "step": 1965
2421
+ },
2422
+ {
2423
+ "epoch": 7.0,
2424
+ "learning_rate": 3.245469522240527e-05,
2425
+ "loss": 0.0741,
2426
+ "step": 1970
2427
+ },
2428
+ {
2429
+ "epoch": 7.0,
2430
+ "eval_accuracy": 0.988,
2431
+ "eval_loss": 0.037325419485569,
2432
+ "eval_runtime": 103.071,
2433
+ "eval_samples_per_second": 29.106,
2434
+ "eval_steps_per_second": 1.824,
2435
+ "step": 1970
2436
+ },
2437
+ {
2438
+ "epoch": 7.02,
2439
+ "learning_rate": 3.2537067545304775e-05,
2440
+ "loss": 0.0566,
2441
+ "step": 1975
2442
+ },
2443
+ {
2444
+ "epoch": 7.03,
2445
+ "learning_rate": 3.261943986820428e-05,
2446
+ "loss": 0.0324,
2447
+ "step": 1980
2448
+ },
2449
+ {
2450
+ "epoch": 7.05,
2451
+ "learning_rate": 3.270181219110379e-05,
2452
+ "loss": 0.0586,
2453
+ "step": 1985
2454
+ },
2455
+ {
2456
+ "epoch": 7.07,
2457
+ "learning_rate": 3.2784184514003296e-05,
2458
+ "loss": 0.0519,
2459
+ "step": 1990
2460
+ },
2461
+ {
2462
+ "epoch": 7.09,
2463
+ "learning_rate": 3.28665568369028e-05,
2464
+ "loss": 0.0255,
2465
+ "step": 1995
2466
+ },
2467
+ {
2468
+ "epoch": 7.1,
2469
+ "learning_rate": 3.2948929159802305e-05,
2470
+ "loss": 0.0865,
2471
+ "step": 2000
2472
+ },
2473
+ {
2474
+ "epoch": 7.12,
2475
+ "learning_rate": 3.3031301482701816e-05,
2476
+ "loss": 0.0349,
2477
+ "step": 2005
2478
+ },
2479
+ {
2480
+ "epoch": 7.14,
2481
+ "learning_rate": 3.311367380560132e-05,
2482
+ "loss": 0.0897,
2483
+ "step": 2010
2484
+ },
2485
+ {
2486
+ "epoch": 7.16,
2487
+ "learning_rate": 3.3196046128500825e-05,
2488
+ "loss": 0.1209,
2489
+ "step": 2015
2490
+ },
2491
+ {
2492
+ "epoch": 7.18,
2493
+ "learning_rate": 3.327841845140033e-05,
2494
+ "loss": 0.0204,
2495
+ "step": 2020
2496
+ },
2497
+ {
2498
+ "epoch": 7.19,
2499
+ "learning_rate": 3.336079077429984e-05,
2500
+ "loss": 0.1516,
2501
+ "step": 2025
2502
+ },
2503
+ {
2504
+ "epoch": 7.21,
2505
+ "learning_rate": 3.3443163097199346e-05,
2506
+ "loss": 0.0491,
2507
+ "step": 2030
2508
+ },
2509
+ {
2510
+ "epoch": 7.23,
2511
+ "learning_rate": 3.352553542009885e-05,
2512
+ "loss": 0.1446,
2513
+ "step": 2035
2514
+ },
2515
+ {
2516
+ "epoch": 7.25,
2517
+ "learning_rate": 3.3607907742998355e-05,
2518
+ "loss": 0.0114,
2519
+ "step": 2040
2520
+ },
2521
+ {
2522
+ "epoch": 7.26,
2523
+ "learning_rate": 3.369028006589786e-05,
2524
+ "loss": 0.0629,
2525
+ "step": 2045
2526
+ },
2527
+ {
2528
+ "epoch": 7.28,
2529
+ "learning_rate": 3.3772652388797364e-05,
2530
+ "loss": 0.0072,
2531
+ "step": 2050
2532
+ },
2533
+ {
2534
+ "epoch": 7.3,
2535
+ "learning_rate": 3.385502471169687e-05,
2536
+ "loss": 0.0152,
2537
+ "step": 2055
2538
+ },
2539
+ {
2540
+ "epoch": 7.32,
2541
+ "learning_rate": 3.393739703459638e-05,
2542
+ "loss": 0.1723,
2543
+ "step": 2060
2544
+ },
2545
+ {
2546
+ "epoch": 7.34,
2547
+ "learning_rate": 3.4019769357495884e-05,
2548
+ "loss": 0.0597,
2549
+ "step": 2065
2550
+ },
2551
+ {
2552
+ "epoch": 7.35,
2553
+ "learning_rate": 3.410214168039539e-05,
2554
+ "loss": 0.1124,
2555
+ "step": 2070
2556
+ },
2557
+ {
2558
+ "epoch": 7.37,
2559
+ "learning_rate": 3.418451400329489e-05,
2560
+ "loss": 0.066,
2561
+ "step": 2075
2562
+ },
2563
+ {
2564
+ "epoch": 7.39,
2565
+ "learning_rate": 3.4266886326194404e-05,
2566
+ "loss": 0.0129,
2567
+ "step": 2080
2568
+ },
2569
+ {
2570
+ "epoch": 7.41,
2571
+ "learning_rate": 3.434925864909391e-05,
2572
+ "loss": 0.0213,
2573
+ "step": 2085
2574
+ },
2575
+ {
2576
+ "epoch": 7.42,
2577
+ "learning_rate": 3.4431630971993414e-05,
2578
+ "loss": 0.189,
2579
+ "step": 2090
2580
+ },
2581
+ {
2582
+ "epoch": 7.44,
2583
+ "learning_rate": 3.451400329489292e-05,
2584
+ "loss": 0.1282,
2585
+ "step": 2095
2586
+ },
2587
+ {
2588
+ "epoch": 7.46,
2589
+ "learning_rate": 3.459637561779242e-05,
2590
+ "loss": 0.1049,
2591
+ "step": 2100
2592
+ },
2593
+ {
2594
+ "epoch": 7.48,
2595
+ "learning_rate": 3.467874794069193e-05,
2596
+ "loss": 0.0942,
2597
+ "step": 2105
2598
+ },
2599
+ {
2600
+ "epoch": 7.5,
2601
+ "learning_rate": 3.476112026359143e-05,
2602
+ "loss": 0.1089,
2603
+ "step": 2110
2604
+ },
2605
+ {
2606
+ "epoch": 7.51,
2607
+ "learning_rate": 3.4843492586490936e-05,
2608
+ "loss": 0.0919,
2609
+ "step": 2115
2610
+ },
2611
+ {
2612
+ "epoch": 7.53,
2613
+ "learning_rate": 3.492586490939045e-05,
2614
+ "loss": 0.0271,
2615
+ "step": 2120
2616
+ },
2617
+ {
2618
+ "epoch": 7.55,
2619
+ "learning_rate": 3.500823723228995e-05,
2620
+ "loss": 0.0784,
2621
+ "step": 2125
2622
+ },
2623
+ {
2624
+ "epoch": 7.57,
2625
+ "learning_rate": 3.509060955518946e-05,
2626
+ "loss": 0.0201,
2627
+ "step": 2130
2628
+ },
2629
+ {
2630
+ "epoch": 7.58,
2631
+ "learning_rate": 3.517298187808896e-05,
2632
+ "loss": 0.0949,
2633
+ "step": 2135
2634
+ },
2635
+ {
2636
+ "epoch": 7.6,
2637
+ "learning_rate": 3.525535420098847e-05,
2638
+ "loss": 0.017,
2639
+ "step": 2140
2640
+ },
2641
+ {
2642
+ "epoch": 7.62,
2643
+ "learning_rate": 3.533772652388798e-05,
2644
+ "loss": 0.0507,
2645
+ "step": 2145
2646
+ },
2647
+ {
2648
+ "epoch": 7.64,
2649
+ "learning_rate": 3.542009884678748e-05,
2650
+ "loss": 0.0248,
2651
+ "step": 2150
2652
+ },
2653
+ {
2654
+ "epoch": 7.66,
2655
+ "learning_rate": 3.5502471169686986e-05,
2656
+ "loss": 0.0257,
2657
+ "step": 2155
2658
+ },
2659
+ {
2660
+ "epoch": 7.67,
2661
+ "learning_rate": 3.55848434925865e-05,
2662
+ "loss": 0.0722,
2663
+ "step": 2160
2664
+ },
2665
+ {
2666
+ "epoch": 7.69,
2667
+ "learning_rate": 3.5667215815486e-05,
2668
+ "loss": 0.0443,
2669
+ "step": 2165
2670
+ },
2671
+ {
2672
+ "epoch": 7.71,
2673
+ "learning_rate": 3.5749588138385507e-05,
2674
+ "loss": 0.0622,
2675
+ "step": 2170
2676
+ },
2677
+ {
2678
+ "epoch": 7.73,
2679
+ "learning_rate": 3.583196046128501e-05,
2680
+ "loss": 0.0416,
2681
+ "step": 2175
2682
+ },
2683
+ {
2684
+ "epoch": 7.74,
2685
+ "learning_rate": 3.5914332784184516e-05,
2686
+ "loss": 0.0351,
2687
+ "step": 2180
2688
+ },
2689
+ {
2690
+ "epoch": 7.76,
2691
+ "learning_rate": 3.599670510708402e-05,
2692
+ "loss": 0.0827,
2693
+ "step": 2185
2694
+ },
2695
+ {
2696
+ "epoch": 7.78,
2697
+ "learning_rate": 3.6079077429983525e-05,
2698
+ "loss": 0.114,
2699
+ "step": 2190
2700
+ },
2701
+ {
2702
+ "epoch": 7.8,
2703
+ "learning_rate": 3.616144975288303e-05,
2704
+ "loss": 0.0579,
2705
+ "step": 2195
2706
+ },
2707
+ {
2708
+ "epoch": 7.82,
2709
+ "learning_rate": 3.624382207578254e-05,
2710
+ "loss": 0.0879,
2711
+ "step": 2200
2712
+ },
2713
+ {
2714
+ "epoch": 7.83,
2715
+ "learning_rate": 3.6326194398682045e-05,
2716
+ "loss": 0.0622,
2717
+ "step": 2205
2718
+ },
2719
+ {
2720
+ "epoch": 7.85,
2721
+ "learning_rate": 3.640856672158155e-05,
2722
+ "loss": 0.0688,
2723
+ "step": 2210
2724
+ },
2725
+ {
2726
+ "epoch": 7.87,
2727
+ "learning_rate": 3.6490939044481054e-05,
2728
+ "loss": 0.0285,
2729
+ "step": 2215
2730
+ },
2731
+ {
2732
+ "epoch": 7.89,
2733
+ "learning_rate": 3.6573311367380566e-05,
2734
+ "loss": 0.1117,
2735
+ "step": 2220
2736
+ },
2737
+ {
2738
+ "epoch": 7.9,
2739
+ "learning_rate": 3.665568369028007e-05,
2740
+ "loss": 0.142,
2741
+ "step": 2225
2742
+ },
2743
+ {
2744
+ "epoch": 7.92,
2745
+ "learning_rate": 3.6738056013179575e-05,
2746
+ "loss": 0.0554,
2747
+ "step": 2230
2748
+ },
2749
+ {
2750
+ "epoch": 7.94,
2751
+ "learning_rate": 3.682042833607908e-05,
2752
+ "loss": 0.0532,
2753
+ "step": 2235
2754
+ },
2755
+ {
2756
+ "epoch": 7.96,
2757
+ "learning_rate": 3.6902800658978584e-05,
2758
+ "loss": 0.0602,
2759
+ "step": 2240
2760
+ },
2761
+ {
2762
+ "epoch": 7.98,
2763
+ "learning_rate": 3.698517298187809e-05,
2764
+ "loss": 0.0585,
2765
+ "step": 2245
2766
+ },
2767
+ {
2768
+ "epoch": 7.99,
2769
+ "learning_rate": 3.706754530477759e-05,
2770
+ "loss": 0.153,
2771
+ "step": 2250
2772
+ },
2773
+ {
2774
+ "epoch": 8.0,
2775
+ "eval_accuracy": 0.9996666666666667,
2776
+ "eval_loss": 0.004267791751772165,
2777
+ "eval_runtime": 103.6449,
2778
+ "eval_samples_per_second": 28.945,
2779
+ "eval_steps_per_second": 1.814,
2780
+ "step": 2252
2781
+ },
2782
+ {
2783
+ "epoch": 8.01,
2784
+ "learning_rate": 3.71499176276771e-05,
2785
+ "loss": 0.0074,
2786
+ "step": 2255
2787
+ },
2788
+ {
2789
+ "epoch": 8.03,
2790
+ "learning_rate": 3.723228995057661e-05,
2791
+ "loss": 0.0601,
2792
+ "step": 2260
2793
+ },
2794
+ {
2795
+ "epoch": 8.05,
2796
+ "learning_rate": 3.731466227347611e-05,
2797
+ "loss": 0.1,
2798
+ "step": 2265
2799
+ },
2800
+ {
2801
+ "epoch": 8.06,
2802
+ "learning_rate": 3.739703459637562e-05,
2803
+ "loss": 0.0091,
2804
+ "step": 2270
2805
+ },
2806
+ {
2807
+ "epoch": 8.08,
2808
+ "learning_rate": 3.747940691927512e-05,
2809
+ "loss": 0.1053,
2810
+ "step": 2275
2811
+ },
2812
+ {
2813
+ "epoch": 8.1,
2814
+ "learning_rate": 3.7561779242174634e-05,
2815
+ "loss": 0.0764,
2816
+ "step": 2280
2817
+ },
2818
+ {
2819
+ "epoch": 8.12,
2820
+ "learning_rate": 3.764415156507414e-05,
2821
+ "loss": 0.0205,
2822
+ "step": 2285
2823
+ },
2824
+ {
2825
+ "epoch": 8.13,
2826
+ "learning_rate": 3.772652388797364e-05,
2827
+ "loss": 0.0291,
2828
+ "step": 2290
2829
+ },
2830
+ {
2831
+ "epoch": 8.15,
2832
+ "learning_rate": 3.780889621087315e-05,
2833
+ "loss": 0.036,
2834
+ "step": 2295
2835
+ },
2836
+ {
2837
+ "epoch": 8.17,
2838
+ "learning_rate": 3.789126853377266e-05,
2839
+ "loss": 0.0944,
2840
+ "step": 2300
2841
+ },
2842
+ {
2843
+ "epoch": 8.19,
2844
+ "learning_rate": 3.797364085667216e-05,
2845
+ "loss": 0.035,
2846
+ "step": 2305
2847
+ },
2848
+ {
2849
+ "epoch": 8.21,
2850
+ "learning_rate": 3.805601317957167e-05,
2851
+ "loss": 0.0377,
2852
+ "step": 2310
2853
+ },
2854
+ {
2855
+ "epoch": 8.22,
2856
+ "learning_rate": 3.813838550247117e-05,
2857
+ "loss": 0.07,
2858
+ "step": 2315
2859
+ },
2860
+ {
2861
+ "epoch": 8.24,
2862
+ "learning_rate": 3.822075782537068e-05,
2863
+ "loss": 0.0173,
2864
+ "step": 2320
2865
+ },
2866
+ {
2867
+ "epoch": 8.26,
2868
+ "learning_rate": 3.830313014827018e-05,
2869
+ "loss": 0.1078,
2870
+ "step": 2325
2871
+ },
2872
+ {
2873
+ "epoch": 8.28,
2874
+ "learning_rate": 3.8385502471169686e-05,
2875
+ "loss": 0.0844,
2876
+ "step": 2330
2877
+ },
2878
+ {
2879
+ "epoch": 8.29,
2880
+ "learning_rate": 3.846787479406919e-05,
2881
+ "loss": 0.0506,
2882
+ "step": 2335
2883
+ },
2884
+ {
2885
+ "epoch": 8.31,
2886
+ "learning_rate": 3.85502471169687e-05,
2887
+ "loss": 0.008,
2888
+ "step": 2340
2889
+ },
2890
+ {
2891
+ "epoch": 8.33,
2892
+ "learning_rate": 3.8632619439868206e-05,
2893
+ "loss": 0.0716,
2894
+ "step": 2345
2895
+ },
2896
+ {
2897
+ "epoch": 8.35,
2898
+ "learning_rate": 3.871499176276771e-05,
2899
+ "loss": 0.0405,
2900
+ "step": 2350
2901
+ },
2902
+ {
2903
+ "epoch": 8.37,
2904
+ "learning_rate": 3.8797364085667215e-05,
2905
+ "loss": 0.0507,
2906
+ "step": 2355
2907
+ },
2908
+ {
2909
+ "epoch": 8.38,
2910
+ "learning_rate": 3.8879736408566727e-05,
2911
+ "loss": 0.0328,
2912
+ "step": 2360
2913
+ },
2914
+ {
2915
+ "epoch": 8.4,
2916
+ "learning_rate": 3.896210873146623e-05,
2917
+ "loss": 0.1797,
2918
+ "step": 2365
2919
+ },
2920
+ {
2921
+ "epoch": 8.42,
2922
+ "learning_rate": 3.9044481054365736e-05,
2923
+ "loss": 0.059,
2924
+ "step": 2370
2925
+ },
2926
+ {
2927
+ "epoch": 8.44,
2928
+ "learning_rate": 3.912685337726524e-05,
2929
+ "loss": 0.0714,
2930
+ "step": 2375
2931
+ },
2932
+ {
2933
+ "epoch": 8.45,
2934
+ "learning_rate": 3.9209225700164745e-05,
2935
+ "loss": 0.0615,
2936
+ "step": 2380
2937
+ },
2938
+ {
2939
+ "epoch": 8.47,
2940
+ "learning_rate": 3.929159802306425e-05,
2941
+ "loss": 0.0667,
2942
+ "step": 2385
2943
+ },
2944
+ {
2945
+ "epoch": 8.49,
2946
+ "learning_rate": 3.9373970345963754e-05,
2947
+ "loss": 0.154,
2948
+ "step": 2390
2949
+ },
2950
+ {
2951
+ "epoch": 8.51,
2952
+ "learning_rate": 3.9456342668863265e-05,
2953
+ "loss": 0.0138,
2954
+ "step": 2395
2955
+ },
2956
+ {
2957
+ "epoch": 8.53,
2958
+ "learning_rate": 3.953871499176277e-05,
2959
+ "loss": 0.0342,
2960
+ "step": 2400
2961
+ },
2962
+ {
2963
+ "epoch": 8.54,
2964
+ "learning_rate": 3.9621087314662274e-05,
2965
+ "loss": 0.0212,
2966
+ "step": 2405
2967
+ },
2968
+ {
2969
+ "epoch": 8.56,
2970
+ "learning_rate": 3.970345963756178e-05,
2971
+ "loss": 0.0792,
2972
+ "step": 2410
2973
+ },
2974
+ {
2975
+ "epoch": 8.58,
2976
+ "learning_rate": 3.978583196046129e-05,
2977
+ "loss": 0.1257,
2978
+ "step": 2415
2979
+ },
2980
+ {
2981
+ "epoch": 8.6,
2982
+ "learning_rate": 3.9868204283360795e-05,
2983
+ "loss": 0.1654,
2984
+ "step": 2420
2985
+ },
2986
+ {
2987
+ "epoch": 8.61,
2988
+ "learning_rate": 3.99505766062603e-05,
2989
+ "loss": 0.0687,
2990
+ "step": 2425
2991
+ },
2992
+ {
2993
+ "epoch": 8.63,
2994
+ "learning_rate": 4.0032948929159804e-05,
2995
+ "loss": 0.0887,
2996
+ "step": 2430
2997
+ },
2998
+ {
2999
+ "epoch": 8.65,
3000
+ "learning_rate": 4.0115321252059315e-05,
3001
+ "loss": 0.0506,
3002
+ "step": 2435
3003
+ },
3004
+ {
3005
+ "epoch": 8.67,
3006
+ "learning_rate": 4.019769357495882e-05,
3007
+ "loss": 0.0882,
3008
+ "step": 2440
3009
+ },
3010
+ {
3011
+ "epoch": 8.69,
3012
+ "learning_rate": 4.0280065897858324e-05,
3013
+ "loss": 0.0695,
3014
+ "step": 2445
3015
+ },
3016
+ {
3017
+ "epoch": 8.7,
3018
+ "learning_rate": 4.036243822075783e-05,
3019
+ "loss": 0.0082,
3020
+ "step": 2450
3021
+ },
3022
+ {
3023
+ "epoch": 8.72,
3024
+ "learning_rate": 4.044481054365733e-05,
3025
+ "loss": 0.0514,
3026
+ "step": 2455
3027
+ },
3028
+ {
3029
+ "epoch": 8.74,
3030
+ "learning_rate": 4.052718286655684e-05,
3031
+ "loss": 0.0062,
3032
+ "step": 2460
3033
+ },
3034
+ {
3035
+ "epoch": 8.76,
3036
+ "learning_rate": 4.060955518945634e-05,
3037
+ "loss": 0.1933,
3038
+ "step": 2465
3039
+ },
3040
+ {
3041
+ "epoch": 8.77,
3042
+ "learning_rate": 4.069192751235585e-05,
3043
+ "loss": 0.0984,
3044
+ "step": 2470
3045
+ },
3046
+ {
3047
+ "epoch": 8.79,
3048
+ "learning_rate": 4.077429983525536e-05,
3049
+ "loss": 0.007,
3050
+ "step": 2475
3051
+ },
3052
+ {
3053
+ "epoch": 8.81,
3054
+ "learning_rate": 4.085667215815486e-05,
3055
+ "loss": 0.0773,
3056
+ "step": 2480
3057
+ },
3058
+ {
3059
+ "epoch": 8.83,
3060
+ "learning_rate": 4.093904448105437e-05,
3061
+ "loss": 0.163,
3062
+ "step": 2485
3063
+ },
3064
+ {
3065
+ "epoch": 8.85,
3066
+ "learning_rate": 4.102141680395387e-05,
3067
+ "loss": 0.0634,
3068
+ "step": 2490
3069
+ },
3070
+ {
3071
+ "epoch": 8.86,
3072
+ "learning_rate": 4.110378912685338e-05,
3073
+ "loss": 0.0718,
3074
+ "step": 2495
3075
+ },
3076
+ {
3077
+ "epoch": 8.88,
3078
+ "learning_rate": 4.118616144975289e-05,
3079
+ "loss": 0.0545,
3080
+ "step": 2500
3081
+ },
3082
+ {
3083
+ "epoch": 8.9,
3084
+ "learning_rate": 4.126853377265239e-05,
3085
+ "loss": 0.0109,
3086
+ "step": 2505
3087
+ },
3088
+ {
3089
+ "epoch": 8.92,
3090
+ "learning_rate": 4.13509060955519e-05,
3091
+ "loss": 0.0373,
3092
+ "step": 2510
3093
+ },
3094
+ {
3095
+ "epoch": 8.93,
3096
+ "learning_rate": 4.14332784184514e-05,
3097
+ "loss": 0.0968,
3098
+ "step": 2515
3099
+ },
3100
+ {
3101
+ "epoch": 8.95,
3102
+ "learning_rate": 4.1515650741350906e-05,
3103
+ "loss": 0.0431,
3104
+ "step": 2520
3105
+ },
3106
+ {
3107
+ "epoch": 8.97,
3108
+ "learning_rate": 4.159802306425041e-05,
3109
+ "loss": 0.0041,
3110
+ "step": 2525
3111
+ },
3112
+ {
3113
+ "epoch": 8.99,
3114
+ "learning_rate": 4.1680395387149915e-05,
3115
+ "loss": 0.0244,
3116
+ "step": 2530
3117
+ },
3118
+ {
3119
+ "epoch": 9.0,
3120
+ "eval_accuracy": 0.981,
3121
+ "eval_loss": 0.06960970908403397,
3122
+ "eval_runtime": 103.4462,
3123
+ "eval_samples_per_second": 29.001,
3124
+ "eval_steps_per_second": 1.817,
3125
+ "step": 2533
3126
+ },
3127
+ {
3128
+ "epoch": 9.01,
3129
+ "learning_rate": 4.1762767710049426e-05,
3130
+ "loss": 0.1355,
3131
+ "step": 2535
3132
+ },
3133
+ {
3134
+ "epoch": 9.02,
3135
+ "learning_rate": 4.184514003294893e-05,
3136
+ "loss": 0.0561,
3137
+ "step": 2540
3138
+ },
3139
+ {
3140
+ "epoch": 9.04,
3141
+ "learning_rate": 4.1927512355848435e-05,
3142
+ "loss": 0.0498,
3143
+ "step": 2545
3144
+ },
3145
+ {
3146
+ "epoch": 9.06,
3147
+ "learning_rate": 4.200988467874794e-05,
3148
+ "loss": 0.0254,
3149
+ "step": 2550
3150
+ },
3151
+ {
3152
+ "epoch": 9.08,
3153
+ "learning_rate": 4.209225700164745e-05,
3154
+ "loss": 0.071,
3155
+ "step": 2555
3156
+ },
3157
+ {
3158
+ "epoch": 9.09,
3159
+ "learning_rate": 4.2174629324546956e-05,
3160
+ "loss": 0.0298,
3161
+ "step": 2560
3162
+ },
3163
+ {
3164
+ "epoch": 9.11,
3165
+ "learning_rate": 4.225700164744646e-05,
3166
+ "loss": 0.0128,
3167
+ "step": 2565
3168
+ },
3169
+ {
3170
+ "epoch": 9.13,
3171
+ "learning_rate": 4.2339373970345965e-05,
3172
+ "loss": 0.0994,
3173
+ "step": 2570
3174
+ },
3175
+ {
3176
+ "epoch": 9.15,
3177
+ "learning_rate": 4.2421746293245476e-05,
3178
+ "loss": 0.1421,
3179
+ "step": 2575
3180
+ },
3181
+ {
3182
+ "epoch": 9.17,
3183
+ "learning_rate": 4.250411861614498e-05,
3184
+ "loss": 0.1385,
3185
+ "step": 2580
3186
+ },
3187
+ {
3188
+ "epoch": 9.18,
3189
+ "learning_rate": 4.2586490939044485e-05,
3190
+ "loss": 0.0723,
3191
+ "step": 2585
3192
+ },
3193
+ {
3194
+ "epoch": 9.2,
3195
+ "learning_rate": 4.266886326194399e-05,
3196
+ "loss": 0.0812,
3197
+ "step": 2590
3198
+ },
3199
+ {
3200
+ "epoch": 9.22,
3201
+ "learning_rate": 4.2751235584843494e-05,
3202
+ "loss": 0.0567,
3203
+ "step": 2595
3204
+ },
3205
+ {
3206
+ "epoch": 9.24,
3207
+ "learning_rate": 4.2833607907743e-05,
3208
+ "loss": 0.0913,
3209
+ "step": 2600
3210
+ },
3211
+ {
3212
+ "epoch": 9.25,
3213
+ "learning_rate": 4.29159802306425e-05,
3214
+ "loss": 0.062,
3215
+ "step": 2605
3216
+ },
3217
+ {
3218
+ "epoch": 9.27,
3219
+ "learning_rate": 4.299835255354201e-05,
3220
+ "loss": 0.0336,
3221
+ "step": 2610
3222
+ },
3223
+ {
3224
+ "epoch": 9.29,
3225
+ "learning_rate": 4.308072487644152e-05,
3226
+ "loss": 0.0118,
3227
+ "step": 2615
3228
+ },
3229
+ {
3230
+ "epoch": 9.31,
3231
+ "learning_rate": 4.3163097199341024e-05,
3232
+ "loss": 0.0096,
3233
+ "step": 2620
3234
+ },
3235
+ {
3236
+ "epoch": 9.33,
3237
+ "learning_rate": 4.324546952224053e-05,
3238
+ "loss": 0.0836,
3239
+ "step": 2625
3240
+ },
3241
+ {
3242
+ "epoch": 9.34,
3243
+ "learning_rate": 4.332784184514003e-05,
3244
+ "loss": 0.0627,
3245
+ "step": 2630
3246
+ },
3247
+ {
3248
+ "epoch": 9.36,
3249
+ "learning_rate": 4.3410214168039544e-05,
3250
+ "loss": 0.0153,
3251
+ "step": 2635
3252
+ },
3253
+ {
3254
+ "epoch": 9.38,
3255
+ "learning_rate": 4.349258649093905e-05,
3256
+ "loss": 0.0043,
3257
+ "step": 2640
3258
+ },
3259
+ {
3260
+ "epoch": 9.4,
3261
+ "learning_rate": 4.357495881383855e-05,
3262
+ "loss": 0.0099,
3263
+ "step": 2645
3264
+ },
3265
+ {
3266
+ "epoch": 9.41,
3267
+ "learning_rate": 4.365733113673806e-05,
3268
+ "loss": 0.0365,
3269
+ "step": 2650
3270
+ },
3271
+ {
3272
+ "epoch": 9.43,
3273
+ "learning_rate": 4.373970345963756e-05,
3274
+ "loss": 0.1346,
3275
+ "step": 2655
3276
+ },
3277
+ {
3278
+ "epoch": 9.45,
3279
+ "learning_rate": 4.382207578253707e-05,
3280
+ "loss": 0.0603,
3281
+ "step": 2660
3282
+ },
3283
+ {
3284
+ "epoch": 9.47,
3285
+ "learning_rate": 4.390444810543657e-05,
3286
+ "loss": 0.0286,
3287
+ "step": 2665
3288
+ },
3289
+ {
3290
+ "epoch": 9.48,
3291
+ "learning_rate": 4.3986820428336076e-05,
3292
+ "loss": 0.004,
3293
+ "step": 2670
3294
+ },
3295
+ {
3296
+ "epoch": 9.5,
3297
+ "learning_rate": 4.406919275123559e-05,
3298
+ "loss": 0.0636,
3299
+ "step": 2675
3300
+ },
3301
+ {
3302
+ "epoch": 9.52,
3303
+ "learning_rate": 4.415156507413509e-05,
3304
+ "loss": 0.0452,
3305
+ "step": 2680
3306
+ },
3307
+ {
3308
+ "epoch": 9.54,
3309
+ "learning_rate": 4.4233937397034596e-05,
3310
+ "loss": 0.0294,
3311
+ "step": 2685
3312
+ },
3313
+ {
3314
+ "epoch": 9.56,
3315
+ "learning_rate": 4.43163097199341e-05,
3316
+ "loss": 0.0908,
3317
+ "step": 2690
3318
+ },
3319
+ {
3320
+ "epoch": 9.57,
3321
+ "learning_rate": 4.439868204283361e-05,
3322
+ "loss": 0.0994,
3323
+ "step": 2695
3324
+ },
3325
+ {
3326
+ "epoch": 9.59,
3327
+ "learning_rate": 4.448105436573312e-05,
3328
+ "loss": 0.0322,
3329
+ "step": 2700
3330
+ },
3331
+ {
3332
+ "epoch": 9.61,
3333
+ "learning_rate": 4.456342668863262e-05,
3334
+ "loss": 0.0027,
3335
+ "step": 2705
3336
+ },
3337
+ {
3338
+ "epoch": 9.63,
3339
+ "learning_rate": 4.464579901153213e-05,
3340
+ "loss": 0.0813,
3341
+ "step": 2710
3342
+ },
3343
+ {
3344
+ "epoch": 9.64,
3345
+ "learning_rate": 4.472817133443164e-05,
3346
+ "loss": 0.0263,
3347
+ "step": 2715
3348
+ },
3349
+ {
3350
+ "epoch": 9.66,
3351
+ "learning_rate": 4.481054365733114e-05,
3352
+ "loss": 0.0218,
3353
+ "step": 2720
3354
+ },
3355
+ {
3356
+ "epoch": 9.68,
3357
+ "learning_rate": 4.4892915980230646e-05,
3358
+ "loss": 0.0164,
3359
+ "step": 2725
3360
+ },
3361
+ {
3362
+ "epoch": 9.7,
3363
+ "learning_rate": 4.497528830313015e-05,
3364
+ "loss": 0.0139,
3365
+ "step": 2730
3366
+ },
3367
+ {
3368
+ "epoch": 9.72,
3369
+ "learning_rate": 4.5057660626029655e-05,
3370
+ "loss": 0.0108,
3371
+ "step": 2735
3372
+ },
3373
+ {
3374
+ "epoch": 9.73,
3375
+ "learning_rate": 4.514003294892916e-05,
3376
+ "loss": 0.0018,
3377
+ "step": 2740
3378
+ },
3379
+ {
3380
+ "epoch": 9.75,
3381
+ "learning_rate": 4.5222405271828664e-05,
3382
+ "loss": 0.0869,
3383
+ "step": 2745
3384
+ },
3385
+ {
3386
+ "epoch": 9.77,
3387
+ "learning_rate": 4.5304777594728176e-05,
3388
+ "loss": 0.2074,
3389
+ "step": 2750
3390
+ },
3391
+ {
3392
+ "epoch": 9.79,
3393
+ "learning_rate": 4.538714991762768e-05,
3394
+ "loss": 0.1727,
3395
+ "step": 2755
3396
+ },
3397
+ {
3398
+ "epoch": 9.8,
3399
+ "learning_rate": 4.5469522240527185e-05,
3400
+ "loss": 0.0816,
3401
+ "step": 2760
3402
+ },
3403
+ {
3404
+ "epoch": 9.82,
3405
+ "learning_rate": 4.555189456342669e-05,
3406
+ "loss": 0.0424,
3407
+ "step": 2765
3408
+ },
3409
+ {
3410
+ "epoch": 9.84,
3411
+ "learning_rate": 4.56342668863262e-05,
3412
+ "loss": 0.0198,
3413
+ "step": 2770
3414
+ },
3415
+ {
3416
+ "epoch": 9.86,
3417
+ "learning_rate": 4.5716639209225705e-05,
3418
+ "loss": 0.0544,
3419
+ "step": 2775
3420
+ },
3421
+ {
3422
+ "epoch": 9.88,
3423
+ "learning_rate": 4.579901153212521e-05,
3424
+ "loss": 0.0934,
3425
+ "step": 2780
3426
+ },
3427
+ {
3428
+ "epoch": 9.89,
3429
+ "learning_rate": 4.5881383855024714e-05,
3430
+ "loss": 0.0565,
3431
+ "step": 2785
3432
+ },
3433
+ {
3434
+ "epoch": 9.91,
3435
+ "learning_rate": 4.596375617792422e-05,
3436
+ "loss": 0.0963,
3437
+ "step": 2790
3438
+ },
3439
+ {
3440
+ "epoch": 9.93,
3441
+ "learning_rate": 4.6046128500823723e-05,
3442
+ "loss": 0.0417,
3443
+ "step": 2795
3444
+ },
3445
+ {
3446
+ "epoch": 9.95,
3447
+ "learning_rate": 4.612850082372323e-05,
3448
+ "loss": 0.232,
3449
+ "step": 2800
3450
+ },
3451
+ {
3452
+ "epoch": 9.96,
3453
+ "learning_rate": 4.621087314662273e-05,
3454
+ "loss": 0.0678,
3455
+ "step": 2805
3456
+ },
3457
+ {
3458
+ "epoch": 9.98,
3459
+ "learning_rate": 4.6293245469522244e-05,
3460
+ "loss": 0.1453,
3461
+ "step": 2810
3462
+ },
3463
+ {
3464
+ "epoch": 10.0,
3465
+ "learning_rate": 4.637561779242175e-05,
3466
+ "loss": 0.0646,
3467
+ "step": 2815
3468
+ },
3469
+ {
3470
+ "epoch": 10.0,
3471
+ "eval_accuracy": 0.995,
3472
+ "eval_loss": 0.011982438154518604,
3473
+ "eval_runtime": 103.5553,
3474
+ "eval_samples_per_second": 28.97,
3475
+ "eval_steps_per_second": 1.815,
3476
+ "step": 2815
3477
+ },
3478
+ {
3479
+ "epoch": 10.02,
3480
+ "learning_rate": 4.645799011532125e-05,
3481
+ "loss": 0.0381,
3482
+ "step": 2820
3483
+ },
3484
+ {
3485
+ "epoch": 10.04,
3486
+ "learning_rate": 4.654036243822076e-05,
3487
+ "loss": 0.0457,
3488
+ "step": 2825
3489
+ },
3490
+ {
3491
+ "epoch": 10.05,
3492
+ "learning_rate": 4.662273476112027e-05,
3493
+ "loss": 0.0604,
3494
+ "step": 2830
3495
+ },
3496
+ {
3497
+ "epoch": 10.07,
3498
+ "learning_rate": 4.670510708401977e-05,
3499
+ "loss": 0.0741,
3500
+ "step": 2835
3501
+ },
3502
+ {
3503
+ "epoch": 10.09,
3504
+ "learning_rate": 4.678747940691928e-05,
3505
+ "loss": 0.011,
3506
+ "step": 2840
3507
+ },
3508
+ {
3509
+ "epoch": 10.11,
3510
+ "learning_rate": 4.686985172981878e-05,
3511
+ "loss": 0.1017,
3512
+ "step": 2845
3513
+ },
3514
+ {
3515
+ "epoch": 10.12,
3516
+ "learning_rate": 4.6952224052718294e-05,
3517
+ "loss": 0.0778,
3518
+ "step": 2850
3519
+ },
3520
+ {
3521
+ "epoch": 10.14,
3522
+ "learning_rate": 4.70345963756178e-05,
3523
+ "loss": 0.0241,
3524
+ "step": 2855
3525
+ },
3526
+ {
3527
+ "epoch": 10.16,
3528
+ "learning_rate": 4.71169686985173e-05,
3529
+ "loss": 0.0269,
3530
+ "step": 2860
3531
+ },
3532
+ {
3533
+ "epoch": 10.18,
3534
+ "learning_rate": 4.719934102141681e-05,
3535
+ "loss": 0.0835,
3536
+ "step": 2865
3537
+ },
3538
+ {
3539
+ "epoch": 10.2,
3540
+ "learning_rate": 4.728171334431631e-05,
3541
+ "loss": 0.0304,
3542
+ "step": 2870
3543
+ },
3544
+ {
3545
+ "epoch": 10.21,
3546
+ "learning_rate": 4.7364085667215816e-05,
3547
+ "loss": 0.0377,
3548
+ "step": 2875
3549
+ },
3550
+ {
3551
+ "epoch": 10.23,
3552
+ "learning_rate": 4.744645799011532e-05,
3553
+ "loss": 0.0199,
3554
+ "step": 2880
3555
+ },
3556
+ {
3557
+ "epoch": 10.25,
3558
+ "learning_rate": 4.7528830313014825e-05,
3559
+ "loss": 0.0047,
3560
+ "step": 2885
3561
+ },
3562
+ {
3563
+ "epoch": 10.27,
3564
+ "learning_rate": 4.761120263591434e-05,
3565
+ "loss": 0.0524,
3566
+ "step": 2890
3567
+ },
3568
+ {
3569
+ "epoch": 10.28,
3570
+ "learning_rate": 4.769357495881384e-05,
3571
+ "loss": 0.0325,
3572
+ "step": 2895
3573
+ },
3574
+ {
3575
+ "epoch": 10.3,
3576
+ "learning_rate": 4.7775947281713346e-05,
3577
+ "loss": 0.0856,
3578
+ "step": 2900
3579
+ },
3580
+ {
3581
+ "epoch": 10.32,
3582
+ "learning_rate": 4.785831960461285e-05,
3583
+ "loss": 0.0637,
3584
+ "step": 2905
3585
+ },
3586
+ {
3587
+ "epoch": 10.34,
3588
+ "learning_rate": 4.794069192751236e-05,
3589
+ "loss": 0.0531,
3590
+ "step": 2910
3591
+ },
3592
+ {
3593
+ "epoch": 10.36,
3594
+ "learning_rate": 4.8023064250411866e-05,
3595
+ "loss": 0.0931,
3596
+ "step": 2915
3597
+ },
3598
+ {
3599
+ "epoch": 10.37,
3600
+ "learning_rate": 4.810543657331137e-05,
3601
+ "loss": 0.0554,
3602
+ "step": 2920
3603
+ },
3604
+ {
3605
+ "epoch": 10.39,
3606
+ "learning_rate": 4.8187808896210875e-05,
3607
+ "loss": 0.1008,
3608
+ "step": 2925
3609
+ },
3610
+ {
3611
+ "epoch": 10.41,
3612
+ "learning_rate": 4.827018121911038e-05,
3613
+ "loss": 0.0669,
3614
+ "step": 2930
3615
+ },
3616
+ {
3617
+ "epoch": 10.43,
3618
+ "learning_rate": 4.8352553542009884e-05,
3619
+ "loss": 0.0034,
3620
+ "step": 2935
3621
+ },
3622
+ {
3623
+ "epoch": 10.44,
3624
+ "learning_rate": 4.843492586490939e-05,
3625
+ "loss": 0.0409,
3626
+ "step": 2940
3627
+ },
3628
+ {
3629
+ "epoch": 10.46,
3630
+ "learning_rate": 4.8517298187808894e-05,
3631
+ "loss": 0.0513,
3632
+ "step": 2945
3633
+ },
3634
+ {
3635
+ "epoch": 10.48,
3636
+ "learning_rate": 4.8599670510708405e-05,
3637
+ "loss": 0.1203,
3638
+ "step": 2950
3639
+ },
3640
+ {
3641
+ "epoch": 10.5,
3642
+ "learning_rate": 4.868204283360791e-05,
3643
+ "loss": 0.0321,
3644
+ "step": 2955
3645
+ },
3646
+ {
3647
+ "epoch": 10.52,
3648
+ "learning_rate": 4.8764415156507414e-05,
3649
+ "loss": 0.077,
3650
+ "step": 2960
3651
+ },
3652
+ {
3653
+ "epoch": 10.53,
3654
+ "learning_rate": 4.884678747940692e-05,
3655
+ "loss": 0.0277,
3656
+ "step": 2965
3657
+ },
3658
+ {
3659
+ "epoch": 10.55,
3660
+ "learning_rate": 4.892915980230643e-05,
3661
+ "loss": 0.0299,
3662
+ "step": 2970
3663
+ },
3664
+ {
3665
+ "epoch": 10.57,
3666
+ "learning_rate": 4.9011532125205934e-05,
3667
+ "loss": 0.1544,
3668
+ "step": 2975
3669
+ },
3670
+ {
3671
+ "epoch": 10.59,
3672
+ "learning_rate": 4.909390444810544e-05,
3673
+ "loss": 0.0122,
3674
+ "step": 2980
3675
+ },
3676
+ {
3677
+ "epoch": 10.6,
3678
+ "learning_rate": 4.9176276771004943e-05,
3679
+ "loss": 0.1204,
3680
+ "step": 2985
3681
+ },
3682
+ {
3683
+ "epoch": 10.62,
3684
+ "learning_rate": 4.9258649093904455e-05,
3685
+ "loss": 0.0048,
3686
+ "step": 2990
3687
+ },
3688
+ {
3689
+ "epoch": 10.64,
3690
+ "learning_rate": 4.934102141680396e-05,
3691
+ "loss": 0.0579,
3692
+ "step": 2995
3693
+ },
3694
+ {
3695
+ "epoch": 10.66,
3696
+ "learning_rate": 4.9423393739703464e-05,
3697
+ "loss": 0.064,
3698
+ "step": 3000
3699
+ },
3700
+ {
3701
+ "epoch": 10.67,
3702
+ "learning_rate": 4.950576606260297e-05,
3703
+ "loss": 0.0405,
3704
+ "step": 3005
3705
+ },
3706
+ {
3707
+ "epoch": 10.69,
3708
+ "learning_rate": 4.958813838550247e-05,
3709
+ "loss": 0.0614,
3710
+ "step": 3010
3711
+ },
3712
+ {
3713
+ "epoch": 10.71,
3714
+ "learning_rate": 4.967051070840198e-05,
3715
+ "loss": 0.056,
3716
+ "step": 3015
3717
+ },
3718
+ {
3719
+ "epoch": 10.73,
3720
+ "learning_rate": 4.975288303130148e-05,
3721
+ "loss": 0.0657,
3722
+ "step": 3020
3723
+ },
3724
+ {
3725
+ "epoch": 10.75,
3726
+ "learning_rate": 4.9835255354200987e-05,
3727
+ "loss": 0.0233,
3728
+ "step": 3025
3729
+ },
3730
+ {
3731
+ "epoch": 10.76,
3732
+ "learning_rate": 4.99176276771005e-05,
3733
+ "loss": 0.0463,
3734
+ "step": 3030
3735
+ },
3736
+ {
3737
+ "epoch": 10.78,
3738
+ "learning_rate": 5e-05,
3739
+ "loss": 0.0842,
3740
+ "step": 3035
3741
+ },
3742
+ {
3743
+ "epoch": 10.8,
3744
+ "learning_rate": 4.925816023738873e-05,
3745
+ "loss": 0.0374,
3746
+ "step": 3040
3747
+ },
3748
+ {
3749
+ "epoch": 10.82,
3750
+ "learning_rate": 4.851632047477745e-05,
3751
+ "loss": 0.0708,
3752
+ "step": 3045
3753
+ },
3754
+ {
3755
+ "epoch": 10.83,
3756
+ "learning_rate": 4.777448071216617e-05,
3757
+ "loss": 0.0392,
3758
+ "step": 3050
3759
+ },
3760
+ {
3761
+ "epoch": 10.85,
3762
+ "learning_rate": 4.70326409495549e-05,
3763
+ "loss": 0.1097,
3764
+ "step": 3055
3765
+ },
3766
+ {
3767
+ "epoch": 10.87,
3768
+ "learning_rate": 4.6290801186943624e-05,
3769
+ "loss": 0.0224,
3770
+ "step": 3060
3771
+ },
3772
+ {
3773
+ "epoch": 10.89,
3774
+ "learning_rate": 4.554896142433235e-05,
3775
+ "loss": 0.0549,
3776
+ "step": 3065
3777
+ },
3778
+ {
3779
+ "epoch": 10.91,
3780
+ "learning_rate": 4.480712166172107e-05,
3781
+ "loss": 0.0094,
3782
+ "step": 3070
3783
+ },
3784
+ {
3785
+ "epoch": 10.92,
3786
+ "learning_rate": 4.4065281899109794e-05,
3787
+ "loss": 0.0463,
3788
+ "step": 3075
3789
+ },
3790
+ {
3791
+ "epoch": 10.94,
3792
+ "learning_rate": 4.332344213649852e-05,
3793
+ "loss": 0.0399,
3794
+ "step": 3080
3795
+ },
3796
+ {
3797
+ "epoch": 10.96,
3798
+ "learning_rate": 4.258160237388724e-05,
3799
+ "loss": 0.0381,
3800
+ "step": 3085
3801
+ },
3802
+ {
3803
+ "epoch": 10.98,
3804
+ "learning_rate": 4.1839762611275965e-05,
3805
+ "loss": 0.0571,
3806
+ "step": 3090
3807
+ },
3808
+ {
3809
+ "epoch": 10.99,
3810
+ "learning_rate": 4.109792284866469e-05,
3811
+ "loss": 0.0025,
3812
+ "step": 3095
3813
+ },
3814
+ {
3815
+ "epoch": 11.0,
3816
+ "eval_accuracy": 0.9976666666666667,
3817
+ "eval_loss": 0.007643451914191246,
3818
+ "eval_runtime": 102.5928,
3819
+ "eval_samples_per_second": 29.242,
3820
+ "eval_steps_per_second": 1.832,
3821
+ "step": 3096
3822
+ },
3823
+ {
3824
+ "epoch": 11.01,
3825
+ "learning_rate": 4.0356083086053416e-05,
3826
+ "loss": 0.0152,
3827
+ "step": 3100
3828
+ },
3829
+ {
3830
+ "epoch": 11.03,
3831
+ "learning_rate": 3.961424332344214e-05,
3832
+ "loss": 0.0327,
3833
+ "step": 3105
3834
+ },
3835
+ {
3836
+ "epoch": 11.05,
3837
+ "learning_rate": 3.887240356083086e-05,
3838
+ "loss": 0.026,
3839
+ "step": 3110
3840
+ },
3841
+ {
3842
+ "epoch": 11.07,
3843
+ "learning_rate": 3.8130563798219586e-05,
3844
+ "loss": 0.0184,
3845
+ "step": 3115
3846
+ },
3847
+ {
3848
+ "epoch": 11.08,
3849
+ "learning_rate": 3.7388724035608305e-05,
3850
+ "loss": 0.0115,
3851
+ "step": 3120
3852
+ },
3853
+ {
3854
+ "epoch": 11.1,
3855
+ "learning_rate": 3.664688427299703e-05,
3856
+ "loss": 0.0302,
3857
+ "step": 3125
3858
+ },
3859
+ {
3860
+ "epoch": 11.12,
3861
+ "learning_rate": 3.590504451038576e-05,
3862
+ "loss": 0.0561,
3863
+ "step": 3130
3864
+ },
3865
+ {
3866
+ "epoch": 11.14,
3867
+ "learning_rate": 3.516320474777448e-05,
3868
+ "loss": 0.0437,
3869
+ "step": 3135
3870
+ },
3871
+ {
3872
+ "epoch": 11.15,
3873
+ "learning_rate": 3.442136498516321e-05,
3874
+ "loss": 0.0563,
3875
+ "step": 3140
3876
+ },
3877
+ {
3878
+ "epoch": 11.17,
3879
+ "learning_rate": 3.3679525222551934e-05,
3880
+ "loss": 0.0032,
3881
+ "step": 3145
3882
+ },
3883
+ {
3884
+ "epoch": 11.19,
3885
+ "learning_rate": 3.293768545994065e-05,
3886
+ "loss": 0.0436,
3887
+ "step": 3150
3888
+ },
3889
+ {
3890
+ "epoch": 11.21,
3891
+ "learning_rate": 3.219584569732938e-05,
3892
+ "loss": 0.0518,
3893
+ "step": 3155
3894
+ },
3895
+ {
3896
+ "epoch": 11.23,
3897
+ "learning_rate": 3.14540059347181e-05,
3898
+ "loss": 0.0702,
3899
+ "step": 3160
3900
+ },
3901
+ {
3902
+ "epoch": 11.24,
3903
+ "learning_rate": 3.071216617210683e-05,
3904
+ "loss": 0.1229,
3905
+ "step": 3165
3906
+ },
3907
+ {
3908
+ "epoch": 11.26,
3909
+ "learning_rate": 2.9970326409495552e-05,
3910
+ "loss": 0.0024,
3911
+ "step": 3170
3912
+ },
3913
+ {
3914
+ "epoch": 11.28,
3915
+ "learning_rate": 2.9228486646884274e-05,
3916
+ "loss": 0.0739,
3917
+ "step": 3175
3918
+ },
3919
+ {
3920
+ "epoch": 11.3,
3921
+ "learning_rate": 2.8486646884273e-05,
3922
+ "loss": 0.0021,
3923
+ "step": 3180
3924
+ },
3925
+ {
3926
+ "epoch": 11.31,
3927
+ "learning_rate": 2.774480712166172e-05,
3928
+ "loss": 0.0408,
3929
+ "step": 3185
3930
+ },
3931
+ {
3932
+ "epoch": 11.33,
3933
+ "learning_rate": 2.7002967359050445e-05,
3934
+ "loss": 0.0087,
3935
+ "step": 3190
3936
+ },
3937
+ {
3938
+ "epoch": 11.35,
3939
+ "learning_rate": 2.6261127596439174e-05,
3940
+ "loss": 0.0829,
3941
+ "step": 3195
3942
+ },
3943
+ {
3944
+ "epoch": 11.37,
3945
+ "learning_rate": 2.5519287833827893e-05,
3946
+ "loss": 0.0153,
3947
+ "step": 3200
3948
+ },
3949
+ {
3950
+ "epoch": 11.39,
3951
+ "learning_rate": 2.4777448071216618e-05,
3952
+ "loss": 0.0131,
3953
+ "step": 3205
3954
+ },
3955
+ {
3956
+ "epoch": 11.4,
3957
+ "learning_rate": 2.4035608308605344e-05,
3958
+ "loss": 0.0306,
3959
+ "step": 3210
3960
+ },
3961
+ {
3962
+ "epoch": 11.42,
3963
+ "learning_rate": 2.3293768545994066e-05,
3964
+ "loss": 0.0877,
3965
+ "step": 3215
3966
+ },
3967
+ {
3968
+ "epoch": 11.44,
3969
+ "learning_rate": 2.255192878338279e-05,
3970
+ "loss": 0.0418,
3971
+ "step": 3220
3972
+ },
3973
+ {
3974
+ "epoch": 11.46,
3975
+ "learning_rate": 2.1810089020771514e-05,
3976
+ "loss": 0.0028,
3977
+ "step": 3225
3978
+ },
3979
+ {
3980
+ "epoch": 11.47,
3981
+ "learning_rate": 2.106824925816024e-05,
3982
+ "loss": 0.0135,
3983
+ "step": 3230
3984
+ },
3985
+ {
3986
+ "epoch": 11.49,
3987
+ "learning_rate": 2.0326409495548962e-05,
3988
+ "loss": 0.0013,
3989
+ "step": 3235
3990
+ },
3991
+ {
3992
+ "epoch": 11.51,
3993
+ "learning_rate": 1.9584569732937684e-05,
3994
+ "loss": 0.0112,
3995
+ "step": 3240
3996
+ },
3997
+ {
3998
+ "epoch": 11.53,
3999
+ "learning_rate": 1.884272997032641e-05,
4000
+ "loss": 0.0501,
4001
+ "step": 3245
4002
+ },
4003
+ {
4004
+ "epoch": 11.55,
4005
+ "learning_rate": 1.8100890207715136e-05,
4006
+ "loss": 0.0022,
4007
+ "step": 3250
4008
+ },
4009
+ {
4010
+ "epoch": 11.56,
4011
+ "learning_rate": 1.7359050445103858e-05,
4012
+ "loss": 0.0012,
4013
+ "step": 3255
4014
+ },
4015
+ {
4016
+ "epoch": 11.58,
4017
+ "learning_rate": 1.661721068249258e-05,
4018
+ "loss": 0.0452,
4019
+ "step": 3260
4020
+ },
4021
+ {
4022
+ "epoch": 11.6,
4023
+ "learning_rate": 1.5875370919881306e-05,
4024
+ "loss": 0.0662,
4025
+ "step": 3265
4026
+ },
4027
+ {
4028
+ "epoch": 11.62,
4029
+ "learning_rate": 1.5133531157270032e-05,
4030
+ "loss": 0.0114,
4031
+ "step": 3270
4032
+ },
4033
+ {
4034
+ "epoch": 11.63,
4035
+ "learning_rate": 1.4391691394658754e-05,
4036
+ "loss": 0.0482,
4037
+ "step": 3275
4038
+ },
4039
+ {
4040
+ "epoch": 11.65,
4041
+ "learning_rate": 1.3649851632047478e-05,
4042
+ "loss": 0.0551,
4043
+ "step": 3280
4044
+ },
4045
+ {
4046
+ "epoch": 11.67,
4047
+ "learning_rate": 1.29080118694362e-05,
4048
+ "loss": 0.0155,
4049
+ "step": 3285
4050
+ },
4051
+ {
4052
+ "epoch": 11.69,
4053
+ "learning_rate": 1.2166172106824926e-05,
4054
+ "loss": 0.0455,
4055
+ "step": 3290
4056
+ },
4057
+ {
4058
+ "epoch": 11.71,
4059
+ "learning_rate": 1.142433234421365e-05,
4060
+ "loss": 0.0024,
4061
+ "step": 3295
4062
+ },
4063
+ {
4064
+ "epoch": 11.72,
4065
+ "learning_rate": 1.0682492581602374e-05,
4066
+ "loss": 0.0029,
4067
+ "step": 3300
4068
+ },
4069
+ {
4070
+ "epoch": 11.74,
4071
+ "learning_rate": 9.940652818991098e-06,
4072
+ "loss": 0.0191,
4073
+ "step": 3305
4074
+ },
4075
+ {
4076
+ "epoch": 11.76,
4077
+ "learning_rate": 9.198813056379822e-06,
4078
+ "loss": 0.0294,
4079
+ "step": 3310
4080
+ },
4081
+ {
4082
+ "epoch": 11.78,
4083
+ "learning_rate": 8.456973293768548e-06,
4084
+ "loss": 0.0277,
4085
+ "step": 3315
4086
+ },
4087
+ {
4088
+ "epoch": 11.79,
4089
+ "learning_rate": 7.71513353115727e-06,
4090
+ "loss": 0.0462,
4091
+ "step": 3320
4092
+ },
4093
+ {
4094
+ "epoch": 11.81,
4095
+ "learning_rate": 6.973293768545995e-06,
4096
+ "loss": 0.0234,
4097
+ "step": 3325
4098
+ },
4099
+ {
4100
+ "epoch": 11.83,
4101
+ "learning_rate": 6.231454005934718e-06,
4102
+ "loss": 0.0012,
4103
+ "step": 3330
4104
+ },
4105
+ {
4106
+ "epoch": 11.85,
4107
+ "learning_rate": 5.489614243323442e-06,
4108
+ "loss": 0.0045,
4109
+ "step": 3335
4110
+ },
4111
+ {
4112
+ "epoch": 11.87,
4113
+ "learning_rate": 4.747774480712167e-06,
4114
+ "loss": 0.0314,
4115
+ "step": 3340
4116
+ },
4117
+ {
4118
+ "epoch": 11.88,
4119
+ "learning_rate": 4.005934718100891e-06,
4120
+ "loss": 0.0378,
4121
+ "step": 3345
4122
+ },
4123
+ {
4124
+ "epoch": 11.9,
4125
+ "learning_rate": 3.2640949554896145e-06,
4126
+ "loss": 0.0012,
4127
+ "step": 3350
4128
+ },
4129
+ {
4130
+ "epoch": 11.92,
4131
+ "learning_rate": 2.5222551928783385e-06,
4132
+ "loss": 0.0756,
4133
+ "step": 3355
4134
+ },
4135
+ {
4136
+ "epoch": 11.94,
4137
+ "learning_rate": 1.7804154302670625e-06,
4138
+ "loss": 0.0021,
4139
+ "step": 3360
4140
+ },
4141
+ {
4142
+ "epoch": 11.95,
4143
+ "learning_rate": 1.0385756676557863e-06,
4144
+ "loss": 0.0044,
4145
+ "step": 3365
4146
+ },
4147
+ {
4148
+ "epoch": 11.97,
4149
+ "learning_rate": 2.9673590504451043e-07,
4150
+ "loss": 0.0611,
4151
+ "step": 3370
4152
+ },
4153
+ {
4154
+ "epoch": 11.98,
4155
+ "eval_accuracy": 0.9996666666666667,
4156
+ "eval_loss": 0.0023621288128197193,
4157
+ "eval_runtime": 102.266,
4158
+ "eval_samples_per_second": 29.335,
4159
+ "eval_steps_per_second": 1.838,
4160
+ "step": 3372
4161
+ },
4162
+ {
4163
+ "epoch": 11.98,
4164
+ "step": 3372,
4165
+ "total_flos": 1.9127019697307763e+19,
4166
+ "train_loss": 0.1604562966202188,
4167
+ "train_runtime": 12187.6968,
4168
+ "train_samples_per_second": 8.861,
4169
+ "train_steps_per_second": 0.277
4170
+ }
4171
+ ],
4172
+ "max_steps": 3372,
4173
+ "num_train_epochs": 12,
4174
+ "total_flos": 1.9127019697307763e+19,
4175
+ "trial_name": null,
4176
+ "trial_params": null
4177
+ }