End of training

2faf992 verified 10 months ago

8.87 kB

	---
	language:
	- en
	license: mit
	base_model: ylacombe/wav2vec2-bert-CV16-en-libri
	tags:
	- automatic-speech-recognition
	- mozilla-foundation/common_voice_16_0
	- generated_from_trainer
	metrics:
	- wer
	model-index:
	- name: wav2vec2-bert-CV16-en-libri-cv
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# wav2vec2-bert-CV16-en-libri-cv

	This model is a fine-tuned version of [ylacombe/wav2vec2-bert-CV16-en-libri](https://huggingface.co/ylacombe/wav2vec2-bert-CV16-en-libri) on the MOZILLA-FOUNDATION/COMMON_VOICE_16_0 - EN dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.2168
	- Wer: 0.1352
	- Cer: 0.0525

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 3e-05
	- train_batch_size: 12
	- eval_batch_size: 12
	- seed: 42
	- distributed_type: multi-GPU
	- num_devices: 3
	- gradient_accumulation_steps: 3
	- total_train_batch_size: 108
	- total_eval_batch_size: 36
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- lr_scheduler_warmup_steps: 15000
	- num_epochs: 5.0
	- mixed_precision_training: Native AMP

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Wer \| Cer \|
	\|:-------------:\|:-----:\|:-----:\|:---------------:\|:------:\|:------:\|
	\| 0.3302 \| 0.05 \| 500 \| 0.4543 \| 0.2333 \| 0.0889 \|
	\| 0.2579 \| 0.1 \| 1000 \| 0.4172 \| 0.2213 \| 0.0832 \|
	\| 0.2527 \| 0.15 \| 1500 \| 0.3999 \| 0.2142 \| 0.0799 \|
	\| 0.269 \| 0.2 \| 2000 \| 0.3763 \| 0.2049 \| 0.0768 \|
	\| 0.229 \| 0.24 \| 2500 \| 0.3629 \| 0.2029 \| 0.0753 \|
	\| 0.2286 \| 0.29 \| 3000 \| 0.3494 \| 0.1972 \| 0.0733 \|
	\| 0.2422 \| 0.34 \| 3500 \| 0.3365 \| 0.1929 \| 0.0720 \|
	\| 0.1989 \| 0.39 \| 4000 \| 0.3362 \| 0.1900 \| 0.0711 \|
	\| 0.2036 \| 0.44 \| 4500 \| 0.3282 \| 0.1871 \| 0.0696 \|
	\| 0.198 \| 0.49 \| 5000 \| 0.3156 \| 0.1803 \| 0.0677 \|
	\| 0.1757 \| 0.54 \| 5500 \| 0.3069 \| 0.1797 \| 0.0682 \|
	\| 0.1966 \| 0.59 \| 6000 \| 0.2984 \| 0.1786 \| 0.0663 \|
	\| 0.1924 \| 0.64 \| 6500 \| 0.3014 \| 0.1795 \| 0.0676 \|
	\| 0.19 \| 0.68 \| 7000 \| 0.3059 \| 0.1741 \| 0.0656 \|
	\| 0.1723 \| 0.73 \| 7500 \| 0.3036 \| 0.1758 \| 0.0673 \|
	\| 0.1688 \| 0.78 \| 8000 \| 0.2990 \| 0.1749 \| 0.0670 \|
	\| 0.1776 \| 0.83 \| 8500 \| 0.2984 \| 0.1742 \| 0.0663 \|
	\| 0.151 \| 0.88 \| 9000 \| 0.3027 \| 0.1707 \| 0.0651 \|
	\| 0.1609 \| 0.93 \| 9500 \| 0.3001 \| 0.1738 \| 0.0667 \|
	\| 0.1735 \| 0.98 \| 10000 \| 0.3007 \| 0.1748 \| 0.0667 \|
	\| 0.1355 \| 1.03 \| 10500 \| 0.2953 \| 0.1716 \| 0.0665 \|
	\| 0.1538 \| 1.08 \| 11000 \| 0.2872 \| 0.1733 \| 0.0672 \|
	\| 0.1448 \| 1.12 \| 11500 \| 0.2927 \| 0.1695 \| 0.0657 \|
	\| 0.1686 \| 1.17 \| 12000 \| 0.2864 \| 0.1731 \| 0.0673 \|
	\| 0.1506 \| 1.22 \| 12500 \| 0.2891 \| 0.1734 \| 0.0667 \|
	\| 0.1621 \| 1.27 \| 13000 \| 0.2837 \| 0.1722 \| 0.0669 \|
	\| 0.1573 \| 1.32 \| 13500 \| 0.2792 \| 0.1728 \| 0.0660 \|
	\| 0.1566 \| 1.37 \| 14000 \| 0.2747 \| 0.1702 \| 0.0661 \|
	\| 0.1528 \| 1.42 \| 14500 \| 0.2781 \| 0.1754 \| 0.0673 \|
	\| 0.153 \| 1.47 \| 15000 \| 0.2900 \| 0.1788 \| 0.0692 \|
	\| 0.1575 \| 1.52 \| 15500 \| 0.2713 \| 0.1758 \| 0.0670 \|
	\| 0.1543 \| 1.56 \| 16000 \| 0.2846 \| 0.1728 \| 0.0666 \|
	\| 0.1354 \| 1.61 \| 16500 \| 0.2781 \| 0.1696 \| 0.0657 \|
	\| 0.1246 \| 1.66 \| 17000 \| 0.2941 \| 0.1729 \| 0.0674 \|
	\| 0.1538 \| 1.71 \| 17500 \| 0.2803 \| 0.1707 \| 0.0662 \|
	\| 0.143 \| 1.76 \| 18000 \| 0.2705 \| 0.1669 \| 0.0650 \|
	\| 0.1505 \| 1.81 \| 18500 \| 0.2632 \| 0.1687 \| 0.0653 \|
	\| 0.1415 \| 1.86 \| 19000 \| 0.2623 \| 0.1651 \| 0.0636 \|
	\| 0.1402 \| 1.91 \| 19500 \| 0.2607 \| 0.1668 \| 0.0647 \|
	\| 0.1354 \| 1.96 \| 20000 \| 0.2649 \| 0.1643 \| 0.0635 \|
	\| 0.1234 \| 2.0 \| 20500 \| 0.2684 \| 0.1616 \| 0.0636 \|
	\| 0.129 \| 2.05 \| 21000 \| 0.2589 \| 0.1595 \| 0.0624 \|
	\| 0.1198 \| 2.1 \| 21500 \| 0.2629 \| 0.1629 \| 0.0631 \|
	\| 0.1083 \| 2.15 \| 22000 \| 0.2608 \| 0.1604 \| 0.0627 \|
	\| 0.1446 \| 2.2 \| 22500 \| 0.2598 \| 0.1614 \| 0.0629 \|
	\| 0.1315 \| 2.25 \| 23000 \| 0.2681 \| 0.1640 \| 0.0643 \|
	\| 0.1218 \| 2.3 \| 23500 \| 0.2616 \| 0.1607 \| 0.0639 \|
	\| 0.1167 \| 2.35 \| 24000 \| 0.2732 \| 0.1599 \| 0.0627 \|
	\| 0.1009 \| 2.4 \| 24500 \| 0.2566 \| 0.1600 \| 0.0627 \|
	\| 0.1133 \| 2.44 \| 25000 \| 0.2533 \| 0.1566 \| 0.0614 \|
	\| 0.1135 \| 2.49 \| 25500 \| 0.2470 \| 0.1561 \| 0.0606 \|
	\| 0.1042 \| 2.54 \| 26000 \| 0.2508 \| 0.1546 \| 0.0604 \|
	\| 0.1238 \| 2.59 \| 26500 \| 0.2568 \| 0.1565 \| 0.0616 \|
	\| 0.1178 \| 2.64 \| 27000 \| 0.2564 \| 0.1574 \| 0.0615 \|
	\| 0.1207 \| 2.69 \| 27500 \| 0.2456 \| 0.1552 \| 0.0605 \|
	\| 0.1112 \| 2.74 \| 28000 \| 0.2434 \| 0.1516 \| 0.0595 \|
	\| 0.1097 \| 2.79 \| 28500 \| 0.2467 \| 0.1550 \| 0.0605 \|
	\| 0.1253 \| 2.84 \| 29000 \| 0.2428 \| 0.1541 \| 0.0600 \|
	\| 0.1172 \| 2.88 \| 29500 \| 0.2399 \| 0.1513 \| 0.0592 \|
	\| 0.12 \| 2.93 \| 30000 \| 0.2393 \| 0.1518 \| 0.0589 \|
	\| 0.0976 \| 2.98 \| 30500 \| 0.2442 \| 0.1520 \| 0.0596 \|
	\| 0.1422 \| 3.03 \| 31000 \| 0.2398 \| 0.1503 \| 0.0588 \|
	\| 0.1285 \| 3.08 \| 31500 \| 0.2446 \| 0.1518 \| 0.0591 \|
	\| 0.122 \| 3.13 \| 32000 \| 0.2401 \| 0.1503 \| 0.0587 \|
	\| 0.1132 \| 3.18 \| 32500 \| 0.2437 \| 0.1514 \| 0.0591 \|
	\| 0.1275 \| 3.23 \| 33000 \| 0.2466 \| 0.1485 \| 0.0584 \|
	\| 0.1299 \| 3.28 \| 33500 \| 0.2380 \| 0.1463 \| 0.0571 \|
	\| 0.1129 \| 3.32 \| 34000 \| 0.2416 \| 0.1472 \| 0.0576 \|
	\| 0.1367 \| 3.37 \| 34500 \| 0.2418 \| 0.1479 \| 0.0581 \|
	\| 0.1166 \| 3.42 \| 35000 \| 0.2418 \| 0.1458 \| 0.0573 \|
	\| 0.1264 \| 3.47 \| 35500 \| 0.2349 \| 0.1449 \| 0.0569 \|
	\| 0.1325 \| 3.52 \| 36000 \| 0.2332 \| 0.1458 \| 0.0567 \|
	\| 0.1208 \| 3.57 \| 36500 \| 0.2372 \| 0.1469 \| 0.0578 \|
	\| 0.1309 \| 3.62 \| 37000 \| 0.2354 \| 0.1455 \| 0.0570 \|
	\| 0.1303 \| 3.67 \| 37500 \| 0.2281 \| 0.1435 \| 0.0559 \|
	\| 0.1193 \| 3.72 \| 38000 \| 0.2306 \| 0.1438 \| 0.0563 \|
	\| 0.1148 \| 3.76 \| 38500 \| 0.2259 \| 0.1439 \| 0.0558 \|
	\| 0.1066 \| 3.81 \| 39000 \| 0.2293 \| 0.1421 \| 0.0558 \|
	\| 0.0899 \| 3.86 \| 39500 \| 0.2266 \| 0.1408 \| 0.0552 \|
	\| 0.123 \| 3.91 \| 40000 \| 0.2254 \| 0.1419 \| 0.0555 \|
	\| 0.1162 \| 3.96 \| 40500 \| 0.2251 \| 0.1422 \| 0.0557 \|
	\| 0.0856 \| 4.01 \| 41000 \| 0.2253 \| 0.1401 \| 0.0549 \|
	\| 0.0983 \| 4.06 \| 41500 \| 0.2258 \| 0.1389 \| 0.0547 \|
	\| 0.0893 \| 4.11 \| 42000 \| 0.2260 \| 0.1406 \| 0.0547 \|
	\| 0.0892 \| 4.16 \| 42500 \| 0.2272 \| 0.1391 \| 0.0544 \|
	\| 0.0761 \| 4.2 \| 43000 \| 0.2301 \| 0.1396 \| 0.0547 \|
	\| 0.0931 \| 4.25 \| 43500 \| 0.2259 \| 0.1377 \| 0.0538 \|
	\| 0.081 \| 4.3 \| 44000 \| 0.2221 \| 0.1389 \| 0.0540 \|
	\| 0.0878 \| 4.35 \| 44500 \| 0.2232 \| 0.1383 \| 0.0538 \|
	\| 0.0837 \| 4.4 \| 45000 \| 0.2258 \| 0.1381 \| 0.0540 \|
	\| 0.0917 \| 4.45 \| 45500 \| 0.2211 \| 0.1371 \| 0.0535 \|
	\| 0.0736 \| 4.5 \| 46000 \| 0.2226 \| 0.1364 \| 0.0534 \|
	\| 0.0728 \| 4.55 \| 46500 \| 0.2218 \| 0.1358 \| 0.0531 \|
	\| 0.0824 \| 4.6 \| 47000 \| 0.2205 \| 0.1365 \| 0.0533 \|
	\| 0.0794 \| 4.64 \| 47500 \| 0.2198 \| 0.1359 \| 0.0529 \|
	\| 0.0823 \| 4.69 \| 48000 \| 0.2199 \| 0.1354 \| 0.0527 \|
	\| 0.0849 \| 4.74 \| 48500 \| 0.2176 \| 0.1348 \| 0.0525 \|
	\| 0.095 \| 4.79 \| 49000 \| 0.2185 \| 0.1354 \| 0.0529 \|
	\| 0.0951 \| 4.84 \| 49500 \| 0.2163 \| 0.1354 \| 0.0527 \|
	\| 0.0902 \| 4.89 \| 50000 \| 0.2163 \| 0.1350 \| 0.0525 \|
	\| 0.066 \| 4.94 \| 50500 \| 0.2167 \| 0.1350 \| 0.0525 \|
	\| 0.0776 \| 4.99 \| 51000 \| 0.2169 \| 0.1351 \| 0.0524 \|


	### Framework versions

	- Transformers 4.37.0.dev0
	- Pytorch 2.1.0+cu121
	- Datasets 2.16.1
	- Tokenizers 0.15.0

	---
	language:
	- en
	license: mit
	base_model: ylacombe/wav2vec2-bert-CV16-en-libri
	tags:
	- automatic-speech-recognition
	- mozilla-foundation/common_voice_16_0
	- generated_from_trainer
	metrics:
	- wer
	model-index:
	- name: wav2vec2-bert-CV16-en-libri-cv
	results: []
	---

	<!-- This model card has been generated automatically according to the information the Trainer had access to. You
	should probably proofread and complete it, then remove this comment. -->

	# wav2vec2-bert-CV16-en-libri-cv

	This model is a fine-tuned version of [ylacombe/wav2vec2-bert-CV16-en-libri](https://huggingface.co/ylacombe/wav2vec2-bert-CV16-en-libri) on the MOZILLA-FOUNDATION/COMMON_VOICE_16_0 - EN dataset.
	It achieves the following results on the evaluation set:
	- Loss: 0.2168
	- Wer: 0.1352
	- Cer: 0.0525

	## Model description

	More information needed

	## Intended uses & limitations

	More information needed

	## Training and evaluation data

	More information needed

	## Training procedure

	### Training hyperparameters

	The following hyperparameters were used during training:
	- learning_rate: 3e-05
	- train_batch_size: 12
	- eval_batch_size: 12
	- seed: 42
	- distributed_type: multi-GPU
	- num_devices: 3
	- gradient_accumulation_steps: 3
	- total_train_batch_size: 108
	- total_eval_batch_size: 36
	- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
	- lr_scheduler_type: linear
	- lr_scheduler_warmup_steps: 15000
	- num_epochs: 5.0
	- mixed_precision_training: Native AMP

	### Training results

	\| Training Loss \| Epoch \| Step \| Validation Loss \| Wer \| Cer \|
	\|:-------------:\|:-----:\|:-----:\|:---------------:\|:------:\|:------:\|
	\| 0.3302 \| 0.05 \| 500 \| 0.4543 \| 0.2333 \| 0.0889 \|
	\| 0.2579 \| 0.1 \| 1000 \| 0.4172 \| 0.2213 \| 0.0832 \|
	\| 0.2527 \| 0.15 \| 1500 \| 0.3999 \| 0.2142 \| 0.0799 \|
	\| 0.269 \| 0.2 \| 2000 \| 0.3763 \| 0.2049 \| 0.0768 \|
	\| 0.229 \| 0.24 \| 2500 \| 0.3629 \| 0.2029 \| 0.0753 \|
	\| 0.2286 \| 0.29 \| 3000 \| 0.3494 \| 0.1972 \| 0.0733 \|
	\| 0.2422 \| 0.34 \| 3500 \| 0.3365 \| 0.1929 \| 0.0720 \|
	\| 0.1989 \| 0.39 \| 4000 \| 0.3362 \| 0.1900 \| 0.0711 \|
	\| 0.2036 \| 0.44 \| 4500 \| 0.3282 \| 0.1871 \| 0.0696 \|
	\| 0.198 \| 0.49 \| 5000 \| 0.3156 \| 0.1803 \| 0.0677 \|
	\| 0.1757 \| 0.54 \| 5500 \| 0.3069 \| 0.1797 \| 0.0682 \|
	\| 0.1966 \| 0.59 \| 6000 \| 0.2984 \| 0.1786 \| 0.0663 \|
	\| 0.1924 \| 0.64 \| 6500 \| 0.3014 \| 0.1795 \| 0.0676 \|
	\| 0.19 \| 0.68 \| 7000 \| 0.3059 \| 0.1741 \| 0.0656 \|
	\| 0.1723 \| 0.73 \| 7500 \| 0.3036 \| 0.1758 \| 0.0673 \|
	\| 0.1688 \| 0.78 \| 8000 \| 0.2990 \| 0.1749 \| 0.0670 \|
	\| 0.1776 \| 0.83 \| 8500 \| 0.2984 \| 0.1742 \| 0.0663 \|
	\| 0.151 \| 0.88 \| 9000 \| 0.3027 \| 0.1707 \| 0.0651 \|
	\| 0.1609 \| 0.93 \| 9500 \| 0.3001 \| 0.1738 \| 0.0667 \|
	\| 0.1735 \| 0.98 \| 10000 \| 0.3007 \| 0.1748 \| 0.0667 \|
	\| 0.1355 \| 1.03 \| 10500 \| 0.2953 \| 0.1716 \| 0.0665 \|
	\| 0.1538 \| 1.08 \| 11000 \| 0.2872 \| 0.1733 \| 0.0672 \|
	\| 0.1448 \| 1.12 \| 11500 \| 0.2927 \| 0.1695 \| 0.0657 \|
	\| 0.1686 \| 1.17 \| 12000 \| 0.2864 \| 0.1731 \| 0.0673 \|
	\| 0.1506 \| 1.22 \| 12500 \| 0.2891 \| 0.1734 \| 0.0667 \|
	\| 0.1621 \| 1.27 \| 13000 \| 0.2837 \| 0.1722 \| 0.0669 \|
	\| 0.1573 \| 1.32 \| 13500 \| 0.2792 \| 0.1728 \| 0.0660 \|
	\| 0.1566 \| 1.37 \| 14000 \| 0.2747 \| 0.1702 \| 0.0661 \|
	\| 0.1528 \| 1.42 \| 14500 \| 0.2781 \| 0.1754 \| 0.0673 \|
	\| 0.153 \| 1.47 \| 15000 \| 0.2900 \| 0.1788 \| 0.0692 \|
	\| 0.1575 \| 1.52 \| 15500 \| 0.2713 \| 0.1758 \| 0.0670 \|
	\| 0.1543 \| 1.56 \| 16000 \| 0.2846 \| 0.1728 \| 0.0666 \|
	\| 0.1354 \| 1.61 \| 16500 \| 0.2781 \| 0.1696 \| 0.0657 \|
	\| 0.1246 \| 1.66 \| 17000 \| 0.2941 \| 0.1729 \| 0.0674 \|
	\| 0.1538 \| 1.71 \| 17500 \| 0.2803 \| 0.1707 \| 0.0662 \|
	\| 0.143 \| 1.76 \| 18000 \| 0.2705 \| 0.1669 \| 0.0650 \|
	\| 0.1505 \| 1.81 \| 18500 \| 0.2632 \| 0.1687 \| 0.0653 \|
	\| 0.1415 \| 1.86 \| 19000 \| 0.2623 \| 0.1651 \| 0.0636 \|
	\| 0.1402 \| 1.91 \| 19500 \| 0.2607 \| 0.1668 \| 0.0647 \|
	\| 0.1354 \| 1.96 \| 20000 \| 0.2649 \| 0.1643 \| 0.0635 \|
	\| 0.1234 \| 2.0 \| 20500 \| 0.2684 \| 0.1616 \| 0.0636 \|
	\| 0.129 \| 2.05 \| 21000 \| 0.2589 \| 0.1595 \| 0.0624 \|
	\| 0.1198 \| 2.1 \| 21500 \| 0.2629 \| 0.1629 \| 0.0631 \|
	\| 0.1083 \| 2.15 \| 22000 \| 0.2608 \| 0.1604 \| 0.0627 \|
	\| 0.1446 \| 2.2 \| 22500 \| 0.2598 \| 0.1614 \| 0.0629 \|
	\| 0.1315 \| 2.25 \| 23000 \| 0.2681 \| 0.1640 \| 0.0643 \|
	\| 0.1218 \| 2.3 \| 23500 \| 0.2616 \| 0.1607 \| 0.0639 \|
	\| 0.1167 \| 2.35 \| 24000 \| 0.2732 \| 0.1599 \| 0.0627 \|
	\| 0.1009 \| 2.4 \| 24500 \| 0.2566 \| 0.1600 \| 0.0627 \|
	\| 0.1133 \| 2.44 \| 25000 \| 0.2533 \| 0.1566 \| 0.0614 \|
	\| 0.1135 \| 2.49 \| 25500 \| 0.2470 \| 0.1561 \| 0.0606 \|
	\| 0.1042 \| 2.54 \| 26000 \| 0.2508 \| 0.1546 \| 0.0604 \|
	\| 0.1238 \| 2.59 \| 26500 \| 0.2568 \| 0.1565 \| 0.0616 \|
	\| 0.1178 \| 2.64 \| 27000 \| 0.2564 \| 0.1574 \| 0.0615 \|
	\| 0.1207 \| 2.69 \| 27500 \| 0.2456 \| 0.1552 \| 0.0605 \|
	\| 0.1112 \| 2.74 \| 28000 \| 0.2434 \| 0.1516 \| 0.0595 \|
	\| 0.1097 \| 2.79 \| 28500 \| 0.2467 \| 0.1550 \| 0.0605 \|
	\| 0.1253 \| 2.84 \| 29000 \| 0.2428 \| 0.1541 \| 0.0600 \|
	\| 0.1172 \| 2.88 \| 29500 \| 0.2399 \| 0.1513 \| 0.0592 \|
	\| 0.12 \| 2.93 \| 30000 \| 0.2393 \| 0.1518 \| 0.0589 \|
	\| 0.0976 \| 2.98 \| 30500 \| 0.2442 \| 0.1520 \| 0.0596 \|
	\| 0.1422 \| 3.03 \| 31000 \| 0.2398 \| 0.1503 \| 0.0588 \|
	\| 0.1285 \| 3.08 \| 31500 \| 0.2446 \| 0.1518 \| 0.0591 \|
	\| 0.122 \| 3.13 \| 32000 \| 0.2401 \| 0.1503 \| 0.0587 \|
	\| 0.1132 \| 3.18 \| 32500 \| 0.2437 \| 0.1514 \| 0.0591 \|
	\| 0.1275 \| 3.23 \| 33000 \| 0.2466 \| 0.1485 \| 0.0584 \|
	\| 0.1299 \| 3.28 \| 33500 \| 0.2380 \| 0.1463 \| 0.0571 \|
	\| 0.1129 \| 3.32 \| 34000 \| 0.2416 \| 0.1472 \| 0.0576 \|
	\| 0.1367 \| 3.37 \| 34500 \| 0.2418 \| 0.1479 \| 0.0581 \|
	\| 0.1166 \| 3.42 \| 35000 \| 0.2418 \| 0.1458 \| 0.0573 \|
	\| 0.1264 \| 3.47 \| 35500 \| 0.2349 \| 0.1449 \| 0.0569 \|
	\| 0.1325 \| 3.52 \| 36000 \| 0.2332 \| 0.1458 \| 0.0567 \|
	\| 0.1208 \| 3.57 \| 36500 \| 0.2372 \| 0.1469 \| 0.0578 \|
	\| 0.1309 \| 3.62 \| 37000 \| 0.2354 \| 0.1455 \| 0.0570 \|
	\| 0.1303 \| 3.67 \| 37500 \| 0.2281 \| 0.1435 \| 0.0559 \|
	\| 0.1193 \| 3.72 \| 38000 \| 0.2306 \| 0.1438 \| 0.0563 \|
	\| 0.1148 \| 3.76 \| 38500 \| 0.2259 \| 0.1439 \| 0.0558 \|
	\| 0.1066 \| 3.81 \| 39000 \| 0.2293 \| 0.1421 \| 0.0558 \|
	\| 0.0899 \| 3.86 \| 39500 \| 0.2266 \| 0.1408 \| 0.0552 \|
	\| 0.123 \| 3.91 \| 40000 \| 0.2254 \| 0.1419 \| 0.0555 \|
	\| 0.1162 \| 3.96 \| 40500 \| 0.2251 \| 0.1422 \| 0.0557 \|
	\| 0.0856 \| 4.01 \| 41000 \| 0.2253 \| 0.1401 \| 0.0549 \|
	\| 0.0983 \| 4.06 \| 41500 \| 0.2258 \| 0.1389 \| 0.0547 \|
	\| 0.0893 \| 4.11 \| 42000 \| 0.2260 \| 0.1406 \| 0.0547 \|
	\| 0.0892 \| 4.16 \| 42500 \| 0.2272 \| 0.1391 \| 0.0544 \|
	\| 0.0761 \| 4.2 \| 43000 \| 0.2301 \| 0.1396 \| 0.0547 \|
	\| 0.0931 \| 4.25 \| 43500 \| 0.2259 \| 0.1377 \| 0.0538 \|
	\| 0.081 \| 4.3 \| 44000 \| 0.2221 \| 0.1389 \| 0.0540 \|
	\| 0.0878 \| 4.35 \| 44500 \| 0.2232 \| 0.1383 \| 0.0538 \|
	\| 0.0837 \| 4.4 \| 45000 \| 0.2258 \| 0.1381 \| 0.0540 \|
	\| 0.0917 \| 4.45 \| 45500 \| 0.2211 \| 0.1371 \| 0.0535 \|
	\| 0.0736 \| 4.5 \| 46000 \| 0.2226 \| 0.1364 \| 0.0534 \|
	\| 0.0728 \| 4.55 \| 46500 \| 0.2218 \| 0.1358 \| 0.0531 \|
	\| 0.0824 \| 4.6 \| 47000 \| 0.2205 \| 0.1365 \| 0.0533 \|
	\| 0.0794 \| 4.64 \| 47500 \| 0.2198 \| 0.1359 \| 0.0529 \|
	\| 0.0823 \| 4.69 \| 48000 \| 0.2199 \| 0.1354 \| 0.0527 \|
	\| 0.0849 \| 4.74 \| 48500 \| 0.2176 \| 0.1348 \| 0.0525 \|
	\| 0.095 \| 4.79 \| 49000 \| 0.2185 \| 0.1354 \| 0.0529 \|
	\| 0.0951 \| 4.84 \| 49500 \| 0.2163 \| 0.1354 \| 0.0527 \|
	\| 0.0902 \| 4.89 \| 50000 \| 0.2163 \| 0.1350 \| 0.0525 \|
	\| 0.066 \| 4.94 \| 50500 \| 0.2167 \| 0.1350 \| 0.0525 \|
	\| 0.0776 \| 4.99 \| 51000 \| 0.2169 \| 0.1351 \| 0.0524 \|


	### Framework versions

	- Transformers 4.37.0.dev0
	- Pytorch 2.1.0+cu121
	- Datasets 2.16.1
	- Tokenizers 0.15.0