wav2vec-xlsr-cv-grain-lg_both

This model is a fine-tuned version of facebook/wav2vec2-xls-r-300m on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0871
• Wer: 0.0289
• Cer: 0.0079

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: linear
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
1.9082	1.0	2703	0.2081	0.2630	0.0539
0.6172	2.0	5406	0.1523	0.1853	0.0386
0.5149	3.0	8109	0.1235	0.1432	0.0307
0.4589	4.0	10812	0.1207	0.1297	0.0285
0.4226	5.0	13515	0.1007	0.1117	0.0238
0.3932	6.0	16218	0.0988	0.0979	0.0225
0.3706	7.0	18921	0.0916	0.0924	0.0212
0.3481	8.0	21624	0.0882	0.0881	0.0210
0.3291	9.0	24327	0.0856	0.0803	0.0185
0.3131	10.0	27030	0.0806	0.0777	0.0182
0.2997	11.0	29733	0.0767	0.0733	0.0175
0.2851	12.0	32436	0.0749	0.0742	0.0178
0.2745	13.0	35139	0.0738	0.0636	0.0161
0.2628	14.0	37842	0.0818	0.0749	0.0177
0.2487	15.0	40545	0.0750	0.0699	0.0162
0.2389	16.0	43248	0.0682	0.0586	0.0145
0.2299	17.0	45951	0.0675	0.0590	0.0137
0.22	18.0	48654	0.0715	0.0562	0.0140
0.2102	19.0	51357	0.0757	0.0534	0.0134
0.202	20.0	54060	0.0785	0.0586	0.0149
0.195	21.0	56763	0.0731	0.0590	0.0136
0.186	22.0	59466	0.0750	0.0566	0.0136
0.1797	23.0	62169	0.0746	0.0523	0.0127
0.1713	24.0	64872	0.0739	0.0538	0.0132
0.1634	25.0	67575	0.0806	0.0514	0.0130
0.157	26.0	70278	0.0748	0.0532	0.0132
0.1521	27.0	72981	0.0774	0.0521	0.0133
0.1483	28.0	75684	0.0775	0.0501	0.0125
0.1424	29.0	78387	0.0772	0.0479	0.0122
0.1363	30.0	81090	0.0747	0.0453	0.0116
0.1322	31.0	83793	0.0801	0.0436	0.0116
0.1266	32.0	86496	0.0758	0.0473	0.0112
0.1234	33.0	89199	0.0691	0.0430	0.0107
0.1214	34.0	91902	0.0853	0.0458	0.0120
0.1178	35.0	94605	0.0805	0.0436	0.0107
0.1126	36.0	97308	0.0803	0.0436	0.0116
0.1119	37.0	100011	0.0744	0.0412	0.0105
0.1079	38.0	102714	0.0788	0.0421	0.0106
0.1039	39.0	105417	0.0802	0.0406	0.0105
0.1014	40.0	108120	0.0741	0.0367	0.0098
0.1	41.0	110823	0.0812	0.0401	0.0106
0.096	42.0	113526	0.0772	0.0410	0.0111
0.0937	43.0	116229	0.0782	0.0417	0.0106
0.0923	44.0	118932	0.0808	0.0404	0.0104
0.0894	45.0	121635	0.0725	0.0384	0.0097
0.0874	46.0	124338	0.0747	0.0351	0.0098
0.0856	47.0	127041	0.0761	0.0373	0.0100
0.0852	48.0	129744	0.0786	0.0393	0.0099
0.0821	49.0	132447	0.0766	0.0334	0.0092
0.0815	50.0	135150	0.0789	0.0365	0.0103
0.0798	51.0	137853	0.0813	0.0391	0.0101
0.0775	52.0	140556	0.0783	0.0341	0.0091
0.0755	53.0	143259	0.0793	0.0399	0.0105
0.0745	54.0	145962	0.0770	0.0408	0.0100
0.072	55.0	148665	0.0774	0.0349	0.0093
0.0708	56.0	151368	0.0811	0.0341	0.0091
0.0675	57.0	154071	0.0740	0.0321	0.0087
0.067	58.0	156774	0.0747	0.0321	0.0087
0.0657	59.0	159477	0.0721	0.0312	0.0085
0.0645	60.0	162180	0.0701	0.0341	0.0089
0.0631	61.0	164883	0.0788	0.0358	0.0090
0.0623	62.0	167586	0.0763	0.0312	0.0091
0.0614	63.0	170289	0.0777	0.0332	0.0087
0.0592	64.0	172992	0.0742	0.0319	0.0085
0.0576	65.0	175695	0.0755	0.0317	0.0085
0.0566	66.0	178398	0.0785	0.0347	0.0092
0.0565	67.0	181101	0.0794	0.0315	0.0086
0.0559	68.0	183804	0.0774	0.0317	0.0084
0.0534	69.0	186507	0.0814	0.0338	0.0088
0.0521	70.0	189210	0.0825	0.0330	0.0089
0.0514	71.0	191913	0.0781	0.0297	0.0081
0.0489	72.0	194616	0.0802	0.0293	0.0079
0.0496	73.0	197319	0.0799	0.0330	0.0086
0.0474	74.0	200022	0.0806	0.0299	0.0080
0.0479	75.0	202725	0.0789	0.0284	0.0080
0.0461	76.0	205428	0.0797	0.0308	0.0079
0.044	77.0	208131	0.0788	0.0284	0.0078
0.0444	78.0	210834	0.0830	0.0304	0.0083
0.0429	79.0	213537	0.0826	0.0312	0.0085
0.0423	80.0	216240	0.0845	0.0317	0.0087
0.041	81.0	218943	0.0862	0.0323	0.0085
0.0399	82.0	221646	0.0844	0.0297	0.0083
0.0402	83.0	224349	0.0884	0.0308	0.0084
0.0389	84.0	227052	0.0853	0.0276	0.0079
0.0372	85.0	229755	0.0839	0.0325	0.0082
0.0367	86.0	232458	0.0851	0.0282	0.0078
0.0358	87.0	235161	0.0836	0.0297	0.0081
0.0355	88.0	237864	0.0860	0.0295	0.0083
0.0347	89.0	240567	0.0848	0.0291	0.0081
0.0334	90.0	243270	0.0832	0.0280	0.0079
0.033	91.0	245973	0.0848	0.0282	0.0079
0.0329	92.0	248676	0.0852	0.0286	0.0082
0.0317	93.0	251379	0.0851	0.0291	0.0080
0.0314	94.0	254082	0.0873	0.0291	0.0080
0.0313	95.0	256785	0.0869	0.0284	0.0079
0.0305	96.0	259488	0.0853	0.0291	0.0080
0.03	97.0	262191	0.0862	0.0280	0.0077
0.0299	98.0	264894	0.0865	0.0282	0.0078
0.0286	99.0	267597	0.0871	0.0289	0.0079

Framework versions

• Transformers 4.46.1
• Pytorch 2.1.0+cu118
• Datasets 3.1.0
• Tokenizers 0.20.1