wav2vec2-large-xlsr-mecita-coraa-portuguese-random-all-03

This model is a fine-tuned version of Edresson/wav2vec2-large-xlsr-coraa-portuguese on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 0.1364
• Wer: 0.0844
• Cer: 0.0267

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 3e-05
• train_batch_size: 16
• eval_batch_size: 8
• seed: 42
• gradient_accumulation_steps: 2
• total_train_batch_size: 32
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 100
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer	Cer
29.1535	1.0	86	3.1676	1.0	1.0
7.924	2.0	172	2.9289	1.0	1.0
3.0115	3.0	258	2.8972	1.0	1.0
2.9304	4.0	344	2.8877	1.0	1.0
2.9073	5.0	430	2.8574	1.0	1.0
2.7919	6.0	516	1.9144	1.0	0.6742
1.6061	7.0	602	0.5439	0.2886	0.0766
1.6061	8.0	688	0.3726	0.1949	0.0558
0.7808	9.0	774	0.2960	0.1818	0.0517
0.5543	10.0	860	0.2591	0.1688	0.0477
0.4721	11.0	946	0.2367	0.1445	0.0427
0.414	12.0	1032	0.2167	0.1260	0.0376
0.3819	13.0	1118	0.1979	0.1150	0.0350
0.3376	14.0	1204	0.1877	0.1169	0.0346
0.3376	15.0	1290	0.1766	0.1084	0.0335
0.3199	16.0	1376	0.1754	0.1032	0.0323
0.3174	17.0	1462	0.1697	0.1017	0.0315
0.2747	18.0	1548	0.1668	0.0963	0.0308
0.2618	19.0	1634	0.1626	0.0937	0.0301
0.2557	20.0	1720	0.1597	0.0946	0.0299
0.2578	21.0	1806	0.1585	0.0944	0.0296
0.2578	22.0	1892	0.1549	0.0965	0.0302
0.2288	23.0	1978	0.1501	0.0939	0.0284
0.2269	24.0	2064	0.1524	0.0944	0.0291
0.2327	25.0	2150	0.1476	0.0903	0.0281
0.2024	26.0	2236	0.1481	0.0903	0.0284
0.2056	27.0	2322	0.1434	0.0925	0.0284
0.2097	28.0	2408	0.1468	0.0894	0.0280
0.2097	29.0	2494	0.1435	0.0860	0.0273
0.2177	30.0	2580	0.1498	0.0877	0.0281
0.1935	31.0	2666	0.1452	0.0891	0.0278
0.1918	32.0	2752	0.1466	0.0849	0.0275
0.1805	33.0	2838	0.1437	0.0889	0.0282
0.1805	34.0	2924	0.1409	0.0870	0.0274
0.1835	35.0	3010	0.1422	0.0856	0.0271
0.1835	36.0	3096	0.1377	0.0851	0.0264
0.1787	37.0	3182	0.1364	0.0844	0.0267
0.1695	38.0	3268	0.1418	0.0849	0.0268
0.1775	39.0	3354	0.1401	0.0844	0.0270
0.1763	40.0	3440	0.1402	0.0815	0.0265
0.1702	41.0	3526	0.1418	0.0830	0.0264
0.1569	42.0	3612	0.1400	0.0825	0.0258
0.1569	43.0	3698	0.1401	0.0815	0.0262
0.1617	44.0	3784	0.1406	0.0792	0.0262
0.1596	45.0	3870	0.1395	0.0818	0.0264
0.1431	46.0	3956	0.1382	0.0815	0.0262
0.158	47.0	4042	0.1391	0.0813	0.0265
0.1552	48.0	4128	0.1393	0.0825	0.0266
0.1379	49.0	4214	0.1371	0.0811	0.0256
0.145	50.0	4300	0.1392	0.0801	0.0256
0.145	51.0	4386	0.1416	0.0820	0.0262
0.1647	52.0	4472	0.1392	0.0789	0.0256
0.1493	53.0	4558	0.1425	0.0794	0.0257
0.1492	54.0	4644	0.1419	0.0796	0.0257
0.139	55.0	4730	0.1400	0.0758	0.0250
0.1385	56.0	4816	0.1424	0.0792	0.0253
0.128	57.0	4902	0.1403	0.0806	0.0253

Framework versions

• Transformers 4.28.0
• Pytorch 2.5.0+cu121
• Datasets 3.1.0
• Tokenizers 0.13.3