wav2vec2-large-xlsr-georgian_v1

This model is a fine-tuned version of facebook/wav2vec2-large-xlsr-53 on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0992
• Wer: 0.2605

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 2e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• gradient_accumulation_steps: 4
• total_train_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_steps: 200
• num_epochs: 40
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Wer
3.1412	0.16	100	3.0855	1.0
3.0569	0.33	200	3.0369	1.0
2.9625	0.49	300	2.9778	1.0
0.7715	0.65	400	0.5113	0.7185
0.4725	0.81	500	0.3072	0.5138
0.4103	0.98	600	0.2447	0.4337
0.2775	1.14	700	0.2055	0.3769
0.2554	1.3	800	0.1950	0.3603
0.263	1.46	900	0.1813	0.3372
0.2294	1.63	1000	0.1664	0.3132
0.2296	1.79	1100	0.1565	0.2962
0.2183	1.95	1200	0.1474	0.2986
0.1822	2.12	1300	0.1546	0.2811
0.1798	2.28	1400	0.1442	0.2811
0.179	2.44	1500	0.1411	0.2686
0.1593	2.6	1600	0.1408	0.2739
0.2652	2.77	1700	0.2074	0.4499
0.1834	2.93	1800	0.1570	0.3942
0.2015	3.09	1900	0.1516	0.3859
0.1696	3.26	2000	0.1452	0.3826
0.1782	3.42	2100	0.1413	0.3763
0.1636	3.58	2200	0.1350	0.3761
0.173	3.74	2300	0.1323	0.3622
0.1704	3.91	2400	0.1289	0.3644
0.1418	4.07	2500	0.1266	0.3481
0.1403	4.23	2600	0.1274	0.3482
0.1353	4.4	2700	0.1287	0.3489
0.1432	4.56	2800	0.1293	0.3532
0.1283	4.72	2900	0.1226	0.3416
0.1367	4.88	3000	0.1206	0.3426
0.1162	5.05	3100	0.1222	0.3394
0.1267	5.21	3200	0.1183	0.3313
0.1126	5.37	3300	0.1180	0.3299
0.1127	5.53	3400	0.1177	0.3305
0.1155	5.7	3500	0.1185	0.3317
0.1086	5.86	3600	0.1129	0.3227
0.1135	6.02	3700	0.1118	0.3266
0.1112	6.19	3800	0.1142	0.3228
0.0866	6.35	3900	0.1172	0.3284
0.1003	6.51	4000	0.1133	0.3244
0.4366	6.68	4100	0.2436	0.4587
0.1216	6.84	4200	0.1344	0.3386
0.1165	7.0	4300	0.1280	0.3324
0.131	7.17	4400	0.1252	0.3245
0.1407	7.33	4500	0.1234	0.3252
0.1394	7.49	4600	0.1208	0.3177
0.1449	7.65	4700	0.1180	0.3165
0.1295	7.82	4800	0.1170	0.3152
0.1228	7.98	4900	0.1182	0.3160
0.0913	8.14	5000	0.1122	0.3086
0.1014	8.3	5100	0.1118	0.3100
0.0861	8.47	5200	0.1126	0.3074
0.1442	8.63	5300	0.1373	0.3311
0.1054	8.79	5400	0.1225	0.3143
0.104	8.96	5500	0.1190	0.3157
0.0972	9.12	5600	0.1140	0.3076
0.0948	9.28	5700	0.1090	0.3067
0.1067	9.45	5800	0.1117	0.3074
0.0798	9.61	5900	0.1097	0.3040
0.089	9.77	6000	0.1049	0.3005
0.0829	9.93	6100	0.1056	0.3006
0.0687	10.1	6200	0.1102	0.3018
0.0844	10.26	6300	0.1056	0.2985
0.0862	10.42	6400	0.1073	0.2990
0.0936	10.58	6500	0.1049	0.2949
0.0821	10.75	6600	0.1053	0.2966
0.0797	10.91	6700	0.1043	0.2939
0.0802	11.07	6800	0.1057	0.2911
0.0895	11.24	6900	0.1029	0.2934
0.073	11.4	7000	0.1042	0.2897
0.0842	11.56	7100	0.1023	0.2902
0.0825	11.72	7200	0.1024	0.2911
0.0958	11.89	7300	0.1018	0.2888
0.0698	12.05	7400	0.1030	0.2883
0.0693	12.21	7500	0.1019	0.2872
0.0736	12.37	7600	0.1003	0.2871
0.0683	12.54	7700	0.1004	0.2865
0.0649	12.7	7800	0.1005	0.2835
0.0669	12.86	7900	0.0985	0.2846
0.069	13.03	8000	0.0999	0.2844
0.0674	13.19	8100	0.1002	0.2835
0.0695	13.35	8200	0.1013	0.2829
0.0578	13.51	8300	0.1019	0.2821
0.0614	13.68	8400	0.0978	0.2815
0.0554	13.84	8500	0.0984	0.2813
0.0763	14.0	8600	0.1001	0.2813
0.0877	14.16	8700	0.1000	0.2808
0.0882	14.33	8800	0.0979	0.2803
0.0864	14.49	8900	0.0981	0.2788
0.0828	14.65	9000	0.0975	0.2790
0.3052	14.82	9100	0.2150	0.4175
0.1478	14.98	9200	0.1325	0.3027
1.0386	15.15	9300	0.4375	0.6793
0.116	15.31	9400	0.1266	0.3042
0.1226	15.47	9500	0.1206	0.3000
0.0885	15.63	9600	0.1173	0.2958
0.091	15.8	9700	0.1145	0.2929
0.0886	15.96	9800	0.1112	0.2908
0.0783	16.12	9900	0.1075	0.2873
0.069	16.28	10000	0.1072	0.2876
0.0783	16.45	10100	0.1070	0.2876
0.0669	16.61	10200	0.1055	0.2848
0.072	16.77	10300	0.1043	0.2846
0.0721	16.94	10400	0.1020	0.2821
0.0694	17.1	10500	0.1047	0.2803
0.0574	17.26	10600	0.1053	0.2830
0.0578	17.42	10700	0.1042	0.2806
0.0663	17.59	10800	0.1035	0.2801
0.0615	17.75	10900	0.1025	0.2785
0.0706	17.91	11000	0.1028	0.2792
0.2373	18.08	11100	0.1686	0.3372
0.1137	18.24	11200	0.1202	0.2938
0.1008	18.4	11300	0.1143	0.2895
0.1004	18.57	11400	0.1127	0.2874
0.0874	18.73	11500	0.1108	0.2861
0.0926	18.89	11600	0.1108	0.2838
0.0703	19.05	11700	0.1101	0.2834
0.0893	19.22	11800	0.1097	0.2824
0.0681	19.38	11900	0.1099	0.2822
0.0668	19.54	12000	0.1086	0.2813
0.069	19.7	12100	0.1087	0.2810
0.0683	19.87	12200	0.1085	0.2807
0.1116	20.03	12300	0.1221	0.2978
0.0752	20.19	12400	0.1161	0.2956
0.0787	20.36	12500	0.1128	0.2927
0.0741	20.52	12600	0.1100	0.2922
0.0764	20.68	12700	0.1081	0.2906
0.0747	20.85	12800	0.1082	0.2896
0.0876	21.01	12900	0.1052	0.2896
0.0878	21.17	13000	0.1110	0.2950
0.0895	21.33	13100	0.1095	0.2934
0.0953	21.5	13200	0.1122	0.2981
0.0787	21.66	13300	0.1072	0.2896
0.0774	21.82	13400	0.1076	0.2880
0.0908	21.98	13500	0.1113	0.2916
0.0737	22.15	13600	0.1067	0.2870
0.0714	22.31	13700	0.1096	0.2864
0.0775	22.47	13800	0.1085	0.2868
0.0761	22.64	13900	0.1040	0.2852
0.0675	22.8	14000	0.1090	0.2836
0.0829	22.96	14100	0.1066	0.2814
0.0731	23.12	14200	0.1057	0.2835
0.058	23.29	14300	0.1059	0.2834
0.0833	23.45	14400	0.1056	0.2847
0.1007	23.62	14500	0.1225	0.3059
0.0896	23.78	14600	0.1088	0.2899
0.084	23.94	14700	0.1056	0.2834
0.0684	24.1	14800	0.1070	0.2865
0.0646	24.27	14900	0.1109	0.2862
0.0728	24.43	15000	0.1081	0.2876
0.0615	24.59	15100	0.1077	0.2846
0.0642	24.75	15200	0.1062	0.2842
0.0736	24.92	15300	0.1058	0.2864
0.0801	25.08	15400	0.1106	0.2844
0.0687	25.24	15500	0.1104	0.2836
0.0852	25.41	15600	0.1055	0.2826
0.078	25.57	15700	0.1069	0.2817
0.0815	25.73	15800	0.1040	0.2799
0.0863	25.89	15900	0.1074	0.2801
0.0603	26.06	16000	0.1044	0.2779
0.0625	26.22	16100	0.1036	0.2796
0.057	26.38	16200	0.1086	0.2802
0.0632	26.54	16300	0.1057	0.2790
0.0644	26.71	16400	0.1022	0.2750
0.0645	26.87	16500	0.1003	0.2766
0.0536	27.03	16600	0.1051	0.2786
0.058	27.2	16700	0.1051	0.2790
0.052	27.36	16800	0.1034	0.2748
0.0514	27.52	16900	0.1027	0.2751
0.0593	27.68	17000	0.1036	0.2795
0.0577	27.85	17100	0.1025	0.2770
0.0694	28.01	17200	0.1008	0.2733
0.0641	28.17	17300	0.1088	0.2760
0.0566	28.33	17400	0.1092	0.2759
0.073	28.5	17500	0.1120	0.2788
0.0632	28.66	17600	0.1056	0.2764
0.0674	28.82	17700	0.1021	0.2739
0.0663	28.99	17800	0.1033	0.2733
0.0544	29.15	17900	0.1053	0.2721
0.0583	29.31	18000	0.1033	0.2732
0.0652	29.47	18100	0.1015	0.2728
0.0577	29.64	18200	0.1029	0.2730
0.1068	29.8	18300	0.1297	0.2950
0.0805	29.97	18400	0.1113	0.2792
0.0689	30.13	18500	0.1077	0.2789
0.0688	30.29	18600	0.1069	0.2777
0.0589	30.45	18700	0.1071	0.2757
0.049	30.62	18800	0.1077	0.2749
0.0534	30.78	18900	0.1046	0.2703
0.0506	30.94	19000	0.1039	0.2728
0.0534	31.11	19100	0.1036	0.2719
0.0453	31.27	19200	0.1064	0.2717
0.0514	31.43	19300	0.1034	0.2712
0.0579	31.59	19400	0.1065	0.2726
0.0491	31.76	19500	0.1054	0.2749
0.0547	31.92	19600	0.1023	0.2720
0.08	32.08	19700	0.1037	0.2707
0.0649	32.24	19800	0.1037	0.2702
0.064	32.41	19900	0.1053	0.2714
0.064	32.57	20000	0.1035	0.2691
0.0658	32.73	20100	0.1017	0.2663
0.0636	32.9	20200	0.1031	0.2680
0.0439	33.06	20300	0.1010	0.2668
0.0518	33.22	20400	0.1016	0.2691
0.0498	33.38	20500	0.1028	0.2682
0.0516	33.55	20600	0.1009	0.2679
0.0534	33.71	20700	0.1022	0.2672
0.0464	33.87	20800	0.1029	0.2661
0.0522	34.03	20900	0.1002	0.2668
0.0458	34.2	21000	0.0981	0.2644
0.0425	34.36	21100	0.1004	0.2659
0.0461	34.52	21200	0.1009	0.2650
0.0436	34.69	21300	0.1007	0.2652
0.0507	34.85	21400	0.1005	0.2655
0.0437	35.01	21500	0.0992	0.2648
0.0492	35.17	21600	0.1022	0.2655
0.0456	35.34	21700	0.1030	0.2639
0.0421	35.5	21800	0.1054	0.2639
0.0759	35.67	21900	0.1253	0.2760
0.059	35.83	22000	0.1125	0.2710
0.0515	35.99	22100	0.1073	0.2667
0.0583	36.16	22200	0.1085	0.2671
0.0603	36.32	22300	0.1047	0.2658
0.0575	36.48	22400	0.1034	0.2652
0.0605	36.64	22500	0.1044	0.2656
0.0545	36.81	22600	0.1057	0.2649
0.0583	36.97	22700	0.1033	0.2641
0.0492	37.13	22800	0.1039	0.2641
0.0561	37.29	22900	0.1027	0.2640
0.0447	37.46	23000	0.1023	0.2631
0.0521	37.62	23100	0.1010	0.2636
0.0482	37.78	23200	0.1021	0.2635
0.0468	37.95	23300	0.0999	0.2631
0.0473	38.11	23400	0.1016	0.2629
0.0416	38.27	23500	0.1003	0.2621
0.0491	38.43	23600	0.1022	0.2618
0.0394	38.6	23700	0.1017	0.2622
0.0389	38.76	23800	0.1011	0.2620
0.0381	38.92	23900	0.0992	0.2608
0.0557	39.08	24000	0.0999	0.2613
0.0545	39.25	24100	0.1002	0.2608
0.0633	39.41	24200	0.0997	0.2607
0.0471	39.57	24300	0.0994	0.2609
0.0672	39.74	24400	0.0991	0.2606
0.066	39.9	24500	0.0992	0.2605

Framework versions

• Transformers 4.35.2
• Pytorch 2.1.0+cu118
• Datasets 2.15.0
• Tokenizers 0.15.0