Hugging Face's logo

AigizK
/
mHuBERT-147-bashkort

Automatic Speech Recognition
Transformers
TensorBoard
Safetensors
hubert
Generated from Trainer
Eval Results
Inference Endpoints
Model card Files Metrics Community
mHuBERT-147-bashkort / README.md
AigizK's picture
AigizK
update the training code link
b4886d5 verified
preview code
|
raw
history blame contribute delete
17.7 kB
metadata
base_model: utter-project/mHuBERT-147
datasets:
  - common_voice_17_0
license: cc-by-nc-4.0
metrics:
  - wer
tags:
  - generated_from_trainer
model-index:
  - name: training
    results:
      - task:
          type: automatic-speech-recognition
          name: Automatic Speech Recognition
        dataset:
          name: common_voice_17_0
          type: common_voice_17_0
          config: ba
          split: test
          args: ba
        metrics:
          - type: wer
            value: 0.12020672995899107
            name: Wer

training

This model is a fine-tuned version of utter-project/mHuBERT-147 on the common_voice_17_0 dataset. It achieves the following results on the evaluation set:

  • Loss: 0.1375
  • Wer: 0.1202

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

Code: https://huggingface.co/AigizK/mHuBERT-147-bashkort/blob/main/ba-mhubert-147-train.ipynb

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 1e-05
  • train_batch_size: 32
  • eval_batch_size: 4
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.98) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.1
  • num_epochs: 60

Training results

Training Loss Epoch Step Validation Loss Wer
51.2746 0.2393 1000 38.1449 1.0031
31.0695 0.4787 2000 22.2755 1.0
25.9185 0.7180 3000 18.9954 1.0
22.7995 0.9574 4000 16.6842 1.0
18.799 1.1967 5000 13.7933 1.0
14.7246 1.4361 6000 10.6011 1.0
10.0615 1.6754 7000 7.5085 1.0
6.4954 1.9148 8000 5.1960 1.0
4.3991 2.1541 9000 3.9369 1.0
3.5461 2.3935 10000 3.4371 1.0
3.3468 2.6328 11000 3.3105 1.0
3.2927 2.8722 12000 3.2628 1.0
3.1628 3.1115 13000 3.1256 1.0
2.8922 3.3509 14000 2.8131 1.0
2.171 3.5902 15000 1.9567 1.0178
1.5491 3.8296 16000 1.2633 0.7642
1.1192 4.0689 17000 0.8790 0.5990
0.8418 4.3083 18000 0.6252 0.5017
0.6805 4.5476 19000 0.4897 0.4459
0.5703 4.7870 20000 0.4059 0.4047
0.4754 5.0263 21000 0.3564 0.3737
0.4441 5.2657 22000 0.3221 0.3519
0.4655 5.5050 23000 0.2948 0.3308
0.3695 5.7444 24000 0.2821 0.3148
0.3551 5.9837 25000 0.2635 0.3011
0.3253 6.2231 26000 0.2505 0.2891
0.3298 6.4624 27000 0.2368 0.2754
0.3094 6.7018 28000 0.2296 0.2686
0.3055 6.9411 29000 0.2296 0.2620
0.2831 7.1805 30000 0.2127 0.2515
0.2682 7.4198 31000 0.2143 0.2465
0.2635 7.6592 32000 0.2091 0.2420
0.2669 7.8985 33000 0.1994 0.2363
0.2627 8.1379 34000 0.1990 0.2310
0.2889 8.3772 35000 0.1949 0.2259
0.2421 8.6166 36000 0.1903 0.2193
0.2283 8.8559 37000 0.1905 0.2189
0.2355 9.0953 38000 0.1885 0.2152
0.2457 9.3346 39000 0.1833 0.2125
0.2361 9.5740 40000 0.1794 0.2080
0.3127 9.8133 41000 0.1806 0.2067
0.2132 10.0527 42000 0.1806 0.2033
0.21 10.2920 43000 0.1759 0.1990
0.2118 10.5314 44000 0.1798 0.2004
0.1992 10.7707 45000 0.1711 0.1974
0.2101 11.0101 46000 0.1689 0.1949
0.2097 11.2494 47000 0.1710 0.1929
0.2029 11.4888 48000 0.1671 0.1901
0.247 11.7281 49000 0.1674 0.1885
0.1932 11.9674 50000 0.1685 0.1891
0.1813 12.2068 51000 0.1652 0.1840
0.1932 12.4461 52000 0.1636 0.1831
0.1801 12.6855 53000 0.1629 0.1818
0.1758 12.9248 54000 0.1634 0.1799
0.1865 13.1642 55000 0.1630 0.1785
0.1829 13.4035 56000 0.1619 0.1780
0.1831 13.6429 57000 0.1621 0.1777
0.1786 13.8822 58000 0.1590 0.1753
0.177 14.1216 59000 0.1597 0.1746
0.1722 14.3609 60000 0.1563 0.1723
0.1621 14.6003 61000 0.1629 0.1715
0.1672 14.8396 62000 0.1567 0.1714
0.1593 15.0790 63000 0.1556 0.1677
0.1733 15.3183 64000 0.1542 0.1684
0.1621 15.5577 65000 0.1554 0.1669
0.166 15.7970 66000 0.1525 0.1664
0.1638 16.0364 67000 0.1545 0.1647
0.1587 16.2757 68000 0.1558 0.1646
0.1653 16.5151 69000 0.1504 0.1631
0.1553 16.7544 70000 0.1512 0.1637
0.1575 16.9938 71000 0.1502 0.1618
0.2144 17.2331 72000 0.1495 0.1614
0.17 17.4725 73000 0.1497 0.1612
0.1603 17.7118 74000 0.1541 0.1601
0.145 17.9512 75000 0.1505 0.1578
0.1419 18.1905 76000 0.1495 0.1573
0.1424 18.4299 77000 0.1516 0.1582
0.2559 18.6692 78000 0.1500 0.1580
0.1591 18.9086 79000 0.1488 0.1559
0.2104 19.1479 80000 0.1495 0.1567
0.1392 19.3873 81000 0.1483 0.1545
0.1476 19.6266 82000 0.1489 0.1532
0.1348 19.8660 83000 0.1440 0.1526
0.1527 20.1053 84000 0.1475 0.1530
0.1323 20.3447 85000 0.1453 0.1505
0.1431 20.5840 86000 0.1442 0.1506
0.1456 20.8234 87000 0.1432 0.1511
0.1465 21.0627 88000 0.1444 0.1499
0.1353 21.3021 89000 0.1499 0.1499
0.1468 21.5414 90000 0.1444 0.1485
0.1374 21.7808 91000 0.1435 0.1466
0.131 22.0201 92000 0.1462 0.1484
0.1411 22.2595 93000 0.1438 0.1473
0.1362 22.4988 94000 0.1449 0.1476
0.1319 22.7382 95000 0.1411 0.1466
0.1304 22.9775 96000 0.1409 0.1452
0.1376 23.2169 97000 0.1440 0.1464
0.1426 23.4562 98000 0.1424 0.1458
0.1259 23.6955 99000 0.1439 0.1469
0.1338 23.9349 100000 0.1425 0.1437
0.1179 24.1742 101000 0.1429 0.1446
0.2212 24.4136 102000 0.1408 0.1439
0.1248 24.6529 103000 0.1422 0.1439
0.1203 24.8923 104000 0.1429 0.1436
0.1222 25.1316 105000 0.1434 0.1422
0.1638 25.3710 106000 0.1419 0.1419
0.2444 25.6103 107000 0.1386 0.1424
0.1222 25.8497 108000 0.1420 0.1406
0.1582 26.0890 109000 0.1401 0.1404
0.1175 26.3284 110000 0.1444 0.1412
0.1263 26.5677 111000 0.1415 0.1415
0.125 26.8071 112000 0.1376 0.1395
0.1209 27.0464 113000 0.1403 0.1401
0.1244 27.2858 114000 0.1417 0.1402
0.1184 27.5251 115000 0.1409 0.1390
0.1138 27.7645 116000 0.1411 0.1374
0.1157 28.0038 117000 0.1387 0.1381
0.1175 28.2432 118000 0.1422 0.1393
0.1151 28.4825 119000 0.1437 0.1380
0.113 28.7219 120000 0.1418 0.1373
0.1209 28.9612 121000 0.1418 0.1368
0.1237 29.2006 122000 0.1376 0.1353
0.1119 29.4399 123000 0.1409 0.1368
0.1064 29.6793 124000 0.1415 0.1364
0.2035 29.9186 125000 0.1384 0.1348
0.117 30.1580 126000 0.1403 0.1355
0.1155 30.3973 127000 0.1430 0.1358
0.1126 30.6367 128000 0.1392 0.1348
0.1305 30.8760 129000 0.1378 0.1350
0.1057 31.1154 130000 0.1425 0.1340
0.1074 31.3547 131000 0.1419 0.1348
0.1097 31.5941 132000 0.1400 0.1340
0.1128 31.8334 133000 0.1401 0.1337
0.1124 32.0728 134000 0.1384 0.1336
0.142 32.3121 135000 0.1409 0.1346
0.1088 32.5515 136000 0.1402 0.1321
0.109 32.7908 137000 0.1415 0.1330
0.0999 33.0302 138000 0.1408 0.1325
0.1042 33.2695 139000 0.1391 0.1334
0.1411 33.5089 140000 0.1402 0.1324
0.1086 33.7482 141000 0.1383 0.1315
0.1026 33.9876 142000 0.1401 0.1322
0.1035 34.2269 143000 0.1431 0.1312
0.1049 34.4663 144000 0.1409 0.1306
0.111 34.7056 145000 0.1406 0.1312
0.1161 34.9449 146000 0.1417 0.1305
0.1001 35.1843 147000 0.1392 0.1306
0.1019 35.4236 148000 0.1380 0.1302
0.1046 35.6630 149000 0.1389 0.1306
0.1057 35.9023 150000 0.1386 0.1295
0.0911 36.1417 151000 0.1403 0.1294
0.1028 36.3810 152000 0.1407 0.1292
0.1118 36.6204 153000 0.1410 0.1297
0.1144 36.8597 154000 0.1367 0.1286
0.1347 37.0991 155000 0.1386 0.1290
0.1073 37.3384 156000 0.1385 0.1281
0.1032 37.5778 157000 0.1405 0.1286
0.0986 37.8171 158000 0.1376 0.1279
0.1225 38.0565 159000 0.1395 0.1282
0.0986 38.2958 160000 0.1399 0.1288
0.1008 38.5352 161000 0.1380 0.1281
0.1073 38.7745 162000 0.1369 0.1276
0.0999 39.0139 163000 0.1395 0.1271
0.1044 39.2532 164000 0.1375 0.1267
0.1038 39.4926 165000 0.1377 0.1267
0.1019 39.7319 166000 0.1413 0.1271
0.0986 39.9713 167000 0.1402 0.1267
0.1269 40.2106 168000 0.1395 0.1260
0.1122 40.4500 169000 0.1404 0.1267
0.1014 40.6893 170000 0.1392 0.1265
0.1032 40.9287 171000 0.1404 0.1264
0.1002 41.1680 172000 0.1380 0.1257
0.1063 41.4074 173000 0.1390 0.1256
0.0974 41.6467 174000 0.1396 0.1257
0.132 41.8861 175000 0.1360 0.1252
0.0956 42.1254 176000 0.1365 0.1250
0.1059 42.3648 177000 0.1379 0.1257
0.0932 42.6041 178000 0.1396 0.1258
0.0984 42.8435 179000 0.1368 0.1250
0.0922 43.0828 180000 0.1403 0.1255
0.0894 43.3222 181000 0.1384 0.1247
0.0969 43.5615 182000 0.1394 0.1262
0.1031 43.8009 183000 0.1342 0.1252
0.1028 44.0402 184000 0.1382 0.1252
0.1079 44.2796 185000 0.1375 0.1257
0.097 44.5189 186000 0.1389 0.1248
0.0914 44.7583 187000 0.1380 0.1254
0.0984 44.9976 188000 0.1366 0.1242
0.0886 45.2370 189000 0.1369 0.1246
0.0926 45.4763 190000 0.1369 0.1234
0.0966 45.7157 191000 0.1384 0.1235
0.0931 45.9550 192000 0.1351 0.1236
0.1066 46.1944 193000 0.1363 0.1235
0.095 46.4337 194000 0.1350 0.1231
0.0961 46.6730 195000 0.1361 0.1239
0.1052 46.9124 196000 0.1356 0.1227
0.0976 47.1517 197000 0.1374 0.1240
0.0962 47.3911 198000 0.1361 0.1232
0.1067 47.6304 199000 0.1359 0.1229
0.0943 47.8698 200000 0.1331 0.1223
0.0905 48.1091 201000 0.1365 0.1234
0.1319 48.3485 202000 0.1371 0.1238
0.1026 48.5878 203000 0.1377 0.1237
0.098 48.8272 204000 0.1391 0.1230
0.0982 49.0665 205000 0.1375 0.1226
0.0957 49.3059 206000 0.1380 0.1232
0.0945 49.5452 207000 0.1373 0.1226
0.0952 49.7846 208000 0.1365 0.1223
0.1038 50.0239 209000 0.1367 0.1226
0.0921 50.2633 210000 0.1357 0.1216
0.0892 50.5026 211000 0.1356 0.1222
0.0892 50.7420 212000 0.1374 0.1223
0.2185 50.9813 213000 0.1371 0.1226
0.0938 51.2207 214000 0.1385 0.1223
0.0925 51.4600 215000 0.1375 0.1226
0.0939 51.6994 216000 0.1369 0.1221
0.0956 51.9387 217000 0.1370 0.1220
0.0916 52.1781 218000 0.1377 0.1217
0.0954 52.4174 219000 0.1377 0.1222
0.0926 52.6568 220000 0.1379 0.1217
0.0887 52.8961 221000 0.1374 0.1213
0.0928 53.1355 222000 0.1374 0.1215
0.0809 53.3748 223000 0.1376 0.1213
0.0957 53.6142 224000 0.1376 0.1205
0.0829 53.8535 225000 0.1376 0.1211
0.0885 54.0929 226000 0.1375 0.1210
0.0962 54.3322 227000 0.1377 0.1206
0.092 54.5716 228000 0.1362 0.1204
0.0829 54.8109 229000 0.1382 0.1209
0.0891 55.0503 230000 0.1379 0.1213
0.0868 55.2896 231000 0.1383 0.1215
0.0825 55.5290 232000 0.1374 0.1207
0.085 55.7683 233000 0.1385 0.1213
0.1107 56.0077 234000 0.1372 0.1206
0.0848 56.2470 235000 0.1382 0.1208
0.0842 56.4864 236000 0.1372 0.1204
0.1249 56.7257 237000 0.1364 0.1208
0.0873 56.9651 238000 0.1375 0.1204
0.0854 57.2044 239000 0.1377 0.1203
0.0892 57.4438 240000 0.1373 0.1201
0.0841 57.6831 241000 0.1375 0.1204
0.093 57.9225 242000 0.1375 0.1204
0.0875 58.1618 243000 0.1368 0.1199
0.0909 58.4011 244000 0.1374 0.1202
0.0918 58.6405 245000 0.1375 0.1205
0.0992 58.8798 246000 0.1369 0.1202
0.0875 59.1192 247000 0.1372 0.1202
0.0915 59.3585 248000 0.1376 0.1202
0.088 59.5979 249000 0.1372 0.1202
0.16 59.8372 250000 0.1375 0.1202

Framework versions

  • Transformers 4.42.3
  • Pytorch 2.3.1+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1