menu-lilt-model-XLM-v3

This model is a fine-tuned version of SCUT-DLVCLab/lilt-infoxlm-base on the None dataset. It achieves the following results on the evaluation set:

• Loss: 0.0006
• Created: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}
• Created Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}
• Day Menu Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}
• Diet: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}
• Meal: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824}
• Meal Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}
• Meal Note Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}
• Menu Name: {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}
• School Type: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}
• Tag Value: {'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76}
• Validity: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}
• Validity Detail: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}
• Weekday: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}
• Week Count: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}
• Overall Precision: 0.9993
• Overall Recall: 0.9997
• Overall F1: 0.9995
• Overall Accuracy: 0.9999

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• training_steps: 2500
• mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	Created	Created Label	Day Menu Label	Diet	Meal	Meal Label	Meal Note Label	Menu Name	School Type	Tag Value	Validity	Validity Detail	Weekday	Week Count	Overall Precision	Overall Recall	Overall F1	Overall Accuracy
0.8513	4.5455	200	0.0523	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 0.7222222222222222, 'recall': 0.7222222222222222, 'f1': 0.7222222222222222, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 0.8738738738738738, 'recall': 0.9603960396039604, 'f1': 0.9150943396226415, 'number': 101}	{'precision': 0.9637207340223581, 'recall': 0.947139303482587, 'f1': 0.9553580763199163, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 0.9858490566037735, 'recall': 1.0, 'f1': 0.9928741092636578, 'number': 209}	{'precision': 0.5588235294117647, 'recall': 0.8636363636363636, 'f1': 0.6785714285714287, 'number': 22}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9358974358974359, 'recall': 0.9605263157894737, 'f1': 0.948051948051948, 'number': 76}	{'precision': 0.7692307692307693, 'recall': 0.9259259259259259, 'f1': 0.8403361344537816, 'number': 54}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 0.9704641350210971, 'recall': 1.0, 'f1': 0.9850107066381156, 'number': 230}	0.9604	0.9533	0.9568	0.9884
0.0262	9.0909	400	0.0083	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9972972972972973, 'recall': 0.9944029850746269, 'f1': 0.9958480381980485, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.6666666666666666, 'recall': 0.9090909090909091, 'f1': 0.7692307692307692, 'number': 22}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76}	{'precision': 0.9473684210526315, 'recall': 1.0, 'f1': 0.972972972972973, 'number': 54}	{'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9938	0.9940	0.9939	0.9980
0.0067	13.6364	600	0.0034	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9977164210089268, 'recall': 0.996268656716418, 'f1': 0.9969920132766311, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9978	0.9968	0.9973	0.9993
0.0046	18.1818	800	0.0023	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 0.9803921568627451, 'recall': 0.9900990099009901, 'f1': 0.9852216748768472, 'number': 101}	{'precision': 0.9987557030277893, 'recall': 0.9983416252072969, 'f1': 0.9985486211901307, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9978	0.9980	0.9979	0.9994
0.002	22.7273	1000	0.0026	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9983395599833956, 'recall': 0.9970978441127695, 'f1': 0.9977183157021364, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9983	0.9975	0.9979	0.9995
0.0015	27.2727	1200	0.0017	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9991701244813278, 'recall': 0.9983416252072969, 'f1': 0.9987557030277893, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9988	0.9983	0.9986	0.9995
0.0012	31.8182	1400	0.0026	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.8695652173913043, 'recall': 0.9090909090909091, 'f1': 0.888888888888889, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9992	0.9992	0.9992	0.9995
0.0011	36.3636	1600	0.0012	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9993777224642191, 'recall': 0.9987562189054726, 'f1': 0.9990668740279938, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9992	0.9988	0.999	0.9997
0.0008	40.9091	1800	0.0008	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9993	0.9993	0.9993	0.9997
0.0006	45.4545	2000	0.0009	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9993	0.9993	0.9993	0.9997
0.0005	50.0	2200	0.0006	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9995	0.9997	0.9996	0.9998
0.0005	54.5455	2400	0.0006	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209}	{'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275}	{'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230}	0.9993	0.9997	0.9995	0.9999

Framework versions

• Transformers 4.40.0
• Pytorch 2.2.1+cu121
• Datasets 2.19.0
• Tokenizers 0.19.1