Hugging Face's logo

msullivan
/
topic_temporary_setfitv2

Text Classification
setfit
Safetensors
sentence-transformers
mpnet
generated_from_setfit_trainer
Eval Results
Model card Files Community

SetFit with sentence-transformers/paraphrase-mpnet-base-v2

This is a SetFit model that can be used for Text Classification. This SetFit model uses sentence-transformers/paraphrase-mpnet-base-v2 as the Sentence Transformer embedding model. A OneVsRestClassifier instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

  1. Fine-tuning a Sentence Transformer with contrastive learning.
  2. Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Sources

Evaluation

Metrics

Label Accuracy
all 0.5230

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("setfit_model_id")
# Run inference
preds = model("The report explores the market opportunities available in the Cigarettes market. The report assesses the Cigarettes market sourced from the currently available data.")

Training Details

Training Set Metrics

Training set Min Median Max
Word count 12 65.0898 326

Training Hyperparameters

  • batch_size: (16, 16)
  • num_epochs: (1, 1)
  • max_steps: -1
  • sampling_strategy: oversampling
  • body_learning_rate: (2e-05, 1e-05)
  • head_learning_rate: 0.01
  • loss: CosineSimilarityLoss
  • distance_metric: cosine_distance
  • margin: 0.25
  • end_to_end: False
  • use_amp: False
  • warmup_proportion: 0.1
  • seed: 42
  • eval_max_steps: -1
  • load_best_model_at_end: False

Training Results

Epoch Step Training Loss Validation Loss
0.0000 1 0.1748 -
0.0019 50 0.2248 -
0.0037 100 0.1837 -
0.0056 150 0.2427 -
0.0075 200 0.1714 -
0.0093 250 0.2171 -
0.0112 300 0.2275 -
0.0131 350 0.0966 -
0.0150 400 0.116 -
0.0168 450 0.1661 -
0.0187 500 0.1621 -
0.0206 550 0.1784 -
0.0224 600 0.1709 -
0.0243 650 0.242 -
0.0262 700 0.1666 -
0.0280 750 0.1074 -
0.0299 800 0.1741 -
0.0318 850 0.1216 -
0.0336 900 0.1136 -
0.0355 950 0.1471 -
0.0374 1000 0.1455 -
0.0392 1050 0.1264 -
0.0411 1100 0.1935 -
0.0430 1150 0.0673 -
0.0449 1200 0.1642 -
0.0467 1250 0.0696 -
0.0486 1300 0.1728 -
0.0505 1350 0.1318 -
0.0523 1400 0.082 -
0.0542 1450 0.1227 -
0.0561 1500 0.0785 -
0.0579 1550 0.0404 -
0.0598 1600 0.2339 -
0.0617 1650 0.1441 -
0.0635 1700 0.0591 -
0.0654 1750 0.036 -
0.0673 1800 0.1338 -
0.0692 1850 0.1022 -
0.0710 1900 0.0599 -
0.0729 1950 0.0773 -
0.0748 2000 0.1626 -
0.0766 2050 0.0641 -
0.0785 2100 0.1689 -
0.0804 2150 0.1218 -
0.0822 2200 0.0717 -
0.0841 2250 0.1212 -
0.0860 2300 0.1057 -
0.0878 2350 0.1191 -
0.0897 2400 0.051 -
0.0916 2450 0.037 -
0.0935 2500 0.0757 -
0.0953 2550 0.0882 -
0.0972 2600 0.1194 -
0.0991 2650 0.1038 -
0.1009 2700 0.1802 -
0.1028 2750 0.042 -
0.1047 2800 0.1177 -
0.1065 2850 0.1029 -
0.1084 2900 0.1261 -
0.1103 2950 0.0768 -
0.1121 3000 0.0615 -
0.1140 3050 0.0839 -
0.1159 3100 0.1526 -
0.1177 3150 0.0661 -
0.1196 3200 0.0837 -
0.1215 3250 0.0989 -
0.1234 3300 0.0425 -
0.1252 3350 0.097 -
0.1271 3400 0.0655 -
0.1290 3450 0.0458 -
0.1308 3500 0.083 -
0.1327 3550 0.0823 -
0.1346 3600 0.0818 -
0.1364 3650 0.0813 -
0.1383 3700 0.0821 -
0.1402 3750 0.0705 -
0.1420 3800 0.0834 -
0.1439 3850 0.1141 -
0.1458 3900 0.1017 -
0.1477 3950 0.1026 -
0.1495 4000 0.0536 -
0.1514 4050 0.0633 -
0.1533 4100 0.0951 -
0.1551 4150 0.073 -
0.1570 4200 0.0608 -
0.1589 4250 0.1137 -
0.1607 4300 0.0759 -
0.1626 4350 0.1163 -
0.1645 4400 0.0528 -
0.1663 4450 0.1073 -
0.1682 4500 0.0926 -
0.1701 4550 0.0857 -
0.1719 4600 0.1002 -
0.1738 4650 0.0786 -
0.1757 4700 0.0478 -
0.1776 4750 0.0488 -
0.1794 4800 0.1055 -
0.1813 4850 0.0682 -
0.1832 4900 0.1001 -
0.1850 4950 0.0847 -
0.1869 5000 0.0744 -
0.1888 5050 0.0455 -
0.1906 5100 0.1027 -
0.1925 5150 0.0882 -
0.1944 5200 0.1114 -
0.1962 5250 0.0512 -
0.1981 5300 0.0698 -
0.2000 5350 0.0695 -
0.2019 5400 0.1881 -
0.2037 5450 0.0512 -
0.2056 5500 0.0765 -
0.2075 5550 0.0795 -
0.2093 5600 0.1218 -
0.2112 5650 0.0782 -
0.2131 5700 0.06 -
0.2149 5750 0.0538 -
0.2168 5800 0.082 -
0.2187 5850 0.0587 -
0.2205 5900 0.097 -
0.2224 5950 0.0807 -
0.2243 6000 0.0547 -
0.2262 6050 0.0718 -
0.2280 6100 0.0922 -
0.2299 6150 0.1215 -
0.2318 6200 0.0282 -
0.2336 6250 0.0771 -
0.2355 6300 0.0618 -
0.2374 6350 0.0934 -
0.2392 6400 0.0447 -
0.2411 6450 0.0525 -
0.2430 6500 0.0864 -
0.2448 6550 0.0724 -
0.2467 6600 0.0661 -
0.2486 6650 0.0539 -
0.2504 6700 0.0886 -
0.2523 6750 0.0495 -
0.2542 6800 0.0991 -
0.2561 6850 0.0626 -
0.2579 6900 0.0557 -
0.2598 6950 0.0691 -
0.2617 7000 0.106 -
0.2635 7050 0.076 -
0.2654 7100 0.1192 -
0.2673 7150 0.0676 -
0.2691 7200 0.0904 -
0.2710 7250 0.0894 -
0.2729 7300 0.0656 -
0.2747 7350 0.0855 -
0.2766 7400 0.0848 -
0.2785 7450 0.082 -
0.2804 7500 0.1127 -
0.2822 7550 0.0759 -
0.2841 7600 0.048 -
0.2860 7650 0.0685 -
0.2878 7700 0.0965 -
0.2897 7750 0.0585 -
0.2916 7800 0.0746 -
0.2934 7850 0.0604 -
0.2953 7900 0.0499 -
0.2972 7950 0.057 -
0.2990 8000 0.0756 -
0.3009 8050 0.0763 -
0.3028 8100 0.0612 -
0.3047 8150 0.0656 -
0.3065 8200 0.0289 -
0.3084 8250 0.0882 -
0.3103 8300 0.0786 -
0.3121 8350 0.0635 -
0.3140 8400 0.0729 -
0.3159 8450 0.1735 -
0.3177 8500 0.0989 -
0.3196 8550 0.0857 -
0.3215 8600 0.0733 -
0.3233 8650 0.098 -
0.3252 8700 0.0561 -
0.3271 8750 0.0396 -
0.3289 8800 0.0567 -
0.3308 8850 0.0566 -
0.3327 8900 0.0545 -
0.3346 8950 0.0572 -
0.3364 9000 0.1116 -
0.3383 9050 0.132 -
0.3402 9100 0.0769 -
0.3420 9150 0.0772 -
0.3439 9200 0.0886 -
0.3458 9250 0.0822 -
0.3476 9300 0.0554 -
0.3495 9350 0.0797 -
0.3514 9400 0.048 -
0.3532 9450 0.0339 -
0.3551 9500 0.099 -
0.3570 9550 0.0725 -
0.3589 9600 0.1131 -
0.3607 9650 0.0315 -
0.3626 9700 0.0659 -
0.3645 9750 0.043 -
0.3663 9800 0.0745 -
0.3682 9850 0.1236 -
0.3701 9900 0.0779 -
0.3719 9950 0.0654 -
0.3738 10000 0.0583 -
0.3757 10050 0.0821 -
0.3775 10100 0.0524 -
0.3794 10150 0.064 -
0.3813 10200 0.0451 -
0.3831 10250 0.0735 -
0.3850 10300 0.0443 -
0.3869 10350 0.044 -
0.3888 10400 0.0587 -
0.3906 10450 0.078 -
0.3925 10500 0.1261 -
0.3944 10550 0.0247 -
0.3962 10600 0.0789 -
0.3981 10650 0.0642 -
0.4000 10700 0.067 -
0.4018 10750 0.0436 -
0.4037 10800 0.0737 -
0.4056 10850 0.064 -
0.4074 10900 0.0476 -
0.4093 10950 0.1154 -
0.4112 11000 0.0601 -
0.4131 11050 0.1012 -
0.4149 11100 0.0936 -
0.4168 11150 0.055 -
0.4187 11200 0.0838 -
0.4205 11250 0.0785 -
0.4224 11300 0.0553 -
0.4243 11350 0.0614 -
0.4261 11400 0.1269 -
0.4280 11450 0.0619 -
0.4299 11500 0.0898 -
0.4317 11550 0.068 -
0.4336 11600 0.0609 -
0.4355 11650 0.0771 -
0.4374 11700 0.0695 -
0.4392 11750 0.0477 -
0.4411 11800 0.0724 -
0.4430 11850 0.0779 -
0.4448 11900 0.039 -
0.4467 11950 0.0471 -
0.4486 12000 0.0615 -
0.4504 12050 0.0641 -
0.4523 12100 0.0552 -
0.4542 12150 0.0842 -
0.4560 12200 0.0492 -
0.4579 12250 0.0711 -
0.4598 12300 0.0541 -
0.4616 12350 0.0506 -
0.4635 12400 0.0642 -
0.4654 12450 0.0663 -
0.4673 12500 0.0496 -
0.4691 12550 0.0926 -
0.4710 12600 0.0584 -
0.4729 12650 0.0613 -
0.4747 12700 0.0768 -
0.4766 12750 0.0714 -
0.4785 12800 0.068 -
0.4803 12850 0.0329 -
0.4822 12900 0.0873 -
0.4841 12950 0.0602 -
0.4859 13000 0.0857 -
0.4878 13050 0.0563 -
0.4897 13100 0.0461 -
0.4916 13150 0.0822 -
0.4934 13200 0.0591 -
0.4953 13250 0.0349 -
0.4972 13300 0.0486 -
0.4990 13350 0.0636 -
0.5009 13400 0.1146 -
0.5028 13450 0.0567 -
0.5046 13500 0.0325 -
0.5065 13550 0.0755 -
0.5084 13600 0.0922 -
0.5102 13650 0.0674 -
0.5121 13700 0.0805 -
0.5140 13750 0.0671 -
0.5158 13800 0.0939 -
0.5177 13850 0.1056 -
0.5196 13900 0.0825 -
0.5215 13950 0.0741 -
0.5233 14000 0.0425 -
0.5252 14050 0.051 -
0.5271 14100 0.0852 -
0.5289 14150 0.0454 -
0.5308 14200 0.0902 -
0.5327 14250 0.0863 -
0.5345 14300 0.0717 -
0.5364 14350 0.1116 -
0.5383 14400 0.0915 -
0.5401 14450 0.0681 -
0.5420 14500 0.0559 -
0.5439 14550 0.063 -
0.5458 14600 0.0856 -
0.5476 14650 0.0661 -
0.5495 14700 0.1111 -
0.5514 14750 0.0983 -
0.5532 14800 0.0885 -
0.5551 14850 0.0612 -
0.5570 14900 0.0764 -
0.5588 14950 0.0693 -
0.5607 15000 0.0839 -
0.5626 15050 0.0872 -
0.5644 15100 0.1113 -
0.5663 15150 0.0576 -
0.5682 15200 0.0645 -
0.5701 15250 0.0471 -
0.5719 15300 0.0376 -
0.5738 15350 0.0798 -
0.5757 15400 0.0996 -
0.5775 15450 0.0497 -
0.5794 15500 0.0579 -
0.5813 15550 0.066 -
0.5831 15600 0.1259 -
0.5850 15650 0.0936 -
0.5869 15700 0.0954 -
0.5887 15750 0.0543 -
0.5906 15800 0.0268 -
0.5925 15850 0.0362 -
0.5943 15900 0.0635 -
0.5962 15950 0.0497 -
0.5981 16000 0.0808 -
0.6000 16050 0.0759 -
0.6018 16100 0.0663 -
0.6037 16150 0.0418 -
0.6056 16200 0.0656 -
0.6074 16250 0.053 -
0.6093 16300 0.0763 -
0.6112 16350 0.0663 -
0.6130 16400 0.0651 -
0.6149 16450 0.0774 -
0.6168 16500 0.069 -
0.6186 16550 0.0647 -
0.6205 16600 0.0459 -
0.6224 16650 0.0639 -
0.6243 16700 0.0526 -
0.6261 16750 0.0758 -
0.6280 16800 0.04 -
0.6299 16850 0.0758 -
0.6317 16900 0.0421 -
0.6336 16950 0.0557 -
0.6355 17000 0.0733 -
0.6373 17050 0.0467 -
0.6392 17100 0.052 -
0.6411 17150 0.1272 -
0.6429 17200 0.081 -
0.6448 17250 0.0396 -
0.6467 17300 0.0494 -
0.6485 17350 0.0934 -
0.6504 17400 0.0745 -
0.6523 17450 0.055 -
0.6542 17500 0.065 -
0.6560 17550 0.0407 -
0.6579 17600 0.0409 -
0.6598 17650 0.0317 -
0.6616 17700 0.0433 -
0.6635 17750 0.0512 -
0.6654 17800 0.0731 -
0.6672 17850 0.0296 -
0.6691 17900 0.059 -
0.6710 17950 0.0727 -
0.6728 18000 0.0672 -
0.6747 18050 0.0661 -
0.6766 18100 0.0572 -
0.6785 18150 0.0499 -
0.6803 18200 0.0839 -
0.6822 18250 0.054 -
0.6841 18300 0.0754 -
0.6859 18350 0.1177 -
0.6878 18400 0.0772 -
0.6897 18450 0.063 -
0.6915 18500 0.0705 -
0.6934 18550 0.0653 -
0.6953 18600 0.085 -
0.6971 18650 0.0668 -
0.6990 18700 0.0788 -
0.7009 18750 0.0673 -
0.7028 18800 0.0606 -
0.7046 18850 0.0553 -
0.7065 18900 0.0435 -
0.7084 18950 0.071 -
0.7102 19000 0.0679 -
0.7121 19050 0.0632 -
0.7140 19100 0.0651 -
0.7158 19150 0.092 -
0.7177 19200 0.0626 -
0.7196 19250 0.0643 -
0.7214 19300 0.0242 -
0.7233 19350 0.0632 -
0.7252 19400 0.0638 -
0.7270 19450 0.0543 -
0.7289 19500 0.0312 -
0.7308 19550 0.1124 -
0.7327 19600 0.0432 -
0.7345 19650 0.0868 -
0.7364 19700 0.0493 -
0.7383 19750 0.0301 -
0.7401 19800 0.048 -
0.7420 19850 0.0594 -
0.7439 19900 0.0391 -
0.7457 19950 0.0523 -
0.7476 20000 0.0951 -
0.7495 20050 0.0954 -
0.7513 20100 0.0716 -
0.7532 20150 0.0366 -
0.7551 20200 0.0751 -
0.7570 20250 0.0516 -
0.7588 20300 0.1157 -
0.7607 20350 0.0645 -
0.7626 20400 0.065 -
0.7644 20450 0.0469 -
0.7663 20500 0.0943 -
0.7682 20550 0.0884 -
0.7700 20600 0.106 -
0.7719 20650 0.0783 -
0.7738 20700 0.0382 -
0.7756 20750 0.0686 -
0.7775 20800 0.0689 -
0.7794 20850 0.0721 -
0.7812 20900 0.0652 -
0.7831 20950 0.0994 -
0.7850 21000 0.0713 -
0.7869 21050 0.0612 -
0.7887 21100 0.0664 -
0.7906 21150 0.0514 -
0.7925 21200 0.0801 -
0.7943 21250 0.0469 -
0.7962 21300 0.0976 -
0.7981 21350 0.0998 -
0.7999 21400 0.0495 -
0.8018 21450 0.0625 -
0.8037 21500 0.0775 -
0.8055 21550 0.049 -
0.8074 21600 0.0816 -
0.8093 21650 0.0644 -
0.8112 21700 0.071 -
0.8130 21750 0.052 -
0.8149 21800 0.0267 -
0.8168 21850 0.0598 -
0.8186 21900 0.0402 -
0.8205 21950 0.0525 -
0.8224 22000 0.0745 -
0.8242 22050 0.061 -
0.8261 22100 0.0623 -
0.8280 22150 0.0823 -
0.8298 22200 0.0413 -
0.8317 22250 0.0679 -
0.8336 22300 0.0684 -
0.8355 22350 0.0372 -
0.8373 22400 0.0754 -
0.8392 22450 0.0714 -
0.8411 22500 0.089 -
0.8429 22550 0.0614 -
0.8448 22600 0.0584 -
0.8467 22650 0.0978 -
0.8485 22700 0.0639 -
0.8504 22750 0.0849 -
0.8523 22800 0.069 -
0.8541 22850 0.0533 -
0.8560 22900 0.0655 -
0.8579 22950 0.0516 -
0.8597 23000 0.0684 -
0.8616 23050 0.0471 -
0.8635 23100 0.0514 -
0.8654 23150 0.0665 -
0.8672 23200 0.0475 -
0.8691 23250 0.0915 -
0.8710 23300 0.0757 -
0.8728 23350 0.0549 -
0.8747 23400 0.0468 -
0.8766 23450 0.0961 -
0.8784 23500 0.0659 -
0.8803 23550 0.0544 -
0.8822 23600 0.1077 -
0.8840 23650 0.0527 -
0.8859 23700 0.0617 -
0.8878 23750 0.0547 -
0.8897 23800 0.0336 -
0.8915 23850 0.0567 -
0.8934 23900 0.0601 -
0.8953 23950 0.0577 -
0.8971 24000 0.0884 -
0.8990 24050 0.0614 -
0.9009 24100 0.0382 -
0.9027 24150 0.0506 -
0.9046 24200 0.0341 -
0.9065 24250 0.0534 -
0.9083 24300 0.0814 -
0.9102 24350 0.0874 -
0.9121 24400 0.0621 -
0.9140 24450 0.0793 -
0.9158 24500 0.0831 -
0.9177 24550 0.0564 -
0.9196 24600 0.0487 -
0.9214 24650 0.1 -
0.9233 24700 0.0852 -
0.9252 24750 0.054 -
0.9270 24800 0.046 -
0.9289 24850 0.0523 -
0.9308 24900 0.0661 -
0.9326 24950 0.0682 -
0.9345 25000 0.0418 -
0.9364 25050 0.0608 -
0.9382 25100 0.0951 -
0.9401 25150 0.052 -
0.9420 25200 0.0464 -
0.9439 25250 0.0874 -
0.9457 25300 0.033 -
0.9476 25350 0.0492 -
0.9495 25400 0.0735 -
0.9513 25450 0.0659 -
0.9532 25500 0.0936 -
0.9551 25550 0.085 -
0.9569 25600 0.0607 -
0.9588 25650 0.0646 -
0.9607 25700 0.0835 -
0.9625 25750 0.0641 -
0.9644 25800 0.0603 -
0.9663 25850 0.0857 -
0.9682 25900 0.0605 -
0.9700 25950 0.0614 -
0.9719 26000 0.0617 -
0.9738 26050 0.0639 -
0.9756 26100 0.0502 -
0.9775 26150 0.089 -
0.9794 26200 0.0604 -
0.9812 26250 0.0867 -
0.9831 26300 0.0597 -
0.9850 26350 0.0755 -
0.9868 26400 0.0628 -
0.9887 26450 0.0685 -
0.9906 26500 0.0794 -
0.9924 26550 0.0892 -
0.9943 26600 0.0716 -
0.9962 26650 0.0397 -
0.9981 26700 0.0933 -
0.9999 26750 0.0663 -

Framework Versions

  • Python: 3.10.6
  • SetFit: 1.0.3
  • Sentence Transformers: 2.3.1
  • Transformers: 4.35.2
  • PyTorch: 2.2.0
  • Datasets: 2.21.0
  • Tokenizers: 0.15.1

Citation

BibTeX 

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}
Downloads last month
16
Safetensors
Model size
109M params
Tensor type
F32
·
Inference Examples
Text Classification
Inference API (serverless) has been turned off for this model.

Model tree for msullivan/topic_temporary_setfitv2

Base model

sentence-transformers/paraphrase-mpnet-base-v2
Finetuned
(256)
this model

Evaluation results

View on Papers With Code