SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 9 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'그린올리브 365g 동서 리치스 올리브 샐러드 화남F.C' '동서 리치스 슬라이스 오이피클 3kg 무성유통' '리치스 슬라이스 오이피클 3kg 피클 화남F.C'
3.0	'CJ제일제당 스팸12호 1세트 위드' 'CJ제일제당 스팸 복합 5호 선물세트 보담유통' '스팸복합5호 햄 카놀라유 선물세트 복합 명절 추석 세트 땡그리나'
4.0	'동원 스위트콘 340g 골든 동원 저스트 스위트콘 340g(리뉴얼) 중앙 리테일' '오뚜기 스위트콘 옥수수통조림 340g 스위트콘 340g x 1개 주식회사 로씨네' '동서 리치스 홀커널 스위트콘 425g 원터치 옥수수 캔 통조림 주식회사 당장만나'
7.0	'스팸 마일드 25% 라이트 340g 외 스팸 4종 1. 스팸 클래식 200g 주식회사 하포테크' 'CJ제일제당 스팸 싱글 클래식 80g CJ제일제당 스팸 싱글 25% 라이트 80g 삼영유통' '통조림 CJ제일제당 스팸 클래식 200g/햄통조림 ~통조림/캔햄_쿡샵 스위트콘 (태국산) 420g 단비마켓'
2.0	'샘표 김치찌개용꽁치280g/김치찌개전용꽁치통조림 주식회사 달인식자재' '샘표 고등어 원터치 400g 조이텍' '통조림 오뚜기 고등어 400g/참치캔 ~150g이상참치_동원 고추참치 150g 모두유통주식회사'
1.0	'화풍 양송이 편 2.8Kg 다유몰' '디벨라 렌틸스 400g /렌즈콩 (주)푸드올마켓' '몬 코코넛밀크 400ml 02_콕_코코넛밀크_400ml 정앤남'
0.0	'유동 자연산 골뱅이 230g /s/ 번데기 술안주 비빔면 소면 무침 국수 야식 통조림 (주)강남상사' '동원에프앤비 동원 자연산 골뱅이 230g 주식회사 진현유통' '자연산 골뱅이캔삼포140g 스완인터내셔널'
5.0	'동원참치 고추참치 통조림 100g 동원 참치 12종_17.동원 고추 참치 150g (주)다누림글로벌' '오뚜기 참치빅캔 살코기 1.88kg 플랜트더퓨처' '동원 참치 3kg 대용량 참치캔 업소용 코스트코 태양팜스'
8.0	'샘표 통조림캔 황도 400g 조림용고등어 400g (주)두배로' '동서 리치스 파인애플 슬라이스 836g (주)푸드팜' '동서 리치스 후르츠칵테일 3kg 미동의 제이모리'

Evaluation

Metrics

Label	Metric
all	0.9854

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_fd21")
# Run inference
preds = model("목우촌 뚝심 340g  장보고가")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	8.4489	22

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0141	1	0.4416	-
0.7042	50	0.297	-
1.4085	100	0.1016	-
2.1127	150	0.0599	-
2.8169	200	0.0339	-
3.5211	250	0.0256	-
4.2254	300	0.0235	-
4.9296	350	0.0019	-
5.6338	400	0.0113	-
6.3380	450	0.0002	-
7.0423	500	0.0001	-
7.7465	550	0.0001	-
8.4507	600	0.0001	-
9.1549	650	0.0001	-
9.8592	700	0.0001	-
10.5634	750	0.0001	-
11.2676	800	0.0001	-
11.9718	850	0.0001	-
12.6761	900	0.0001	-
13.3803	950	0.0001	-
14.0845	1000	0.0001	-
14.7887	1050	0.0001	-
15.4930	1100	0.0001	-
16.1972	1150	0.0001	-
16.9014	1200	0.0	-
17.6056	1250	0.0001	-
18.3099	1300	0.0001	-
19.0141	1350	0.0001	-
19.7183	1400	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_fd21