SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 9 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6.0	'질스튜어트블랙 클래식 클러치백 [JUWA2F392BK] 주식회사 에스에스지닷컴' '심플 클러치백 EOCFHX257BK/에스콰이아 블랙 롯데쇼핑(주)' '[듀퐁] 소프트그레인 파우치 베이지 CG180263CL 베이지 (주)씨제이이엔엠'
3.0	'엔지니어드가먼츠 블랙 나일론 토트백 23F1H034BLACK 주식회사 어도어럭스' '[가이거] 퀼팅 레더 체인 숄더백 (+플랩지갑) 캐러멜 브라운 (주)우리홈쇼핑' '토트 브리프 크로스백 FT8570 블랙 글로리홈'
4.0	'여자캔버스 가방 코디 크로스백 남자에코백 신발 BLUE 고앤런' '여학생 에코백 아이보리 가방 남녀공용 캐주얼 쇼퍼백 엘케이엠' '패션 에코백 데일리 가방 캐주얼 숄더백 브라운 심정'
7.0	'[갤러리아] 644040 2BKPI 1000 ONE SIZE 한화갤러리아(주)' '[갤러리아] 헤지스핸드백 그린 워싱가죽 크로스 겸용 토트백 HJBA3E301E2(타임월드) 한화갤러리아(주)' '[메종키츠네] 로고 프린트 코튼 토트백 블루 LW05102WW0008 BLUE_FREE 신세계몰'
2.0	'바버 가죽 코팅 서류 가방 브리프 케이스 UBA0004 NAVY 뉴욕트레이딩' '[롯데백화점]에스콰이아 23FW 신상 경량 나일론 노트북 수납 남여 데일리 토트 크로스백 EOCFHX258BK 롯데백화점_' '22FW 신상 뉴 포멀 슬림 스퀘어 심플 비즈니스 캐주얼 서류가방 ECBFHX227GY 롯데백화점1관'
1.0	'NATIONALGEOGRAPHIC N225USD340 다이브 플러스 V3 BLACK 240 맥스투' '레스포삭 보이저 백팩 경량 나일론 보부상 복조리 가방 7839 플라워 행운샵' '레스포삭 보이저 백팩 경량 Voyager Backpack 7839 블랙 하하대행'
0.0	'[갤러리아] 헤지스핸드백HJBA2F770BK_ 블랙 로고 장식 솔리드 메신져백(타임월드) 한화갤러리아(주)' '로아드로아 허쉬 메쉬 포켓 크로스 메신저백 (아이보리) 크로스백 FREE 가방팝' '[본사공식] 타프 메신저백 사첼 S EOCBS04 008 롯데아이몰'
5.0	'팩세이프 가방 GO 크로스바디 백 2.5L / PACSAFE URBAN 도난방지 유럽 해외 여행 등산 슬링백 크로스백 RFID차단 1. 제트 블랙 (JET BLACK) 시계1위팝워치' '샨타코[Chantaco] 레더 크로스백 BB NH3271C53N 000/라코스테 롯데쇼핑(주)' '팩세이프 가방 GO 크로스바디 백 2.5L / PACSAFE URBAN 도난방지 유럽 해외 여행 등산 슬링백 크로스백 RFID차단 2. 로즈 (ROSE) 시계1위팝워치'
8.0	'[기회공작소] 데일리 슬링백 크로스 힙색 허리가방 스포츠 등산 힙색 허리색 슬링백 보조가방 글로리커머스' '구찌 GG 캔버스 투웨이 밸트백 힙색 630915 KY9KN 9886 쏠나인' '벨트형 핸드폰 허리가방 남자 벨트백 세로형 가죽 벨트파우치 지갑 허리벨트케이스 브라운 자주구매'

Evaluation

Metrics

Label	Metric
all	0.8489

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ac0")
# Run inference
preds = model("[디스커버리](신세계강남점)[23N] 디스커버리 미니 슬링백 (DXSG0043N) IVD 다크 아이보리_F 주식회사 에스에스지닷컴")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	4	9.2289	29

Label	Training Sample Count
0.0	50
1.0	50
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0141	1	0.3958	-
0.7042	50	0.3012	-
1.4085	100	0.1811	-
2.1127	150	0.0599	-
2.8169	200	0.0333	-
3.5211	250	0.0169	-
4.2254	300	0.0005	-
4.9296	350	0.0003	-
5.6338	400	0.0002	-
6.3380	450	0.0003	-
7.0423	500	0.0001	-
7.7465	550	0.0001	-
8.4507	600	0.0001	-
9.1549	650	0.0001	-
9.8592	700	0.0001	-
10.5634	750	0.0	-
11.2676	800	0.0001	-
11.9718	850	0.0001	-
12.6761	900	0.0001	-
13.3803	950	0.0	-
14.0845	1000	0.0	-
14.7887	1050	0.0	-
15.4930	1100	0.0	-
16.1972	1150	0.0	-
16.9014	1200	0.0	-
17.6056	1250	0.0	-
18.3099	1300	0.0	-
19.0141	1350	0.0	-
19.7183	1400	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_ac0