SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 10 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
3.0	'[현대백화점][루이까또즈] MOONMOON(문문) 여성호보백 HR3SO02BL (주)현대백화점' '소프트레더 파스텔 보부상 빅숄더백 휘뚜루마뚜루가방 토드백 블랙_one size 아이디어코리아 주식회사' 'DRAGON DIFFUSION 드래곤디퓨전 폼폼 더블 점프백 여성 버킷백 8838 드래곤백 다크브라운 (DARK BROWN) 시계1위워치짱'
7.0	'디어 4colors_H70301010 (W)퍼플와인 ' '[마이클코어스][정상가 1080000원] 에밀리아 라지 레더 사첼 35H0GU5S7T2171 신세계몰' '칼린 소프트M 10colors _H71307020 (Y)라임네온_one size (주)칼린홍대점'
1.0	'마젤란9901 메신저백 크로스백 학생 여행용 가방 백팩 1_MA-9901-BlackPurple(+LK) 더블유팝' '마젤란9901 메신저백 크로스백 학생 여행용 가방 백팩 1_MA-9901-D.Gray(+LK) 더블유팝' '마젤란9901 메신저백 크로스백 학생 여행용 가방 백팩 1_MA-9901-Black(+LK) 더블유팝'
9.0	'룰루레몬 에브리웨어 벨트 백 Fleece WHTO/GOLD White Opal/Gold - O/S 오늘의원픽' '[리본즈] LEMAIRE 남성 숄더백 37408558 블랙_ONE SIZE/단일상품 마리오아울렛몰' '[코치][공식] 홀 벨트 백 CU103 WYE [00001] 없음 현대백화점'
0.0	'가죽가방끈 천연소가죽 가죽 스트랩 32Color 블랙12mm페이던트골드 대성메디칼' '[최초가 228,000원][잘모이] 밍크 듀에 퍼 스트랩 LTZ-5205 168688 와인스카이블루 주식회사 미르에셋' '조이그라이슨 첼시 스트랩 LW4SX6880_55 GOLD 신세계백화점'
5.0	'[소마치] 트래블 여권 지갑 파우치 핸드폰 미니 크로스백 카키_체인105cm(키160전후) 주식회사 소마치' '비비안웨스트우드 코튼 숄더백 EDGWARE (3컬러) chacoal(당일발송) KHY INTERNATIONAL' '남여 공용 미니 메신저백 귀여운 크로스백 학생 미니백 여행 보조 가방 여행용 보조백 아이보리 구공구코리아'
2.0	'메종미네드 MAISON MINED TWO POCKET BACKPACK S OC오피스' '백팩01K1280ZSK외1종 블랙 롯데백화점1관' 'ANC CLASSIC BACKPACK_BLACK BLACK 주식회사 데일리컴퍼니'
4.0	'[스타벅스]텀블러 가방 컵홀더 데일리 캔버스 에코백 지퍼형_베이지 씨에스 인더스트리' '마리떼 FRANCOIS GIRBAUD CLASSIC LOGO ECO BAG natural OS 다함' '마크 곤잘레스 Print Eco Bag - 블랙 568032 BLACK_FREE 라임e커머스'
8.0	'국내생산 코튼 양줄면주머니 미니&에코 주머니 7종 학원 학교 만들기수업 양줄주머니_20cmX25cm(J20) 명성패키지' '조리개 타입 반투명 파우치 보관 신발주머니 주머니 끈주머니 끈파우치 신주머니 여행용 중형(25X35) 정바른 길정' '국내생산 코튼 화이트&블랙주머니 학원 학교 주머니만들기 W15_화이트 명성패키지'
6.0	'메종 마르지엘라 타비 스니커즈 S37WS0578 P4291 T1003 EU41(260-265) 보광컴퍼니' '[롯데백화점]루이까또즈 클러치백 MO2DL03MDABL 롯데백화점_' '깔끔한 여성용 데일리 핸드 스트랩 클러치 가방 남자클러치백 로우마켓'

Evaluation

Metrics

Label	Metric
all	0.7868

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_ac9")
# Run inference
preds = model("웨빙 플라워 스트랩 레디백 길이조절 가방끈 어깨끈 리폼 3-플라워가방끈-흰색 이백프로")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	9.6146	30

Label	Training Sample Count
0.0	50
1.0	17
2.0	50
3.0	50
4.0	50
5.0	50
6.0	50
7.0	50
8.0	50
9.0	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0137	1	0.4278	-
0.6849	50	0.3052	-
1.3699	100	0.1524	-
2.0548	150	0.0583	-
2.7397	200	0.0292	-
3.4247	250	0.0197	-
4.1096	300	0.0061	-
4.7945	350	0.0022	-
5.4795	400	0.0033	-
6.1644	450	0.0003	-
6.8493	500	0.0002	-
7.5342	550	0.0001	-
8.2192	600	0.0001	-
8.9041	650	0.0001	-
9.5890	700	0.0001	-
10.2740	750	0.0001	-
10.9589	800	0.0001	-
11.6438	850	0.0001	-
12.3288	900	0.0001	-
13.0137	950	0.0001	-
13.6986	1000	0.0001	-
14.3836	1050	0.0001	-
15.0685	1100	0.0001	-
15.7534	1150	0.0001	-
16.4384	1200	0.0001	-
17.1233	1250	0.0	-
17.8082	1300	0.0001	-
18.4932	1350	0.0001	-
19.1781	1400	0.0001	-
19.8630	1450	0.0001	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_ac9