SetFit with mini1013/master_domain

This is a SetFit model that can be used for Text Classification. This SetFit model uses mini1013/master_domain as the Sentence Transformer embedding model. A LogisticRegression instance is used for classification.

The model has been trained using an efficient few-shot learning technique that involves:

Fine-tuning a Sentence Transformer with contrastive learning.
Training a classification head with features from the fine-tuned Sentence Transformer.

Model Details

Model Description

Model Type: SetFit
Sentence Transformer body: mini1013/master_domain
Classification head: a LogisticRegression instance
Maximum Sequence Length: 512 tokens
Number of Classes: 7 classes

Model Sources

Repository: SetFit on GitHub
Paper: Efficient Few-Shot Learning Without Prompts
Blogpost: SetFit: Efficient Few-Shot Learning Without Prompts

Model Labels

Label	Examples
6	'윤씨네 J-SV / 족자스크린 4:3비율 100인치 에스앤피' '[ FLAT FLOW ] 플랏플로우 100인치 와이드 분리형 족자스크린 F-HJ100W F-HJ100W (100인치 와이드 족자형) 아이티원' '윤씨네 J-SH40 / 와이드 족자스크린 16:9 40인치 에스앤피'
2	'75인치 189cm 4K UHD 비즈니스TV LH75BECH 스탠드 에너지효율등급 1등급 우수한 내구성 주식회사 쇼핑하는니체' '[LG] 55인치 UHD 단독형 사이니지 3시리즈 (55UL3J) 고정형 벽걸이 설치 주식회사 케이엠시스템' '[LG] 55인치 비디오월 슬림 베젤 1.74 mm, 500nit (55VM5J) 벽걸이 설치 (별도문의) 주식회사 케이엠시스템'
5	'벤큐 GS50 풀HD 캠핑용 빔프로젝터 안드로이드 아이폰 무선미러링 배터리내장 블루투스 (주)아솔컴퍼니' '에이서 DX227 🧡정품 신형🧡 5200안시 XGA 20000:1 DLP 회의용 교육용 강당용 멀티용 도움에이브이' '[피제이시스] 엡손 EB-L1070U 레이저프로젝터 ❤️정품새상품 ❤️ 주식회사 피제이시스(PJSYS.co.Ltd.)'
0	'이노스 S2401KU 어반스톡' '[무결점] 프리즘 바이런 75인치 1등급 4K HDR 베젤리스TV 패널 2년 무상보증 / BR750UD_기사설치포함 (주)프리즘코리아' '[무결점] 프리즘 바이런 55인치 1등급 4K HDR 베젤리스TV 패널 2년 무상보증 / BR550UHD (주)프리즘코리아'
4	'[PICO 국내 공식판매처] PICO NEO3 Enterprise VR (256GB) / 공공기관 및 공공교육기관 전용 주식회사 메타에듀시스' '에듀플레이어 EA400 DVD플레이어 CD/DVD리핑 투웨이 블루투스 EA400 (ED404) 주식회사 에듀플레이어' '오큘러스 퀘스트2 Oculus Quest2 올인원 VR게임헤드셋 퀘스트2 128GB (관세 대납) 팽마켓'
1	'카멜 디지털액자화이트(블랙) / PF1040IPS /10인치 디지털액자(동영상,슬리이드쇼,앨범) 선물용디지털액자PF-1040IPS / 디지털사진액자/ 16:9화면(화이트or 블랙) 블랙 에스라B2B' '컴스마트 BM170 15.4형 스마트 디지털 액자 동영상 시계 달력 HDMI 서브 모니터 블루시스템쇼핑몰 주식회사' '카멜 디지털액자 10인치 PF-1040IPS 미니모니터 사진 동영상 음악 에스제이인터내셔널'
3	'COMBO-2000A (금영 (KY)/ 내셔널 (NATIONAL) / 넥스디지탈 (NEX) /넥슨 (NEXN) /뉴썬인더스트리 엔플러스(NPLUS)/ 다비디스플레이 (DAVI) COMBO-2000A 메카트로주식회사' 'COMBO-119 /APH13000/AP-H3020/AP-H4000/APH-H2300/AP-HH232N/IAS-T1010/IAS-T810/IAS-T82CA 지에이치스토어' 'COMBO-2201 (AKB75455603 / AKB75635301 / AKB75635305 / AKB75675304 / akb75675306 / AKB75755301) 메카트로'

Evaluation

Metrics

Label	Metric
all	0.7630

Uses

Direct Use for Inference

First install the SetFit library:

pip install setfit

Then you can load this model and run inference.

from setfit import SetFitModel

# Download from the 🤗 Hub
model = SetFitModel.from_pretrained("mini1013/master_cate_el13")
# Run inference
preds = model("삼성 WMN4070SG 벽결이브라켓 삼성고정브라켓  두루엠에스")

Training Details

Training Set Metrics

Training set	Min	Median	Max
Word count	3	10.4229	25

Label	Training Sample Count
0	50
1	50
2	50
3	50
4	50
5	50
6	50

Training Hyperparameters

batch_size: (512, 512)
num_epochs: (20, 20)
max_steps: -1
sampling_strategy: oversampling
num_iterations: 40
body_learning_rate: (2e-05, 2e-05)
head_learning_rate: 2e-05
loss: CosineSimilarityLoss
distance_metric: cosine_distance
margin: 0.25
end_to_end: False
use_amp: False
warmup_proportion: 0.1
seed: 42
eval_max_steps: -1
load_best_model_at_end: False

Training Results

Epoch	Step	Training Loss	Validation Loss
0.0182	1	0.4965	-
0.9091	50	0.118	-
1.8182	100	0.0382	-
2.7273	150	0.0008	-
3.6364	200	0.0003	-
4.5455	250	0.0002	-
5.4545	300	0.0002	-
6.3636	350	0.0002	-
7.2727	400	0.0001	-
8.1818	450	0.0001	-
9.0909	500	0.0001	-
10.0	550	0.0001	-
10.9091	600	0.0001	-
11.8182	650	0.0001	-
12.7273	700	0.0001	-
13.6364	750	0.0001	-
14.5455	800	0.0001	-
15.4545	850	0.0001	-
16.3636	900	0.0001	-
17.2727	950	0.0001	-
18.1818	1000	0.0001	-
19.0909	1050	0.0001	-
20.0	1100	0.0	-

Framework Versions

Python: 3.10.12
SetFit: 1.1.0.dev0
Sentence Transformers: 3.1.1
Transformers: 4.46.1
PyTorch: 2.4.0+cu121
Datasets: 2.20.0
Tokenizers: 0.20.0

Citation

BibTeX

@article{https://doi.org/10.48550/arxiv.2209.11055,
    doi = {10.48550/ARXIV.2209.11055},
    url = {https://arxiv.org/abs/2209.11055},
    author = {Tunstall, Lewis and Reimers, Nils and Jo, Unso Eun Seo and Bates, Luke and Korat, Daniel and Wasserblat, Moshe and Pereg, Oren},
    keywords = {Computation and Language (cs.CL), FOS: Computer and information sciences, FOS: Computer and information sciences},
    title = {Efficient Few-Shot Learning Without Prompts},
    publisher = {arXiv},
    year = {2022},
    copyright = {Creative Commons Attribution 4.0 International}
}

mini1013
/

master_cate_el13