---
tags:
- generated_from_trainer
metrics:
- precision
- recall
- f1
- accuracy
model-index:
- name: KoELECTRA-small-v3-modu-ner
  results: []
language:
- ko
pipeline_tag: token-classification
widget:
- text: "서울역으로 안내해줘."
  example_title: "Example 1"
- text: "에어컨 온도 3도 올려줘."
  example_title: "Example 2"
- text: "아이유 노래 검색해줘."
  example_title: "Example 3"
---

# KoELECTRA-small-v3-modu-ner

This model is a fine-tuned version of [monologg/koelectra-small-v3-discriminator](https://huggingface.co/monologg/koelectra-small-v3-discriminator) on an unknown dataset.
It achieves the following results on the evaluation set:
- Loss: 0.1443
- Precision: 0.8176
- Recall: 0.8401
- F1: 0.8287
- Accuracy: 0.9615

## Model description

태깅 시스템 : BIO 시스템
- B-(begin) : 개체명이 시작할 때
- I-(inside) : 토큰이 개체명 중간에 있을 때
- O(outside) : 토큰이 개체명이 아닐 경우

한국정보통신기술협회(TTA) 대분류 기준을 따르는 15 가지의 태그셋

| 분류          | 표기 | 정의        |
|:------------:|:---:|:-----------|
| ARTIFACTS    | AF  | 사람에 의해 창조된 인공물로 문화재, 건물, 악기, 도로, 무기, 운송수단, 작품명, 공산품명이 모두 이에 해당 |
| ANIMAL       | AM  | 사람을 제외한 짐승 |
| CIVILIZATION | CV  | 문명/문화 |
| DATE         | DT  | 기간 및 계절, 시기/시대 |
| EVENT        | EV  | 특정 사건/사고/행사 명칭 |
| STUDY_FIELD  | FD  | 학문 분야, 학파 및 유파 |
| LOCATION     | LC  | 지역/장소와 지형/지리 명칭 등을 모두 포함 |
| MATERIAL     | MT  | 원소 및 금속, 암석/보석, 화학물질 |
| ORGANIZATION | OG  | 기관 및 단체 명칭 |
| PERSON       | PS  | 인명 및 인물의 별칭 (유사 인물 명칭 포함) |
| PLANT        | PT  | 꽃/나무, 육지식물, 해초류, 버섯류, 이끼류 |
| QUANTITY     | QT  | 수량/분량, 순서/순차, 수사로 이루어진 표현 |
| TIME         | TI  | 시계상으로 나타나는 시/시각, 시간 범위 |
| TERM         | TM  | 타 개체명에서 정의된 세부 개체명 이외의 개체명 |
| THEORY       | TR  | 특정 이론, 법칙 원리 등 |

## Intended uses & limitations

### How to use
You can use this model with Transformers *pipeline* for NER.
```python
from transformers import AutoTokenizer, AutoModelForTokenClassification
from transformers import pipeline

tokenizer = AutoTokenizer.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
model = AutoModelForTokenClassification.from_pretrained("Leo97/KoELECTRA-small-v3-modu-ner")
ner = pipeline("ner", model=model, tokenizer=tokenizer)

example = "서울역으로 안내해줘."
ner_results = ner(example)
print(ner_results)
```

## Training and evaluation data

개체명 인식(NER) 모델 학습 데이터 셋
- 문화체육관광부 > 국립국어원 > 모두의 말뭉치 > 개체명 분석 말뭉치 2021
- https://corpus.korean.go.kr/request/reausetMain.do

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 64
- eval_batch_size: 64
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 3787
- num_epochs: 18 (= 10 + 3 + 5)
- mixed_precision_training: Native AMP

### Training results

| Training Loss | Epoch | Step  | Validation Loss | Precision | Recall | F1     | Accuracy |
|:-------------:|:-----:|:-----:|:---------------:|:---------:|:------:|:------:|:--------:|
| No log        | 1.0   | 3788  | 0.3021          | 0.6356    | 0.6380 | 0.6368 | 0.9223   |
| No log        | 2.0   | 7576  | 0.1905          | 0.7397    | 0.7441 | 0.7419 | 0.9431   |
| No log        | 3.0   | 11364 | 0.1612          | 0.7611    | 0.7897 | 0.7751 | 0.9505   |
| No log        | 4.0   | 15152 | 0.1494          | 0.7855    | 0.7998 | 0.7926 | 0.9544   |
| No log        | 5.0   | 18940 | 0.1427          | 0.7833    | 0.8194 | 0.8009 | 0.9559   |
| No log        | 6.0   | 22728 | 0.1398          | 0.7912    | 0.8223 | 0.8064 | 0.9572   |
| No log        | 7.0   | 26516 | 0.1361          | 0.8035    | 0.8240 | 0.8136 | 0.9587   |
| No log        | 8.0   | 30304 | 0.1360          | 0.8047    | 0.8280 | 0.8162 | 0.9592   |
| No log        | 9.0   | 34092 | 0.1346          | 0.8058    | 0.8299 | 0.8177 | 0.9596   |
| 0.2256        | 10.0  | 37880 | 0.1350          | 0.8068    | 0.8308 | 0.8186 | 0.9598   |
| 3회 훈련 추가 ||||||||
| No log        | 1.0   | 3788  | 0.1367          | 0.8089    | 0.8240 | 0.8164 | 0.9595   |
| No log        | 2.0   | 7576  | 0.1345          | 0.8130    | 0.8331 | 0.8229 | 0.9604   |
| 0.0953        | 3.0   | 11364 | 0.1370          | 0.8146    | 0.8349 | 0.8246 | 0.9609   |
| 5회 훈련 추가 ||||||||
| No log        | 1.0   | 3788  | 0.1511          | 0.8095    | 0.8257 | 0.8176 | 0.9594   |
| No log        | 2.0   | 7576  | 0.1461          | 0.8121    | 0.8339 | 0.8228 | 0.9600   |
| No log        | 3.0   | 11364 | 0.1417          | 0.8139    | 0.8372 | 0.8254 | 0.9607   |
| No log        | 4.0   | 15152 | 0.1418          | 0.8238    | 0.8346 | 0.8292 | 0.9617   |
| 0.0748        | 5.0   | 18940 | 0.1443          | 0.8176    | 0.8401 | 0.8287 | 0.9615   |


### Framework versions

- Transformers 4.27.4
- Pytorch 2.0.0+cu118
- Datasets 2.11.0
- Tokenizers 0.13.2