Model: 'deprem-ner-mdebertav3'

Validasyon Sonuçları

• Precision: 0.711819
• Recall: 0.783626
• F1: 0.745999
• Accuracy: 0.933360

Eğitim Parametreleri

evaluation_strategy="epoch"
save_strategy="epoch"
load_best_model_at_end=True
learning_rate=3e-5
per_device_train_batch_size=8
per_device_eval_batch_size=16
num_train_epochs=15
weight_decay=0.01
seed=42

Örnekler

Bu model depremde enkaz altında kalan kişilerin bildirimlerinden sokak, il, ilçe gibi bilgileri çekmeye çalıştık.

Örnek girdiler:

• "Lütfen yardım Akevler mahallesi Rüzgar sokak Tuncay apartmanı zemin kat Antakya akrabalarım göçük altında #hatay #Afad"
• "MARAȘA'ta arkadaşimizdan haber alamıyoruz ACIL yardım Penta Park konutları 1. Blok en üst kat 11. Kat \n\n@AFADBaskanlik #kahramanmaraş\nACİL"

Verdiği çıktılar:

[
  {
    "entity_group": "mahalle",
    "score": 0.8160411715507507,
    "word": "Akevler mahallesi",
    "start": 14,
    "end": 31
  },
  {
    "entity_group": "sokak",
    "score": 0.940501868724823,
    "word": "Rüzgar sokak",
    "start": 32,
    "end": 44
  },
  {
    "entity_group": "Apartman/Site",
    "score": 0.8081040978431702,
    "word": "Tuncay apartmanı",
    "start": 45,
    "end": 61
  },
  {
    "entity_group": "ilce",
    "score": 0.854024350643158,
    "word": "Antakya",
    "start": 72,
    "end": 79
  }
]

Değerlendirme

Bu modeli Hugging Face Hub'daki diğer modellerle karşılaştırdık, örnek 30 input'ta sonuçları bu repository'de bulabilirsiniz.