metadata

license: mit
base_model: xlm-roberta-base
tags:
  - ner
metrics:
  - f1
widget:
  - text: 2006年5月9日に開催されたE3の会場における任天堂のプレゼンテーション内で初めて公開され、日本では2007年2月22日に発売された。
  - text: 東京大学法学部助手、北海道大学法学部助教授を経て、現在、北海道大学大学院法学研究科教授。
  - text: ヨーロッパで大航海時代が始まった15世紀末の1488年に、ポルトガル人のバルトロメウ・ディアスがアフリカ大陸南端の喜望峰に到達した。
model-index:
  - name: xlm-roberta-ner-ja
    results: []
language:
  - ja
pipeline_tag: token-classification

xlm-roberta-ner-ja

This model is a fine-tuned version of xlm-roberta-base on the None dataset. It achieves the following results on the evaluation set:

Loss: 0.1301
F1: 0.8804

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

learning_rate: 5e-05
train_batch_size: 12
eval_batch_size: 12
seed: 42
optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
lr_scheduler_type: linear
num_epochs: 5
mixed_precision_training: Native AMP

Training results

Training Loss	Epoch	Step	Validation Loss	F1
No log	1.0	1451	0.1113	0.8286
No log	2.0	2902	0.0990	0.8487
No log	3.0	4353	0.1079	0.8611
No log	4.0	5804	0.1120	0.8738
No log	5.0	7255	0.1301	0.8804

Framework versions

Transformers 4.35.2
Pytorch 2.0.1+cu118
Datasets 2.15.0
Tokenizers 0.15.0