Mizuiro-sakura
commited on
Commit
•
985ab97
1
Parent(s):
f769dc1
Update README.md
Browse files
README.md
CHANGED
@@ -1,3 +1,67 @@
|
|
1 |
---
|
2 |
license: mit
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
3 |
---
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
---
|
2 |
license: mit
|
3 |
+
language: ja
|
4 |
+
library_name: transformers
|
5 |
+
tags:
|
6 |
+
- pytorch
|
7 |
+
- deberta
|
8 |
+
- deberta-v2
|
9 |
+
- question-answering
|
10 |
+
- question answering
|
11 |
+
- squad
|
12 |
+
datasets:
|
13 |
+
- wikipedia
|
14 |
+
- cc100
|
15 |
+
- oscar
|
16 |
+
metrics:
|
17 |
+
- accuracy
|
18 |
+
|
19 |
---
|
20 |
+
|
21 |
+
# このモデルはdeberta-v2-tiny-japaneseをファインチューニングしてQAタスクに用いれるようにしたものです。
|
22 |
+
このモデルはdeberta-v2-tiny-japaneseを運転ドメインQAデータセット(DDQA)( https://nlp.ist.i.kyoto-u.ac.jp/index.php?Driving%20domain%20QA%20datasets )を用いてファインチューニングしたものです。
|
23 |
+
|
24 |
+
Question-Answeringタスク(SQuAD)に用いることができます。
|
25 |
+
|
26 |
+
# This model is fine-tuned model for Question-Answering which is based on deberta-v2-tiny-japanese
|
27 |
+
This model is fine-tuned by using DDQA dataset.
|
28 |
+
|
29 |
+
You could use this model for Question-Answering tasks.
|
30 |
+
|
31 |
+
# How to use 使い方
|
32 |
+
transformersおよびpytorchをインストールしてください。
|
33 |
+
以下のコードを実行することで、Question-Answeringタスクを解かせることができます。 please execute this code.
|
34 |
+
```python
|
35 |
+
import torch
|
36 |
+
from transformers import AutoTokenizer, AutoModelForQuestionAnswering
|
37 |
+
|
38 |
+
tokenizer = AutoTokenizer.from_pretrained('Mizuiro-sakura/deberta-v2-tiny-japanese-finetuned-QA')
|
39 |
+
model=AutoModelForQuestionAnswering.from_pretrained('Mizuiro-sakura/deberta-v2-tiny-japanese-finetuned-QA') # 学習済みモデルの読み込み
|
40 |
+
|
41 |
+
text={
|
42 |
+
'context':'私の名前はEIMIです。好きな食べ物は苺です。 趣味は皆さんと会話することです。',
|
43 |
+
'question' :'好きな食べ物は何ですか'
|
44 |
+
}
|
45 |
+
|
46 |
+
input_ids=tokenizer.encode(text['question'],text['context']) # tokenizerで形態素解析しつつコードに変換する
|
47 |
+
output= model(torch.tensor([input_ids])) # 学習済みモデルを用いて解析
|
48 |
+
prediction = tokenizer.decode(input_ids[torch.argmax(output.start_logits): torch.argmax(output.end_logits)]) # 答えに該当する部分を抜き取る
|
49 |
+
print(prediction)
|
50 |
+
```
|
51 |
+
# モデルの精度 accuracy of model
|
52 |
+
Exact Match(厳密一致) :0.46698564593301434
|
53 |
+
|
54 |
+
f1 : 0.5808696453091605
|
55 |
+
|
56 |
+
|
57 |
+
# deberta-v2-base-japaneseとは?
|
58 |
+
日本語Wikipedeia(3.2GB)および、cc100(85GB)、oscar(54GB)を用いて訓練されたモデルです。
|
59 |
+
京都大学黒橋研究室が公表されました。
|
60 |
+
|
61 |
+
# Model description
|
62 |
+
This is a Japanese DeBERTa V2 tiny model pre-trained on Japanese Wikipedia, the Japanese portion of CC-100, and the Japanese portion of OSCAR.
|
63 |
+
|
64 |
+
# Acknowledgments 謝辞
|
65 |
+
モデルを公開してくださった京都大学黒橋研究室には感謝いたします。
|
66 |
+
I would like to thank Kurohashi Lab at Kyoto University.
|
67 |
+
|