Update README.md
Browse files
README.md
CHANGED
|
@@ -40,16 +40,16 @@ model = AutoModelForTokenClassification.from_pretrained(model_name)
|
|
| 40 |
```
|
| 41 |
|
| 42 |
# Tokenizer
|
| 43 |
-
[工藤氏によって示された手法](https://qiita.com/taku910/items/fbaeab4684665952d5a9)
|
| 44 |
|
| 45 |
-
|
| 46 |
|
| 47 |
- 推論時の形態素解析器なし
|
| 48 |
- トークンが単語の境界を跨がない (辞書: `unidic-cwj-202302`)
|
| 49 |
- Hugging Faceで使いやすい
|
| 50 |
- 大きすぎない語彙数
|
| 51 |
|
| 52 |
-
本家の DeBERTa V3
|
| 53 |
|
| 54 |
---
|
| 55 |
The tokenizer is trained using [the method introduced by Kudo](https://qiita.com/taku910/items/fbaeab4684665952d5a9).
|
|
|
|
| 40 |
```
|
| 41 |
|
| 42 |
# Tokenizer
|
| 43 |
+
[工藤氏によって示された手法](https://qiita.com/taku910/items/fbaeab4684665952d5a9)で学習しました。
|
| 44 |
|
| 45 |
+
以下のことを意識しています:
|
| 46 |
|
| 47 |
- 推論時の形態素解析器なし
|
| 48 |
- トークンが単語の境界を跨がない (辞書: `unidic-cwj-202302`)
|
| 49 |
- Hugging Faceで使いやすい
|
| 50 |
- 大きすぎない語彙数
|
| 51 |
|
| 52 |
+
本家の DeBERTa V3 は大きな語彙数で学習されていることに特徴がありますが、反面埋め込み層のパラメータ数が大きくなりすぎる ([microsoft/deberta-v3-base](https://huggingface.co/microsoft/deberta-v3-base) モデルの場合で埋め込み層が全体の 54%) ことから、本モデルでは小さめの語彙数を採用しています。
|
| 53 |
|
| 54 |
---
|
| 55 |
The tokenizer is trained using [the method introduced by Kudo](https://qiita.com/taku910/items/fbaeab4684665952d5a9).
|