---
license: cc-by-sa-4.0
language:
- ja
tags:
- japanese input
- kana kanji conversion
---
# zenz-v2
<div align="center">
<img src="https://cdn-uploads.huggingface.co/production/uploads/663b87e5a14bfb0a2d4914df/gWnbTavSqhhWYJrP6SdQ1.png" alt="zenz-v2 model spec" width="400"/>
</div>
<!-- Provide a quick summary of what the model is/does. -->

zenz-v2はGPT-2アーキテクチャに基づくかな漢字変換タスクに特化した言語モデルです。ニューラルかな漢字変換システム「Zenzai」で利用することを想定しています。

* 90Mパラメタ
* 文字単位+バイト単位BPEトークナイザー
* かな漢字変換タスクにおいて貪欲法で高い性能
* 文脈を考慮した変換で高い性能を発揮

zenz-v2は[zenz-v1](https://huggingface.co/Miwa-Keita/zenz-v1)を拡張し、素の変換性能を向上させながら新たな機能を追加しました。

## Model Details

### Model Description

<!-- Provide a longer summary of what this model is. -->

[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供されている[ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)を基盤モデルとして利用しています。

本モデルは[CC-BY-SA 4.0](https://creativecommons.org/licenses/by-sa/4.0/deed.ja)で提供します。


- **Developed by:** Keita Miwa ([𝕏](https://twitter.com/miwa_ensan))
- **Model type:** GPT-2
- **Language(s) (NLP):** Japanese
- **License:** CC-BY-SA 4.0
- **Finetuned from model:** [ku-nlp/gpt2-small-japanese-char](https://huggingface.co/ku-nlp/gpt2-small-japanese-char)

### Model Sources

<!-- Provide the basic links for the model. -->

本モデルはZenzai（AzooKeyKanaKanjiConverter）と共に利用することを想定して構築しています。

- **Repository:** https://github.com/ensan-hcl/AzooKeyKanaKanjiConverter


## Acknowledgements

以下のライブラリやツール、言語資源を活用して本モデルを構築しました。

* MeCab (https://taku910.github.io/mecab/)
* ipadic-NEologd (https://github.com/neologd/mecab-ipadic-neologd)
* torch (https://pypi.org/project/torch/)
* transformers (https://pypi.org/project/transformers/)
* datasets (https://pypi.org/project/datasets/)
* jaconv (https://pypi.org/project/jaconv/)
* llama.cpp (https://github.com/ggerganov/llama.cpp)