|
--- |
|
license: apache-2.0 |
|
language: |
|
- ja |
|
pipeline_tag: text-generation |
|
tags: |
|
- Mistral |
|
--- |
|
# Japanese-Starling-ChatV-7B-GGUF |
|
|
|
GGUF conversion of "<a href="https://huggingface.co/TFMC/Japanese-Starling-ChatV-7B">Japanese-Starling-ChatV-7B</a>" |
|
|
|
"Japanese-Starling-ChatV-7B" is a Japanese chat model built on top of "<a href="https://huggingface.co/NTQAI/chatntq-ja-7b-v1.0">chatntq-ja-7b-v1.0</a>", originally based on Mistral-7B-v0.1. |
|
I applied the chat vector acquired by subtracting the weights of Mistral-7B-v0.1 from the weights of "<a href="https://huggingface.co/Nexusflow/Starling-LM-7B-beta">Starling-LM-7B-beta</a>" to this model. |
|
|
|
このモデルはchatntq-ja-7b-v1.0をベースにした7Bパラメータの日本語チャットモデルです。高性能の英語モデルであるStarling-LM-7B-betaの重みからMistral-7B-v0.1の重みを差し引くことで得たchat vectorを適用しています（<a href="https://note.com/bakushu/n/ne95340f04b41">ブログ記事</a>）。 |
|
|
|
### Performance |
|
|
|
<table> |
|
<tr> |
|
<th>Model<br>(Q8_0 quant)</th> |
|
<th><a href="https://huggingface.co/andrewcanis/c4ai-command-r-v01-GGUF">c4ai-command-r-v01-GGUF</a></th> |
|
<th>JA-Starling-ChatV-7B-GGUF (This model)</th> |
|
<th><a href="https://huggingface.co/TFMC/ChatNTQ-JA-7b-v1.0-GGUF">ChatNTQ-JA-7b-v1.0-GGUF</a></th> |
|
<th><a href="https://huggingface.co/mmnga/RakutenAI-7B-chat-gguf">RakutenAI-7B-chat-gguf</a></th> |
|
<th><a href="https://huggingface.co/mmnga/ELYZA-japanese-Llama-2-7b-instruct-gguf">ELYZA-japanese-Llama-2-7b-instruct-gguf</a></th> |
|
</tr> |
|
<tr> |
|
<td>Parameters</td> |
|
<td>35B</td> |
|
<td>7B(Mistral)</td> |
|
<td>7B(Mistral)</td> |
|
<td>7B(Mistral)</td> |
|
<td>7B(Llama-2)</td> |
|
</tr> |
|
<tr> |
|
<td>ELYZAtasks100<br>average score</td> |
|
<td>3.42</td> |
|
<td>3.42</td> |
|
<td>3.06</td> |
|
<td>2.82</td> |
|
<td>2.46</td> |
|
</tr> |
|
</table> |
|
|
|
Scores on "<a href="https://huggingface.co/datasets/elyza/ELYZA-tasks-100">ELYZA-tasks-100</a>" benchmark for the instruction-tuned Japanese models evaluated by GPT-4-0125-preview. Please note that this is a simplified evaluation using the Q8 quantized models. |
|
|
|
このスコアはinstruction-tuningを行った日本語モデルのベンチマーク「ELYZA-tasks-100」を使い、GPT-4-0125-previewにより評価させたものです。Q8量子化モデルを用いた簡易的な評価であることにご留意ください。 |
|
|
|
### Prompt Template |
|
|
|
<pre><code>[INST] <<SYS>>\nあなたは役に立つアシスタントです。\n<</SYS>>\n\n{prompt} [/INST]</code></pre> |
