Update README.md
Browse files
README.md
CHANGED
@@ -50,6 +50,19 @@ jsquad(jsquad-1.1-0.3, 2-shots)、jcommonsenseqa(jcommonsenseqa-1.1-0.3, 3-shots
|
|
50 |
|
51 |
![レーダーチャート](./japanese_mt_bench.png)
|
52 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
53 |
## ライセンス
|
54 |
元モデルである[CohereForAI/c4ai-command-r-v01](https://huggingface.co/CohereForAI/c4ai-command-r-v01)はCC-BY-NC 4.0と[C4AI's Acceptable Use Policy](https://docs.cohere.com/docs/c4ai-acceptable-use-policy)のもとに配布されています。
|
55 |
|
|
|
50 |
|
51 |
![レーダーチャート](./japanese_mt_bench.png)
|
52 |
|
53 |
+
余談ですが、英語ベンチマークである[Open LLM Leaderboard]((https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard))のスコアもなぜかわずかに向上していました。
|
54 |
+
[詳細](https://huggingface.co/datasets/open-llm-leaderboard/details_Aratako__c4ai-command-r-v01-japanese-instruct)
|
55 |
+
|
56 |
+
| Metric |c4ai-command-r-v01|**c4ai-command-r-v01-japanese-instruct**|
|
57 |
+
|---------------------------------|----:|----:|
|
58 |
+
|Avg. |68.54|**68.85**|
|
59 |
+
|AI2 Reasoning Challenge (25-Shot)|65.53|**65.87**|
|
60 |
+
|HellaSwag (10-Shot) |87|**85.62**|
|
61 |
+
|MMLU (5-Shot) |68.2|**67.61**|
|
62 |
+
|TruthfulQA (0-shot) |52.32|**51.01**|
|
63 |
+
|Winogrande (5-shot) |81.53|**82.95**|
|
64 |
+
|GSM8k (5-shot) |56.63|**60.05**|
|
65 |
+
|
66 |
## ライセンス
|
67 |
元モデルである[CohereForAI/c4ai-command-r-v01](https://huggingface.co/CohereForAI/c4ai-command-r-v01)はCC-BY-NC 4.0と[C4AI's Acceptable Use Policy](https://docs.cohere.com/docs/c4ai-acceptable-use-policy)のもとに配布されています。
|
68 |
|