Aratako commited on
Commit
ce6cd6e
1 Parent(s): 3e4a116

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +11 -2
README.md CHANGED
@@ -26,8 +26,10 @@ RunpodでGPUサーバを借り、A6000x4で学習を行いました。主な学
26
  - max_seq_length: 2048
27
 
28
  ## 評価
29
- jsquad(jsquad-1.1-0.3, 2-shots)、jcommonsenseqa(jcommonsenseqa-1.1-0.3, 3-shots)、jnli(jnli-1.3-0.3, 3-shots)、marc_ja(marc_ja-1.1-0.3, 3-shots)結果は以下の通りです。(8ビット量子化/jsquadは100で割り、それぞれ小数点以下第4位を四捨五入)
 
30
 
 
31
 
32
  |Model|jsquad(exact_match)|jcommonsenseqa(acc)|jnli(acc)|marc_ja(acc)|average|
33
  |---|---|---|---|---|---|
@@ -45,4 +47,11 @@ jsquad(jsquad-1.1-0.3, 2-shots)、jcommonsenseqa(jcommonsenseqa-1.1-0.3, 3-shots
45
  | c4ai-command-r-v01 | 6.1 | 7.9 | 9.7 | 2.4 | 6.0 | 8.3 | 9.8 | 8.6 | 7.35 |
46
  | **c4ai-command-r-v01-japanese-instruct** | **5.6** | **8.3** | **8.1** | **3.4** | **6.1** | **7.9** | **9.2** | **8.6** | **7.15** |
47
 
48
- ![レーダーチャート](./japanese_mt_bench.png)
 
 
 
 
 
 
 
 
26
  - max_seq_length: 2048
27
 
28
  ## 評価
29
+ jsquad(jsquad-1.1-0.3, 2-shots)、jcommonsenseqa(jcommonsenseqa-1.1-0.3, 3-shots)、jnli(jnli-1.3-0.3, 3-shots)、marc_ja(marc_ja-1.1-0.3, 3-shots)結果は以下の通りです。
30
+ (8ビット量子化/jsquadは100で割り、それぞれ小数点以下第4位を四捨五入)
31
 
32
+ 平均スコアの向上が見受けられます。
33
 
34
  |Model|jsquad(exact_match)|jcommonsenseqa(acc)|jnli(acc)|marc_ja(acc)|average|
35
  |---|---|---|---|---|---|
 
47
  | c4ai-command-r-v01 | 6.1 | 7.9 | 9.7 | 2.4 | 6.0 | 8.3 | 9.8 | 8.6 | 7.35 |
48
  | **c4ai-command-r-v01-japanese-instruct** | **5.6** | **8.3** | **8.1** | **3.4** | **6.1** | **7.9** | **9.2** | **8.6** | **7.15** |
49
 
50
+ ![レーダーチャート](./japanese_mt_bench.png)
51
+
52
+ ## ライセンス
53
+ 元モデルである[CohereForAI/c4ai-command-r-v01](https://huggingface.co/CohereForAI/c4ai-command-r-v01)はCC-BY-NC 4.0と[C4AI's Acceptable Use Policy](https://docs.cohere.com/docs/c4ai-acceptable-use-policy)のもとに配布されています。
54
+
55
+ また、ファインチューニングに利用したデータセットである[ichikara-instruction](https://liat-aip.sakura.ne.jp/wp/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF%E4%BD%9C%E6%88%90/llm%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AE%E6%97%A5%E6%9C%AC%E8%AA%9E%E3%82%A4%E3%83%B3%E3%82%B9%E3%83%88%E3%83%A9%E3%82%AF%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%87%E3%83%BC%E3%82%BF-%E5%85%AC%E9%96%8B/)はCC-BY-NC-SA 4.0の元配布されています。
56
+
57
+ そのため、このモデルのライセンスはCC-BY-NC-SA 4.0及び[C4AI's Acceptable Use Policy](https://docs.cohere.com/docs/c4ai-acceptable-use-policy)となります。(理解間違っていればご指摘ください)