Update README.md
Browse files
README.md
CHANGED
@@ -4,10 +4,18 @@ datasets:
|
|
4 |
- ddyuudd/chatbot_arena_ja_calm2-7b-chat-experimental
|
5 |
language:
|
6 |
- ja
|
|
|
7 |
---
|
8 |
|
9 |
# Model Card for "calm2-7b-chat-dpo-experimental"
|
10 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
11 |
|
12 |
### ELYZA-tasks-100 (GPT-4 eval)
|
13 |
|
@@ -25,12 +33,11 @@ language:
|
|
25 |
"以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。"
|
26 |
|
27 |
このシステムプロンプトはstabilityai/japanese-stablelm-instruct-alpha-7bをJapanese MT-Benchで評価する場合に使われるものです。
|
28 |
-
|
29 |
-
|
30 |
|
31 |
| | calm2-7b-chat | calm2-7b-chat-dpo |
|
32 |
| ---- | ---- | ---- |
|
33 |
-
|
|
34 |
| extraction | 4.1 | 5.4 |
|
35 |
| humanities | 8.2 | 8.4 |
|
36 |
| reasoning | 3.9 | 4.3 |
|
@@ -38,3 +45,7 @@ language:
|
|
38 |
| stem | 6.3 | 6.2 |
|
39 |
| writing | 7.7 | 9.1 |
|
40 |
|
|
|
|
|
|
|
|
|
|
4 |
- ddyuudd/chatbot_arena_ja_calm2-7b-chat-experimental
|
5 |
language:
|
6 |
- ja
|
7 |
+
- en
|
8 |
---
|
9 |
|
10 |
# Model Card for "calm2-7b-chat-dpo-experimental"
|
11 |
|
12 |
+
[cyberagent/calm2-7b-chat](https://huggingface.co/cyberagent/calm2-7b-chat)に[ChatBot Arena (JA+calm2)](ddyuudd/chatbot_arena_ja_calm2-7b-chat-experimental)データセットを用いて[Direct Preference Optimization](https://arxiv.org/abs/2305.18290)をしたモデルです。
|
13 |
+
|
14 |
+
## Requirements, Usage, Chat Template
|
15 |
+
|
16 |
+
[cyberagent/calm2-7b-chat](https://huggingface.co/cyberagent/calm2-7b-chat)と同様です。
|
17 |
+
|
18 |
+
## 実験結果
|
19 |
|
20 |
### ELYZA-tasks-100 (GPT-4 eval)
|
21 |
|
|
|
33 |
"以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。"
|
34 |
|
35 |
このシステムプロンプトはstabilityai/japanese-stablelm-instruct-alpha-7bをJapanese MT-Benchで評価する場合に使われるものです。
|
36 |
+
他のデコーディングパラメータはデフォルトのままです(ランダム性があります)。
|
|
|
37 |
|
38 |
| | calm2-7b-chat | calm2-7b-chat-dpo |
|
39 |
| ---- | ---- | ---- |
|
40 |
+
| 平均 | 6.1 | 6.7 |
|
41 |
| extraction | 4.1 | 5.4 |
|
42 |
| humanities | 8.2 | 8.4 |
|
43 |
| reasoning | 3.9 | 4.3 |
|
|
|
45 |
| stem | 6.3 | 6.2 |
|
46 |
| writing | 7.7 | 9.1 |
|
47 |
|
48 |
+
|
49 |
+
## Author
|
50 |
+
|
51 |
+
Yuu Jinnai (jinnai_yu@cyberagent.co.jp), Standing on the shoulders of giants
|