Update README.md
Browse files
README.md
CHANGED
|
@@ -10,4 +10,15 @@ pipeline_tag: text-generation
|
|
| 10 |
|
| 11 |
使用 [m-a-p/COIG-CQIA](https://huggingface.co/datasets/m-a-p/COIG-CQIA) 的 COIG_pc 集作为校准量化的 [glm-4-9b-chat](https://huggingface.co/THUDM/glm-4-9b-chat) 模型。
|
| 12 |
|
| 13 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 10 |
|
| 11 |
使用 [m-a-p/COIG-CQIA](https://huggingface.co/datasets/m-a-p/COIG-CQIA) 的 COIG_pc 集作为校准量化的 [glm-4-9b-chat](https://huggingface.co/THUDM/glm-4-9b-chat) 模型。
|
| 12 |
|
| 13 |
+
主要为中文通常语言逻辑任务，为 vLLM 准备。
|
| 14 |
+
|
| 15 |
+
## 评估
|
| 16 |
+
|
| 17 |
+
使用 [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness/tree/7ad7c5b9d0f1c35c048af0ce8b197ebc2021dbd3) + vLLM 进行评估：
|
| 18 |
+
|
| 19 |
+
|项目|THUDM/glm-4-9b-chat|此项目|Recovery|
|
| 20 |
+
|---|---|---|---|
|
| 21 |
+
|ceval-valid|71.84|70.36|97.94%|
|
| 22 |
+
|cmmlu|72.23|70.42|97.49%|
|
| 23 |
+
|agieval_logiqa_zh (5 shots)|44.24|39.32|88.88%|
|
| 24 |
+
|**平均**|**62.77**|**60.03**|**95.63%**|
|