README.md

---
license: other
license_name: glm-4
license_link: https://huggingface.co/THUDM/glm-4-9b/blob/main/LICENSE
language:
- zh
pipeline_tag: text-generation
---
# GLM-4-9b-chat Quantized with AutoFP8

使用 [m-a-p/COIG-CQIA](https://huggingface.co/datasets/m-a-p/COIG-CQIA) 的 COIG_pc 集作为校准量化的 [glm-4-9b-chat](https://huggingface.co/THUDM/glm-4-9b-chat) 模型。

主要为中文通常语言逻辑任务，为 vLLM 准备。

## 评估

使用 [lm-evaluation-harness](https://github.com/EleutherAI/lm-evaluation-harness/tree/7ad7c5b9d0f1c35c048af0ce8b197ebc2021dbd3) + vLLM 进行评估：

|项目|THUDM/glm-4-9b-chat|此项目|Recovery|
|---|---|---|---|
|ceval-valid|71.84|70.36|97.94%|
|cmmlu|72.23|70.42|97.49%|
|agieval_logiqa_zh (5 shots)|44.24|39.32|88.88%|
|**平均**|**62.77**|**60.03**|**95.63%**|