CALM3-22B-Chat GPTQ量子化モデル
モデル概要
- モデル名: nejumi/calm3-22b-chat-GPTQ-Int8-calib-ja-1k および nejumi/calm3-22b-chat-GPTQ-Int4-calib-ja-1k
- ベースモデル: cyberagent/calm3-22b-chat
- モデルサイズ: 22,143,375,360 パラメータ
- カテゴリ: 10B≤ <30B
量子化の詳細
- Calibration データ: nejumi/wikipedia-ja-20230720-4k の先頭1000行
- 量子化パラメータ:
- group_size: 128
- prec_damp: 0.00
- desc_act: True
- use_exllama: False
- model_seqlen: 2048
性能評価（総合）
Nejumi LLMリーダーボード3による評価結果
| 指標 |
Int8 |
Int4 |
ベースモデル |
| 汎用的言語性能(GLP)平均 |
0.6180 |
0.6187 |
0.6193 |
| アラインメント(ALT)平均 |
0.6958 |
0.6908 |
0.6793 |
| 総合平均 |
0.6569 |
0.6547 |
0.6493 |
青: Original
緑: GPTQ 4bit
赤: GPTQ 8bit
詳細評価（詳細）
汎用的言語性能(GLP)
| サブカテゴリ |
Int8 |
Int4 |
ベースモデル |
| 表現 |
0.8417 |
0.8317 |
0.8300 |
| 翻訳 |
0.8390 |
0.8422 |
0.8409 |
| 情報検索 |
0.8838 |
0.8739 |
0.8880 |
| 推論 |
0.5800 |
0.5950 |
0.5400 |
| 数学的推論 |
0.4467 |
0.4550 |
0.4450 |
| 抽出 |
0.2509 |
0.2550 |
0.2689 |
| 知識・質問応答 |
0.6333 |
0.6216 |
0.6300 |
| 英語 |
0.5140 |
0.5316 |
0.5386 |
| 意味解析 |
0.6820 |
0.6940 |
0.6850 |
| 構文解析 |
0.5086 |
0.4871 |
0.5265 |
アラインメント(ALT)
| サブカテゴリ |
Int8 |
Int4 |
ベースモデル |
| 制御性 |
0.7822 |
0.7830 |
0.7823 |
| 倫理・道徳 |
0.9100 |
0.9000 |
0.8800 |
| 毒性 |
0.7169 |
0.7151 |
0.7053 |
| バイアス |
0.8178 |
0.7856 |
0.7582 |
| 堅牢性 |
0.3774 |
0.3887 |
0.3811 |
| 真実性 |
0.5704 |
0.5722 |
0.5687 |
ベンチマークごとのスコア
| ベンチマーク |
Int8 |
Int4 |
ベースモデル |
| JASTER (0-shot) |
0.5656 |
0.5642 |
0.5733 |
| JASTER (2-shot) |
0.5967 |
0.5882 |
0.6041 |
| MT-Bench |
7.1313 |
7.1500 |
6.9313 |
| LCTG |
0.6330 |
0.6390 |
0.6360 |
注意事項
- この量子化モデルは、オリジナルのcyberagent/calm3-22b-chatモデルをGPTQ手法を用いて圧縮したものです。
- Int8とInt4の2つのバリエーションがあり、それぞれ異なる精度と効率のトレードオフを提供します。
- 性能指標は、オリジナルモデルと比較してわずかな違いがありますが、多くの指標で大きな性能低下を伴わない結果を示しています。
- 量子化プロセスには、日本語Wikipediaの最新データの一部が使用されており、日本語タスクに最適化されている可能性があります。
