evgenijkkk
commited on
Update README.md
Browse files
README.md
CHANGED
@@ -30,7 +30,7 @@ GigaChat-20B-A3B состоит из следующих деталей:
|
|
30 |
|
31 |
Общие английские метрики. Для замера использовался популярный открытый репозиторий [LM Evaluation Harness](https://github.com/EleutherAI/lm-evaluation-harness).
|
32 |
|
33 |
-
| Bench | T-lite-0.1<br>(llama 3.
|
34 |
| ----------------------------- | ---------- | ------------ | --------------------- | --------- |
|
35 |
| MMLU (5-shot) | 62.56 | 65.21 | 63.02 | 70.6 |
|
36 |
| MMLU-pro (5-shot) | 32.19 | 35.7 | 31.41 | 42.85 |
|
|
|
30 |
|
31 |
Общие английские метрики. Для замера использовался популярный открытый репозиторий [LM Evaluation Harness](https://github.com/EleutherAI/lm-evaluation-harness).
|
32 |
|
33 |
+
| Bench | T-lite-0.1<br>(llama 3.0 8B based)| Llama-3.1-8B | GigaChat-20B-A3B-base | Gemma-9B |
|
34 |
| ----------------------------- | ---------- | ------------ | --------------------- | --------- |
|
35 |
| MMLU (5-shot) | 62.56 | 65.21 | 63.02 | 70.6 |
|
36 |
| MMLU-pro (5-shot) | 32.19 | 35.7 | 31.41 | 42.85 |
|