---
license: apache-2.0
datasets:
- nicholasKluge/Pt-Corpus
language:
- pt
---

É um modelo base pré-treinado com cerca de 1b tokens em portugues iniciado com os pesos oficiais do modelo, o modelo não segue instrução então precisa fazer fine tuning.

|                              | Mistral Base PTBR | Mistral Base | Melhoria |
|------------------------------|-------------------|--------------|----------|
| assin2_rte                   | 90,11             | 87,74        | 2,37     |
| assin2_sts                   | 72,51             | 67,05        | 5,46     |
| bluex                        | 53,97             | 53,27        | 0,70     |
| enem                         | 64,94             | 62,42        | 2,52     |
| faquad_nli                   | 69,04             | 47,63        | 21,41    |
| hatebr_offensive_binary      | 79,62             | 77,63        | 1,99     |
| oab_exams                    | 45,42             | 45,24        | 0,18     |
| portuguese_hate_speech_binary| 58,52             | 55,72        | 2,80     |