LoRA (rank 16, alpha 16) улучшает диалоги на кхм, пикантные темы для ruGPT-3.5-13B.
Обучается на 4-bit GPTQ модели ruGPT-3.5-13B, как будет работать на полной и 8-битной модели не проверял, на 4-х битах результат очень хороший. LoRA будет регулярно обновляться.
Датасет - input-output с контекстом, на данный момент ~1Гб
В стоп-лист добавляйте "\n", "</s>"
- Downloads last month
- 16
Inference API (serverless) does not yet support adapter-transformers models for this pipeline type.