Как это вообще запустить?
#2
by
Dimanjy
- opened
Здравствуйте.
Пытаюсь запустить пример - ничего не получается. Загрузчик AutoGPTQForCasualLM ожидает на входе получить файл .safetensors. У вас в репозитории лежит .bin. Я его пробовал переименовать в .safetensors - начинает ругаться, что "HeaderTooLarge". Граната явно не той системы....
Через Text-Generation-WebUI с загрузчиком AutoGPTQ, конечно, загружается, но генерит такую дичь, что просто напрочь отбивает весь патриотизм при использовании отечественного продукта.