Подходит ли эта модель для similarity search?
#2
by
Isayoften
- opened
Подходит ли эта модель для similarity search? Для RAG ретрива например. Она как-то обучалась на contrastive loss (или подобных лоссах)?
Isayoften
changed discussion status to
closed
@Isayoften да подходит , используй подходящий префикс к запросам и докам, на мой взгляд лучшие это search или classification префиксы + cls/mean эмбы, пробуй еще на норму l2 делить эмбы. Если почитаешь статью о росберте увидишь,что да мы учили ее контрастивно.
Спасибо! Не заметил статью в карте модели)