собственно формат сообщений
из комментариев хабра выцепил ссылку на следующий формат предположительно подходящий для этой модели, частично подтверждаемый тем что видно в токенайзере.
<s>You are a helpful assistant<|message_sep|>user<|role_sep|>Hello<|message_sep|>available functions<|role_sep|>[]<|message_sep|>assistant<|role_sep|>Hi there<|message_sep|>user<|role_sep|>Who are you<|message_sep|>available functions<|role_sep|>[]<|message_sep|>assistant<|role_sep|> I am an assistant <|message_sep|>user<|role_sep|>Another question<|message_sep|>available functions<|role_sep|>[]<|message_sep|>assistant<|role_sep|>
если разбираем это на составляющие то:<s> - у нас просто токен начала, аналогично мистралю, вопрос только вставляется ли он koboldccp аналогично или нужен апдейт\вручную вставить, не суть.
Дальше базовый системный промпт, окей, понятно, все без пробелов, после чего - <|message_sep|> в качестве стоп токена\окончания сообщения.
дальше вопрос - последовательность сообщений строго привязана к юзер-асистент-юзер-асистент или может быть юзер-асистент-асистент-юзер-юзер-юзер? если может быть флекс, то как лучше будет использовать форматирование сообщения?
Собственно формат юзер сообщения - user<|role_sep|>тело сообщения<|message_sep|>
а чем является этот формат - available functions<|role_sep|>[]<|message_sep|>?
ну и сообщение ассистента - assistant<|role_sep|>Hi there<|message_sep|>
есть ли формат для системной роли?
собственно пытаюсь сделать темплейт в силлитаверн и потестить модель