Spaces:
Running
on
CPU Upgrade
Running
on
CPU Upgrade
Evaluation prompt 관련 문의
#38
by
JaeyeonKang
- opened
안녕하세요. Evaluation prompt 관련 궁금한 것이 있어 문의 드립니다.
모델마다 사전에 정의한 prompt 가 다를텐데, 이런 것들이 leaderboard 제출 시 반영이 되는지 궁금합니다.
예를 들어, ||~ ||, ### User, [INST] ~[/INST] 등의 방식들이 있어, 이를 지키지 않을 시 성능 저하가 발생됩니다.
이런 것들을 반영할 수 있는 평가인지 궁금합니다.
@choco9966
감사합니다!
JaeyeonKang
changed discussion status to
closed