[Suggestion] Add requirement for model card.

#37
by maywell - opened

현재 리더보드에 모델 카드 요구가 없기에 모델 카드가 없이 평가용으로 계속 모델을 올리는 경우가 잦습니다.

물론 모델을 올리는 것 자체는 괜찮으나 모델에 관심을 가지고 클릭해보았을때 사용한 데이터셋이나, 원본 모델 학습 방법 등 정보가 하나도 없으면 해당 모델을 활용하는데에 어려움이 있습니다.
리더보드에 업로드 하기 전 최소한의 모델 카드는 작성하는게 좋을 것 같다고 생각하여 제안 드립니다.

upstage org

안녕하세요. 해당 관련 업데이트가 오늘 아침에 진행되었습니다.
https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard/blob/main/src/submission/check_validity.py#L17
영문 리더보드와 동일하게 위의 check_validity.py 함수를 통해서 모델 카드를 점검하게 되고,

  1. 모델 카드
  2. 라이센스
  3. 내용 길이
    를 통해서 모델카드가 있는 경우 없는 경우를 Show private/deleted models 체크박스를 통해서 같이 확인할 수 있습니다.

감사합니다.

maywell changed discussion status to closed

Sign up or log in to comment