Spaces:
Running
on
CPU Upgrade
Running
on
CPU Upgrade
[Suggestion] Add requirement for model card.
#37
by
maywell
- opened
현재 리더보드에 모델 카드 요구가 없기에 모델 카드가 없이 평가용으로 계속 모델을 올리는 경우가 잦습니다.
물론 모델을 올리는 것 자체는 괜찮으나 모델에 관심을 가지고 클릭해보았을때 사용한 데이터셋이나, 원본 모델 학습 방법 등 정보가 하나도 없으면 해당 모델을 활용하는데에 어려움이 있습니다.
리더보드에 업로드 하기 전 최소한의 모델 카드는 작성하는게 좋을 것 같다고 생각하여 제안 드립니다.
안녕하세요. 해당 관련 업데이트가 오늘 아침에 진행되었습니다.
https://huggingface.co/spaces/upstage/open-ko-llm-leaderboard/blob/main/src/submission/check_validity.py#L17
영문 리더보드와 동일하게 위의 check_validity.py 함수를 통해서 모델 카드를 점검하게 되고,
- 모델 카드
- 라이센스
- 내용 길이
를 통해서 모델카드가 있는 경우 없는 경우를 Show private/deleted models 체크박스를 통해서 같이 확인할 수 있습니다.
감사합니다.
maywell
changed discussion status to
closed