Llama 3 padding side
#6
by
minsuhan
- opened
안녕하세요 우선 좋은 모델 배포해주셔서 감사합니다.
다름이 아니라 해당 모델을 fine-tuning해서 사용하려고 하는데 llama3 official code에서는 padding side에 대해서 특별한 언급이 없이 padding side가 으로 구현되어 있는 것을 확인했습니다. 혹시 한국어 token을 추가하셔서 continual pre-training을 수행하시는 과정에서 padding을 수행하셨다면 padding side를 어떻게 설정하는 것이 적절할지 알 수 있을까요?
혹시 사용하시지 않았다면 padding관련 option을 어떻게 설정하는 것이 적절할지 알려주시면 감사하겠습니다!!