model embedding size와 tokenizer vocab이 맞지 않는 이슈

by StatPan - opened Jan 8

Jan 8

안녕하세요
해당 모델을 GGUF 포맷으로 변경해보는 과정에서 발견한 이슈 입니다.

모델의 임베딩 사이즈와, 토크나이저의 사전 사이즈가 맞지 않습니다.

제가 임의로 판단하기로는 SFT 모델의 토크나이저와는 일치하는 것으로 보아, SFT의 토크나이저를 PLM 모델쪽으로 다시 올리시면

될 것으로 보입니다.

해당 방법으로 GGUF 포맷도 정상적으로 만들 수 있었습니다.

확인 한 번 해주시면 감사하겠습니다.

42dot org Feb 7

안녕하세요, 이슈 제보해주셔서 감사합니다.

SFT 모델과 마찬가지로, PLM 토크나이저도 llama.cpp 에서 문제가 없도록 업데이트하였습니다.

Hello, thanks for your feedback.

As well as the SFT model, we've just updated the PLM tokenizer for resolving issues with llama.cpp.

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment