是否使用Dense层对性能的影响如何?

#14
by mingliao - opened

llama.cpp无法使用convert-hf-to-guff.py转化Dense层,只能转化到1024维的embedding。
使用Dense层与否的测评结果差距有多大呢?

Sign up or log in to comment