考虑把模型文件拆分一下不，照顾下部分开发者比较低配的硬件……
#8
by
hackersilentchen
- opened
当前模型文件太大，加载消耗的内存/显存好高啊……
量化的版本在路上了～
您也可以看看这里：https://huggingface.co/01-ai/Yi-34B/discussions/1#6546d48e8db75bfe5d6004bd
感谢关注～
FancyZhao
changed discussion status to
closed