THUDM

/

chatglm-6b

like 2.82k

Follow

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University 1,162

我看了这位大佬关于lora的博客：
https://aizpy.com/2023/03/30/chatglm-6b-lora/#%E5%88%9B%E5%BB%BA%E6%95%B0%E6%8D%AE%E9%9B%86
同时还有github上p-tune的训练方案。
https://github.com/THUDM/ChatGLM-6B/blob/main/ptuning/README.md
我发现两种微调方案使用的数据格式并不相同。
想请问一下，

1. 这些微调方案有什么区别，分别能实现什么功能？
2. 输入数据集的格式是什么？
3. 微调是否会影响整个模型的性能？看到一些评论说微调之后回答问题的性能下降了，是什么原因呢？
   另外想请教一下，一下几个glm模型的微调方式相同么：
   https://huggingface.co/THUDM/chatglm-6b
   https://huggingface.co/THUDM/chatglm-6b-int8
   https://huggingface.co/THUDM/chatglm-6b-int4-qe
   https://huggingface.co/THUDM/chatglm-6b-int4