- 使用lora,给internlm模型做训练
- 训练的时候,如何让模型知道自己的身份,并且对相关问题进行拒绝回答。这里给到相关解决方案。
模型效果
这里给大家看一下,使用我这个方法训练的模型效果:
可以看得出来:
- 模型有非常明显的自我认知能力;
- 模型懂得拒绝回答;
- 模型对于别的问题,回答的也还可以;
训练脚本介绍
GitHub训练代码:https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/internlm-sft
- Downloads last month
- 9
Inference API (serverless) does not yet support model repos that contain custom code.