|
--- |
|
license: apache-2.0 |
|
datasets: |
|
- 52AI/TinyStoriesZh |
|
language: |
|
- zh |
|
library_name: transformers |
|
--- |
|
|
|
# Llama2中文童话小模型（93M） |
|
|
|
|
|
|
|
## 模型背景 |
|
|
|
本模型采用 [llama2.c](https://github.com/karpathy/llama2.c) 提供的代码和工具，训练了一个参数量93M的中文小模型。它的tokenizer是从语料中重新训练的，仅包含3000个中文字符，采用BPE算法实现，tokenizer.model仅有38K。 |
|
|
|
数量的数据集来自[TinyStoriesZh](https://huggingface.co/datasets/52AI/TinyStoriesZh/tree/main)，合并了1M和2M的数据集，总字符数量199,536,607，汉字数量2492，共计1,124,957行。从中随机抽取800,000训练3K的tokenizer |
|
|
|
模型的训练参数如下： |
|
|
|
| 参数 | 值 | |
|
| ------------- | ---- | |
|
| dim | 768 | |
|
| n_heads | 12 | |
|
| n_layers | 12 | |
|
| kv_heads | 12 | |
|
| batch_size | 24 | |
|
| max_seq_len | 768 | |
|
| hidden_dim | 2268 | |
|
| dropout | 0.1 | |
|
| learning rate | 3e-4 | |
|
|
|
## 训练细节 |
|
|
|
训练在单卡A10G的服务器上运行了大约18小时，共3个epoch |
|
|
|
| Key | Value | |
|
| ---------- | ------------- | |
|
| iteration | 22,940 | |
|
| loss/eval | 1.3784 | |
|
| loss/train | 1.2773 | |
|
| lr | 0.00003 | |
|
| tokens | 9,020,375,040 | |
|
|
|
## 模型表现 |
|
|
|
```bash |
|
git clone https://github.com/karpathy/llama2.c |
|
cd llama2.c |
|
make run |
|
``` |
|
|
|
运行推理 |
|
|
|
```bash |
|
./run ./llama2c-93MB.bin -t 0.9 |
|
``` |
|
|
|
结果如下 |
|
|
|
```txt |
|
▁从前，有一个小女孩，名叫莉莉。有一天，莉莉的妈妈让她帮忙洗衣服。莉莉很乐意帮忙，并把一件 |
|
衬衫放进了洗衣机。突然，莉莉听到了奇怪的声音。▁“那是什么？”她问她妈妈。“这只是洗衣机。我们需要确保衣服干净，”她妈妈回答道。莉莉感到很安心，因为她帮助了妈妈。他们把所有的衣服都拿出 |
|
来，放进洗衣机里。洗完衣服后，莉莉的妈妈说：“干得好，莉莉！你真是个好帮手。”莉莉笑了，也为自己感到骄傲。她拥抱妈妈说：“妈妈，谢谢你让我帮忙洗衣服。” |
|
|
|
▁从前，有一位高大强壮的超级英雄。他肌肉发达，可以举起重物。他喜欢帮助别人，并且非常坚强。 |
|
有一天，他去公园散步，看到一只小狗被困在树上。超级英雄想帮助那只狗。他爬上树，把狗从树枝上扶下来。狗很高兴，舔着超级英雄的脸表示感谢。超级英雄微笑着继续前行。他很高兴自己能够用自己的肌肉帮助这只狗，并结识了一个新朋友。 |
|
|
|
▁从前，有一只兔子，名叫雷米。雷米喜欢和他的朋友们一起跳来跳去玩耍。有一天，雷米和他的朋友 |
|
们正在玩捉迷藏，这时他们看到了一大堆干草。他们正在扔掉，突然干草碎成了碎片。弗雷米和他的朋友们很害怕，但他们知道他们必须帮忙。他们请他们的朋友兔子山姆帮他们捡干草。萨姆很勇敢，没有把干草分开。他们把干草拿到池塘里，把它分成小块。大家坐下来吃饭，雷米和山姆很高兴他们帮助了他们。从那天起，雷米就被称为森林里最勇敢的小兔子，总是在附近玩耍。 |
|
|
|
▁从前，有一个小女孩，名叫莉莉。她喜欢在外面玩耍并探索周围的世界。有一天，她在地上发现了一 |
|
块闪闪发光的石头。它是如此美丽和闪闪发光，她想永远保留它。但后来，莉莉的朋友过来看到了这块石头。她也想要它，但莉莉不想分享。她的朋友感到很难过，就回家了。那天晚些时候，莉莉意识到她不分享她的石头是自私的。她感到很难过，决定把石头送给她的朋友。她的朋友很高兴，他们一起玩了一整天。莉莉了解到分享很重要，自私会让别人感到难过。 |
|
``` |
|
|
|
可以看到93M的模型参数量虽然少，但是仍然具有一定的逻辑能力，故事可以保持基本的自洽。 |
|
|
|
模型已经转换为huggingface的LlamaPretrainedModel格式，调用方法如下： |
|
|
|
```python |
|
torch.set_default_device("cuda") |
|
config = AutoConfig.from_pretrained(model_path) |
|
tokenizer = AutoTokenizer.from_pretrained(model_path) |
|
model = AutoModelForCausalLM.from_pretrained(model_path, config=config) |
|
inputs = tokenizer("从前", return_tensors="pt", add_special_tokens=True) |
|
outputs = model.generate(**inputs, max_new_tokens=256, temperature=0.9) |
|
text = tokenizer.batch_decode(outputs)[0] |
|
print(text) |
|
``` |
|
|
|
输出 |
|
|
|
```text |
|
<s> 从前，有一个小女孩，名叫莉莉。她喜欢在外面玩耍并探索周围的世界。 |
|
有一天，她在公园里玩耍时，看到一只蝴蝶，就去追它。她跑呀跑，直到迷路。 |
|
莉莉开始哭泣，一位好心的女士走过来问她：“小宝贝，你为什么哭？”莉莉回 |
|
答说：“我迷路了，找不到回家的路了。”那位女士说：“别担心，我会帮你找 |
|
到回家的路的。”他们一起走着，莉莉开始感到害怕。突然，那位女士停了下来， |
|
说道：“别担心，我会帮你找到回家的路的。”他们走呀走，终于找到了莉莉的家。 |
|
莉莉很高兴，向那位女士表示感谢。那位女士微笑着说：“我很高兴能帮上忙。 |
|
记住，当你迷路时，寻求帮助总是好的。”莉莉点点头，紧紧地拥抱着妈妈。 |
|
``` |
|
|
|
## |
|
|
|
## 小模型的意义 |
|
|
|
小模型的能力虽然有限，但是它在一下几个方面是具有非凡意义的 |
|
|
|
1. 可以促进对模型原理的理解。俗话说“麻雀虽小五脏俱全”，小模型规模虽然小，但是具有llama2标准架构，方便学习和理解模型训练的原理 |
|
2. 加速调试。在开发大模型app时，可以用小模型加快启动和运行的速度，方便快速迭代开发 |
|
3. 嵌入式。在游戏这种需要快速反馈，并且存在高并发的环境中，小模型比大模型具有更强的优势。 |
|
|
|
## 感谢 |
|
|
|
1. [llama2.c](https://github.com/karpathy/llama2.c) |
|
2. [llama2.c-zh](https://github.com/chenyangMl/llama2.c-zh) |
|
3. [TinyStoriesZh](https://huggingface.co/datasets/52AI/TinyStoriesZh/tree/main) |
