yuanzhoulvpi
commited on
Commit
•
768c0a5
1
Parent(s):
fbdf430
Update README.md
Browse files
README.md
CHANGED
@@ -8,13 +8,13 @@ library_name: transformers
|
|
8 |
---
|
9 |
|
10 |
## 介绍
|
11 |
-
1. ✅ 对`bloom-560m`模型做了sft
|
12 |
2. 🚀 训练代码和推理代码全部分享,可以查看链接[https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom)
|
13 |
|
14 |
## 个人感受
|
15 |
-
1. `bloom`系列的模型,在中文领域,具有极大的潜力,在经过有监督微调训练之后,效果非常惊人!
|
16 |
-
2. `bloom`系列的模型,覆盖中文、英文、代码、法语、西班牙语等。即使拿来做翻译、拿来做代码生成,也都没问题!(后期将会分享相关教程)
|
17 |
-
|
18 |
|
19 |
## 如何使用
|
20 |
|
@@ -22,7 +22,7 @@ library_name: transformers
|
|
22 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
23 |
|
24 |
|
25 |
-
checkpoint = "
|
26 |
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
|
27 |
model = AutoModelForCausalLM.from_pretrained(checkpoint)
|
28 |
|
|
|
8 |
---
|
9 |
|
10 |
## 介绍
|
11 |
+
1. ✅ 对`bloom-560m`模型做了sft,在这个数量级和模型规模下,效果非常好!
|
12 |
2. 🚀 训练代码和推理代码全部分享,可以查看链接[https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom)
|
13 |
|
14 |
## 个人感受
|
15 |
+
1. 🎯 `bloom`系列的模型,在中文领域,具有极大的潜力,在经过有监督微调训练之后,效果非常惊人!
|
16 |
+
2. 🔄 `bloom`系列的模型,覆盖中文、英文、代码、法语、西班牙语等。即使拿来做翻译、拿来做代码生成,也都没问题!(后期将会分享相关教程)
|
17 |
+
3. 😛 当前的这个`bloom-560m`模型,也只是为了跑通整个训练流程,可以无缝切换模型到不同尺寸,如`3b`、`7b`等!
|
18 |
|
19 |
## 如何使用
|
20 |
|
|
|
22 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
23 |
|
24 |
|
25 |
+
checkpoint = "yuanzhoulvpi/chinese_bloom_560m"#"bigscience/bloomz-3b" #"bigscience/bloom-7b1"# "output_dir/checkpoint-8260"#
|
26 |
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
|
27 |
model = AutoModelForCausalLM.from_pretrained(checkpoint)
|
28 |
|