jiangchengchengNLP
commited on
Commit
•
8d8d65b
1
Parent(s):
6384624
Update README.md
Browse files
README.md
CHANGED
@@ -1,16 +1,31 @@
|
|
1 |
---
|
2 |
license: apache-2.0
|
3 |
---
|
|
|
4 |
华佗 GPT2-7B 模型量化版本
|
|
|
5 |
简介
|
|
|
6 |
本项目基于华佗 GPT2-7B 模型,使用 transformers 库中的 bitsandbytes 方法进行了 int8 量化,并将量化后的模型上传到了 Hugging Face 模型库。量化后的模型大小约为 8GB,原模型大小为 26.8GB。该模型可以被 transformers 和 vllm 库加载,并配备了对应的 tokenizer 模型文件。
|
7 |
|
8 |
模型详情
|
|
|
9 |
基础模型:华佗 GPT2-7B
|
|
|
10 |
量化方法:int8 量化,使用 bitsandbytes 库
|
|
|
11 |
模型大小:量化后约为 8GB,原模型大小为 14GB
|
|
|
12 |
来源:百川模型支持
|
|
|
13 |
使用指南:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
14 |
```
|
15 |
import torch
|
16 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|
|
|
1 |
---
|
2 |
license: apache-2.0
|
3 |
---
|
4 |
+
|
5 |
华佗 GPT2-7B 模型量化版本
|
6 |
+
|
7 |
简介
|
8 |
+
|
9 |
本项目基于华佗 GPT2-7B 模型,使用 transformers 库中的 bitsandbytes 方法进行了 int8 量化,并将量化后的模型上传到了 Hugging Face 模型库。量化后的模型大小约为 8GB,原模型大小为 26.8GB。该模型可以被 transformers 和 vllm 库加载,并配备了对应的 tokenizer 模型文件。
|
10 |
|
11 |
模型详情
|
12 |
+
|
13 |
基础模型:华佗 GPT2-7B
|
14 |
+
|
15 |
量化方法:int8 量化,使用 bitsandbytes 库
|
16 |
+
|
17 |
模型大小:量化后约为 8GB,原模型大小为 14GB
|
18 |
+
|
19 |
来源:百川模型支持
|
20 |
+
|
21 |
使用指南:
|
22 |
+
|
23 |
+
确保你安装了bitsandbytes
|
24 |
+
|
25 |
+
```
|
26 |
+
pip install bitsandbytes
|
27 |
+
```
|
28 |
+
|
29 |
```
|
30 |
import torch
|
31 |
from transformers import AutoModelForCausalLM, AutoTokenizer
|