jiangchengchengNLP commited on
Commit
8d8d65b
1 Parent(s): 6384624

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +15 -0
README.md CHANGED
@@ -1,16 +1,31 @@
1
  ---
2
  license: apache-2.0
3
  ---
 
4
  华佗 GPT2-7B 模型量化版本
 
5
  简介
 
6
  本项目基于华佗 GPT2-7B 模型,使用 transformers 库中的 bitsandbytes 方法进行了 int8 量化,并将量化后的模型上传到了 Hugging Face 模型库。量化后的模型大小约为 8GB,原模型大小为 26.8GB。该模型可以被 transformers 和 vllm 库加载,并配备了对应的 tokenizer 模型文件。
7
 
8
  模型详情
 
9
  基础模型:华佗 GPT2-7B
 
10
  量化方法:int8 量化,使用 bitsandbytes 库
 
11
  模型大小:量化后约为 8GB,原模型大小为 14GB
 
12
  来源:百川模型支持
 
13
  使用指南:
 
 
 
 
 
 
 
14
  ```
15
  import torch
16
  from transformers import AutoModelForCausalLM, AutoTokenizer
 
1
  ---
2
  license: apache-2.0
3
  ---
4
+
5
  华佗 GPT2-7B 模型量化版本
6
+
7
  简介
8
+
9
  本项目基于华佗 GPT2-7B 模型,使用 transformers 库中的 bitsandbytes 方法进行了 int8 量化,并将量化后的模型上传到了 Hugging Face 模型库。量化后的模型大小约为 8GB,原模型大小为 26.8GB。该模型可以被 transformers 和 vllm 库加载,并配备了对应的 tokenizer 模型文件。
10
 
11
  模型详情
12
+
13
  基础模型:华佗 GPT2-7B
14
+
15
  量化方法:int8 量化,使用 bitsandbytes 库
16
+
17
  模型大小:量化后约为 8GB,原模型大小为 14GB
18
+
19
  来源:百川模型支持
20
+
21
  使用指南:
22
+
23
+ 确保你安装了bitsandbytes
24
+
25
+ ```
26
+ pip install bitsandbytes
27
+ ```
28
+
29
  ```
30
  import torch
31
  from transformers import AutoModelForCausalLM, AutoTokenizer