---
license: apache-2.0
---
华佗 GPT2-7B 模型量化版本
简介
本项目基于华佗 GPT2-7B 模型，使用 transformers 库中的 bitsandbytes 方法进行了 int8 量化，并将量化后的模型上传到了 Hugging Face 模型库。量化后的模型大小约为 8GB，原模型大小为 26.8GB。该模型可以被 transformers 和 vllm 库加载，并配备了对应的 tokenizer 模型文件。

模型详情
基础模型：华佗 GPT2-7B
量化方法：int8 量化，使用 bitsandbytes 库
模型大小：量化后约为 8GB，原模型大小为 26.8GB
来源：百川模型支持