metadata
title: README
emoji: 🌖
colorFrom: green
colorTo: pink
sdk: static
pinned: false
Sakura-13B-Galgame
🦉 GitHub | 🤖 ModelScope
介绍
基于LLaMA2-13B，OpenBuddy(v0.1-v0.4)和Baichuan2-13B(v0.5+)构建，在Galgame中日文本数据上进行微调，旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型. 新建了TG交流群，欢迎交流讨论。
模型下载：
| 版本 | 全量模型 | 8-bit量化 | 4-bit量化 | 3-bit量化 |
|---|---|---|---|---|
| 20230827-v0.1 | 🤗 Sakura-13B-Galgame-v0.1 | - | - | - |
| 20230908-v0.4 | 🤗 Sakura-13B-Galgame-v0.4 | - | - | - |
| 20230917-v0.5 | 🤗 Sakura-13B-Galgame-v0.5 | 🤗 Sakura-13B-Galgame-v0.5-8bits | Sakura-13B-Galgame-v0.5-4bits | - |
| 20231011-v0.7 | 🤗 Kisara-14B-LNovel | - | - | - |
| 20231026-v0.8 | 🤗 Sakura-13B-LNovel-v0.8 | 🤗 Sakura-13B-LNovel-v0.8-8bit | 🤗 Sakura-13B-LNovel-v0.8-4bit | 🤗 Sakura-13B-LNovel-v0.8-3bit |
目前仍为实验版本，翻译质量较差.
lsp们最关注的翻译R18轻小说的效果：使用这本r18小说的部分文本，比较各版本输出文本(其中GPT网页端和API均无法翻译)，结果已上传至链接
显存需求(尚未完成)
使用v0.8版本进行测试，模型生成参数与仓库中generation_config.json一致，显存占用数据取自nvidia-smi
| 模型量化类型 | 载入显存 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
|---|---|---|---|
| 全量 | 超出游戏显卡显存范围 | - | - |
| 8bit | - | - | - |
| 4bit | - | 14.9G | 17.4G |
| 3bit | - | - | - |
详情请查看此页面