metadata
title: README
emoji: 🌖
colorFrom: green
colorTo: pink
sdk: static
pinned: false
Sakura-13B-Galgame
🦉 GitHub | 🤖 ModelScope
介绍
基于OpenBuddy(v0.1-v0.4), Qwen-14B(v0.7,v0.9)和Baichuan2-13B(v0.5,v0.8)构建，在通用日文语料与轻小说/Galgame等领域的中日语料上进行微调，旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型. 新建了TG交流群，欢迎交流讨论。
如果使用模型翻译并发布，请在最显眼的位置标注机翻！！！！！开发者对于滥用本模型造成的一切后果不负任何责任。
快速开始
News
预览版v0.9.0pre1模型发布。
网站：轻小说机翻机器人已接入Sakura模型(v0.8-4bit)，站内有大量模型翻译结果可供参考。你也可以自行部署模型并使用该网站生成机翻，目前已经支持v0.8与v0.9模型，且提供了llama.cpp一键包。
轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说，或者上传Epub/Txt文件，并生成机翻。
模型下载：
| 版本 | 全量模型 | 8-bit量化 | 4-bit量化 | 3-bit量化 | GGUF | AWQ |
|---|---|---|---|---|---|---|
| 20231026-v0.8 | 🤗 Sakura-13B-LNovel-v0.8 | 🤗 Sakura-13B-LNovel-v0_8-8bit | 🤗 Sakura-13B-LNovel-v0_8-4bit | 🤗 Sakura-13B-LNovel-v0_8-3bit | 🤗 Sakura-13B-LNovel-v0_8-GGUF | 🤗 Sakura-13B-LNovel-v0_8-AWQ |
| 20231125-v0.9.0pre1 | 🤗 Sakura-13B-LNovel-v0.9.0pre1 | - | - | - | 🤗 Sakura-13B-LNovel-v0.9.0pre1-GGUF | - |
目前仍为实验版本，翻译质量在文风与流畅度上强于GPT-3.5，但词汇量逊于GPT-3.5. 个人使用推荐GPT4.
显存需求
下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求，可以尝试同时使用CPU与GPU进行推理。
- llama.cpp GGUF模型（使用v0.9.0pre1模型进行测试，v0.8模型与其类似）
| 模型量化类型 | 模型大小 | 推荐显存大小 |
|---|---|---|
| fp16 | 26.3G | 超出游戏显卡显存范围 |
| Q8_0 | 14G | 24G |
| Q6_K | 11.4G | 20G |
| Q5_K_M | 10.1G | 16G |
| Q4_K_M | 8.8G | 16G |
| Q3_K_M | 7.2G | 16G |
| Q2_K | 6.1G | 12G |
- transformers autogptq模型（使用v0.8版本进行测试）
| 模型量化类型 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
|---|---|---|
| 全量 | 超出游戏显卡显存范围 | 超出游戏显卡显存范围 |
| 8bit | 21.1G | 23.4G |
| 4bit | 14.9G | 17.4G |
| 3bit | 13.7G | 15.5G |
更多信息
详情请查看此页面